0002086: Сигнал о прерывании загрузки

Notes
(0012345) zed (manager) 12-08-2013 18:43	>Так как борьба с банами на Яндексе и Гугле заключается в смене прокси Нормальная борьба с баном заключается в написании правильного zmp, юзающего куки и маскирующегося под браузер.

(0012346) solo (reporter) 12-08-2013 18:54	Пробовал. Не помогает. Если у Вас это получилось, не могли бы Вы написать статью о том как это сделать? Желательно с примерами и разбором zmp

(0012348) vasketsov (manager) 12-08-2013 19:44	>заключается в написании правильного zmp Говорят, яндекс скурвился и стал банить, даже если в zmp прикидываться в точности браузером, с куками и хедерами. Я последний раз гиги качал с него без бана в районе версии этак 3.57.0 в кучку потоков, то есть этой весной, и тогда меня не банило по причине правильного zmp. Но сейчас лить с него мне нечего, так что проверить, подтвердить или опровергнуть не могу. >Гугле С гуглом вообще бороться проще простого: включаем куки в zmp, по бану паузим закачку, копируем ссылку на незакачавшийся тайл, открываем её в обычном браузере, делаем чё там написано для доказательства что не робот а живой чел, получаем тайл, продолжаем закачку.

(0012349) solo (reporter) 12-08-2013 19:53 edited on: 12-08-2013 19:56	Вот только что сделал как Вы говорили. Подтвердил гуглу, что я не робот и всё равно облом. Кстати, в браузере он мне нормально этот тайл открывает

(0012351) vasketsov (manager) 12-08-2013 20:23	>и всё равно облом Буквально вчера делал такое раз пять. Как часы. Видимо есть где-то дьявол в деталях. Например, не включены куки в zmp или урл открывался не в IE.

(0012352) solo (reporter) 12-08-2013 20:29 edited on: 13-08-2013 06:21	Спасибо, с гуглом помогло. Я как-то прочно подсел на фаерфокс ,что забыл про ИЕ. Но насчёт Яндекса проблема стоит. Ну хотя всё равно сигнал приделать стоит, чтоб знать, когда идти отвечать на сложные вопросы робота :)

(0012356) vdemidov (manager) 13-08-2013 07:21	Проблема с подачей сигнала распознавание момента прерывания загрузки. Как отличить то что вас забанили, от проблем с сетью или медленного инета, когда закачка некоторых тайлов отваливается по таймауту.

(0012359) solo (reporter) 13-08-2013 07:31 edited on: 13-08-2013 17:23	Ну если у проблемы с сетью, то сигнал скажет, что надо идти и решать их. Насчёт медленного инета... Можно не включать сигнал. В смысле, хочешь сигнал - нажал галочку и будет тебе три зелёных свистка. Плохой интернет - не нажимай галочку и качай пока не надоест Маленькое дополнение. Ну и пусть ещё программа закачку останавливает

(0012451) blacklion (reporter) 15-08-2013 16:46	Ну как отличать -- так и отличать. Это же разные ошибки. Зачастую -- разного уровня (сетевой уровень / уровень приложения). Нет интернета -- это ошибка на connect() (WSAConnect() если угодно), медленная сеть -- таймаут чтения из сокета. Забаниили -- с точки зрения TCP всё правильно, а по HTTP отдали 503 Service Unavailable (по крайней мере, так отдаёт гугл, наверное, придётся сделать определение бана конфигурируемым, как сейчас создание URL'я конфигурируется, тут, наверное, все по-разному) или просто Contet-Type не тот (если нам отдали text/html когда мы ждали image/jpeg -- наверное, нам что-то хотят сказать и надо позвать пользователя).

(0012452) vasketsov (manager) 15-08-2013 17:10	>Нет интернета -- это ошибка на connect Правда? ))) А может быть что сервер доступен по урлам вида <N>.domain/..., где N от 1 до 4, к которым ходят по разным сетевым интерфейсам, и часть из их лежит? >тут, наверное, все по-разному Именно. Например, terraserver отдавал пустую картинку с наложением водяного знака и каждый раз новым хэшем. У космоснимков было несколько синих тайлов, которые иногда менялись. >или просто Contet-Type не тот Если content-type некорректный и не может быть приведён к ожидаемому (а не просто "не тот"), это также будет расценено как ошибка закачки. Если включить остановку при ошибках, то при работающем инете закачка сразу и встанет.

(0012453) blacklion (reporter) 15-08-2013 17:27	Первое -- ну так если легло два из 4 сетевых интерфейса, тут точно человеку вмешаться надо, нет? Второе -- я и не говорю, что есть универсальное решение. Но для многих сервисов оно есть. Не делать ничего потому что невозможно сделать идеально? Это перфекционизм в психиатрическом а не бытовом смысле. Так можно вообще ничего не делать. Третье -- я не понял если честно. Когда может быть ложное срабатывание? В каком случае нам валидно могут вернуть HTML вместо запрошенной картинки с 200-ым годом?

(0012454) vasketsov (manager) 15-08-2013 18:10	>Когда может быть ложное срабатывание? Ложное срабатывание чего? Проверки равенства content-type прилетевшего и ожидаемого? Да это может быть предусмотрено специально, для конвертации тайла на лету, например, kml -> kmz или jpeg -> png с удалением exif. >Не делать ничего потому что невозможно сделать идеально? Скорее - не делать костылей, не подумав обо всех возможных вариантах (а также не делать то, что не особо надо). Потому что иначе очередной запрос на очередной картосервис заставит всё переписывать. Не гуглом единым живо человечество, и темы google-only в контексте "а остальное меня не волнует" выглядят всегда подозрительно. Соответственно, попробуйте для начала сформировать исчерпывающий перечень критериев бана со стороны картосервиса (а также не бана, но критической ошибки, после которой надо принимать меры), при наступлении которых надо мигать и пиликать сасом, чтобы юзер вмешался в настройки сети или саса. А также подумайте, как предполагаете отличать http 404 в результате бана от http 404 из-за отсутствия тайла на сервере? Вариант с http 503 ещё простой: 503 Service Unavailable - сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). В поле Retry-After заголовка сервер может указать время, через которое клиенту рекомендуется повторить запрос. Для всех ситуаций, кроме использования метода HEAD, сервер должен включать в тело сообщения объяснение. >тут точно человеку вмешаться надо, нет? Не обязательно, есть разные варианты. Начиная от изменения урла и кончая вмешательством, но не в сас.

(0012455) DJ VK (manager) 15-08-2013 18:21	Космоснимки это отдельный идиотизм. В opera AC синие тайлы выскакивают постоянно. Несколько лет назад я написал им, а какого хрена не работает сайт, они просто комментарий стерли.... Так, уже релизов 5 браузера скачал, ни в одном не работает сайт.... (Они не одиноки, постоянно чтото крутят, по наблюдениям, вконтакте, гисметео, и надолго ломают свой же кросс-браузерный функционал) кстати гугль перешел на HTTPS полностью, не пора ли озадачиться, пока совсем не прикрыли HTTP?

(0012456) DJ VK (manager) 15-08-2013 18:23	может сделать внутрь zmp флаги на разные типы ошибок? 40х 50х. Продолжать или воспринимать как бан...

(0012457) blacklion (reporter) 15-08-2013 18:29 edited on: 15-08-2013 18:35	Да, про конверсию понял -- но это-то учесть можно. Так же понятно, что разные сервисы реагируют по-разному -- какие-то обработать просто, какие-то нет. Но уже есть скрипты для создания URL'ей -- можно и на обработку ошибок сделать скрипты, обработав простые случаи основным кодом (как предлагает DJ_VK) -- флаги в ZMP, и флаг реагировать ли на явные проблемы с Content-Type.

(0012458) vasketsov (manager) 15-08-2013 18:40	>гугль перешел на HTTPS полностью Что значит "полностью"? Это как-то связано с баном? Если не связано, если есть, чего сказать и чего надо поправить срочно в качестве реакции на такое западло - лучше создать отдельный высокоприоритетный тикет с подробностями. Бан - баном, а работоспособность - работоспособностью.

Users who viewed this issue
User List	Anonymous (1923x), vdemidov (7x), vasketsov (2x)
Total Views	1932
Last View	22-11-2024 08:52

Issue History
Date Modified	Username	Field	Change
12-08-2013 18:13	solo	New Issue
12-08-2013 18:24	vasketsov	Project	SACS.Планета => SAS.Планета
12-08-2013 18:43	zed	Note Added: 0012345
12-08-2013 18:54	solo	Note Added: 0012346
12-08-2013 19:44	vasketsov	Note Added: 0012348
12-08-2013 19:53	solo	Note Added: 0012349
12-08-2013 19:56	solo	Note Edited: 0012349	View Revisions
12-08-2013 20:23	vasketsov	Note Added: 0012351
12-08-2013 20:29	solo	Note Added: 0012352
12-08-2013 20:30	solo	Note Edited: 0012352	View Revisions
12-08-2013 20:34	solo	Note Edited: 0012352	View Revisions
12-08-2013 20:35	solo	Note Edited: 0012352	View Revisions
12-08-2013 20:42	solo	Note Edited: 0012352	View Revisions
13-08-2013 06:21	solo	Note Edited: 0012352	View Revisions
13-08-2013 07:21	vdemidov	Note Added: 0012356
13-08-2013 07:31	solo	Note Added: 0012359
13-08-2013 17:23	solo	Note Edited: 0012359	View Revisions
15-08-2013 16:46	blacklion	Note Added: 0012451
15-08-2013 17:10	vasketsov	Note Added: 0012452
15-08-2013 17:27	blacklion	Note Added: 0012453
15-08-2013 18:10	vasketsov	Note Added: 0012454
15-08-2013 18:21	DJ VK	Note Added: 0012455
15-08-2013 18:23	DJ VK	Note Added: 0012456
15-08-2013 18:29	blacklion	Note Added: 0012457
15-08-2013 18:35	blacklion	Note Edited: 0012457	View Revisions
15-08-2013 18:40	vasketsov	Note Added: 0012458

Relationships

SASGIS