|
Notes |
|
|
(0012345)
|
|
zed
|
|
12-08-2013 18:43
|
|
>Так как борьба с банами на Яндексе и Гугле заключается в смене прокси
Нормальная борьба с баном заключается в написании правильного zmp, юзающего куки и маскирующегося под браузер. |
|
|
|
(0012346)
|
|
solo
|
|
12-08-2013 18:54
|
|
|
Пробовал. Не помогает. Если у Вас это получилось, не могли бы Вы написать статью о том как это сделать? Желательно с примерами и разбором zmp |
|
|
|
|
>заключается в написании правильного zmp
Говорят, яндекс скурвился и стал банить, даже если в zmp прикидываться в точности браузером, с куками и хедерами. Я последний раз гиги качал с него без бана в районе версии этак 3.57.0 в кучку потоков, то есть этой весной, и тогда меня не банило по причине правильного zmp. Но сейчас лить с него мне нечего, так что проверить, подтвердить или опровергнуть не могу.
>Гугле
С гуглом вообще бороться проще простого: включаем куки в zmp, по бану паузим закачку, копируем ссылку на незакачавшийся тайл, открываем её в обычном браузере, делаем чё там написано для доказательства что не робот а живой чел, получаем тайл, продолжаем закачку. |
|
|
|
(0012349)
|
|
solo
|
12-08-2013 19:53
(edited on: 12-08-2013 19:56) |
|
Вот только что сделал как Вы говорили. Подтвердил гуглу, что я не робот и всё равно облом.
Кстати, в браузере он мне нормально этот тайл открывает
|
|
|
|
|
>и всё равно облом
Буквально вчера делал такое раз пять. Как часы. Видимо есть где-то дьявол в деталях. Например, не включены куки в zmp или урл открывался не в IE. |
|
|
|
(0012352)
|
|
solo
|
12-08-2013 20:29
(edited on: 13-08-2013 06:21) |
|
Спасибо, с гуглом помогло. Я как-то прочно подсел на фаерфокс ,что забыл про ИЕ. Но насчёт Яндекса проблема стоит.
Ну хотя всё равно сигнал приделать стоит, чтоб знать, когда идти отвечать на сложные вопросы робота :)
|
|
|
|
|
|
Проблема с подачей сигнала распознавание момента прерывания загрузки. Как отличить то что вас забанили, от проблем с сетью или медленного инета, когда закачка некоторых тайлов отваливается по таймауту. |
|
|
|
(0012359)
|
|
solo
|
13-08-2013 07:31
(edited on: 13-08-2013 17:23) |
|
Ну если у проблемы с сетью, то сигнал скажет, что надо идти и решать их.
Насчёт медленного инета... Можно не включать сигнал.
В смысле, хочешь сигнал - нажал галочку и будет тебе три зелёных свистка.
Плохой интернет - не нажимай галочку и качай пока не надоест
Маленькое дополнение. Ну и пусть ещё программа закачку останавливает
|
|
|
|
|
Ну как отличать -- так и отличать. Это же разные ошибки. Зачастую -- разного уровня (сетевой уровень / уровень приложения).
Нет интернета -- это ошибка на connect() (WSAConnect() если угодно), медленная сеть -- таймаут чтения из сокета.
Забаниили -- с точки зрения TCP всё правильно, а по HTTP отдали 503 Service Unavailable (по крайней мере, так отдаёт гугл, наверное, придётся сделать определение бана конфигурируемым, как сейчас создание URL'я конфигурируется, тут, наверное, все по-разному) или просто Contet-Type не тот (если нам отдали text/html когда мы ждали image/jpeg -- наверное, нам что-то хотят сказать и надо позвать пользователя). |
|
|
|
|
>Нет интернета -- это ошибка на connect
Правда? ))) А может быть что сервер доступен по урлам вида <N>.domain/..., где N от 1 до 4, к которым ходят по разным сетевым интерфейсам, и часть из их лежит?
>тут, наверное, все по-разному
Именно. Например, terraserver отдавал пустую картинку с наложением водяного знака и каждый раз новым хэшем. У космоснимков было несколько синих тайлов, которые иногда менялись.
>или просто Contet-Type не тот
Если content-type некорректный и не может быть приведён к ожидаемому (а не просто "не тот"), это также будет расценено как ошибка закачки. Если включить остановку при ошибках, то при работающем инете закачка сразу и встанет. |
|
|
|
|
Первое -- ну так если легло два из 4 сетевых интерфейса, тут точно человеку вмешаться надо, нет?
Второе -- я и не говорю, что есть универсальное решение. Но для многих сервисов оно есть. Не делать ничего потому что невозможно сделать идеально? Это перфекционизм в психиатрическом а не бытовом смысле. Так можно вообще ничего не делать.
Третье -- я не понял если честно. Когда может быть ложное срабатывание? В каком случае нам валидно могут вернуть HTML вместо запрошенной картинки с 200-ым годом? |
|
|
|
|
>Когда может быть ложное срабатывание?
Ложное срабатывание чего? Проверки равенства content-type прилетевшего и ожидаемого? Да это может быть предусмотрено специально, для конвертации тайла на лету, например, kml -> kmz или jpeg -> png с удалением exif.
>Не делать ничего потому что невозможно сделать идеально?
Скорее - не делать костылей, не подумав обо всех возможных вариантах (а также не делать то, что не особо надо). Потому что иначе очередной запрос на очередной картосервис заставит всё переписывать.
Не гуглом единым живо человечество, и темы google-only в контексте "а остальное меня не волнует" выглядят всегда подозрительно.
Соответственно, попробуйте для начала сформировать исчерпывающий перечень критериев бана со стороны картосервиса (а также не бана, но критической ошибки, после которой надо принимать меры), при наступлении которых надо мигать и пиликать сасом, чтобы юзер вмешался в настройки сети или саса. А также подумайте, как предполагаете отличать http 404 в результате бана от http 404 из-за отсутствия тайла на сервере?
Вариант с http 503 ещё простой:
503 Service Unavailable - сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). В поле Retry-After заголовка сервер может указать время, через которое клиенту рекомендуется повторить запрос. Для всех ситуаций, кроме использования метода HEAD, сервер должен включать в тело сообщения объяснение.
>тут точно человеку вмешаться надо, нет?
Не обязательно, есть разные варианты. Начиная от изменения урла и кончая вмешательством, но не в сас. |
|
|
|
(0012455)
|
|
DJ VK
|
|
15-08-2013 18:21
|
|
Космоснимки это отдельный идиотизм. В opera AC синие тайлы выскакивают постоянно. Несколько лет назад я написал им, а какого хрена не работает сайт, они просто комментарий стерли.... Так, уже релизов 5 браузера скачал, ни в одном не работает сайт.... (Они не одиноки, постоянно чтото крутят, по наблюдениям, вконтакте, гисметео, и надолго ломают свой же кросс-браузерный функционал)
кстати гугль перешел на HTTPS полностью, не пора ли озадачиться, пока совсем не прикрыли HTTP? |
|
|
|
(0012456)
|
|
DJ VK
|
|
15-08-2013 18:23
|
|
может сделать внутрь zmp флаги на разные типы ошибок? 40х 50х.
Продолжать или воспринимать как бан... |
|
|
|
(0012457)
|
|
blacklion
|
15-08-2013 18:29
(edited on: 15-08-2013 18:35) |
|
Да, про конверсию понял -- но это-то учесть можно.
Так же понятно, что разные сервисы реагируют по-разному -- какие-то обработать просто, какие-то нет. Но уже есть скрипты для создания URL'ей -- можно и на обработку ошибок сделать скрипты, обработав простые случаи основным кодом (как предлагает DJ_VK) -- флаги в ZMP, и флаг реагировать ли на явные проблемы с Content-Type.
|
|
|
|
|
>гугль перешел на HTTPS полностью
Что значит "полностью"?
Это как-то связано с баном?
Если не связано, если есть, чего сказать и чего надо поправить срочно в качестве реакции на такое западло - лучше создать отдельный высокоприоритетный тикет с подробностями. Бан - баном, а работоспособность - работоспособностью. |
|