Бан и борьба с ним

[Barbaris]

Странно все. На данный момент SASPlanet (ни у кого) не работает с сервисом http://etokarta.com/, вместо тайла спутникового снимка появляется картинка, говорящая о том, что "Доступ часова забаронены". В браузере работает. Отключил cookies (в Firefox 4), и все равно тайлы подгружаются без проблем.

Забавно, что сайт о белорусском городе хостится в Санкт-Петербурге, и домен не .by, а .com, что как бы намекает.

Интересует, почему в SAS не работает у всех и почему при отключении cookies в браузере все продолжает работать без блокировки.

[Parasite]

Интересует, почему в SAS не работает у всех и почему при отключении cookies в браузере все продолжает работать без блокировки.

Потому что кроме куков бывают еще и хидеры, и сессии, и много чего прочего. САС с этим всем тоже [пока] не работает.
См. сюда.

[Tolik]

"Доступ часова забаронены"

Оперативно
Только вчера сляпiў zmp, а сегодня уже забаронены...

[Tolik]

Покопался в Wireshark, не понял, что тут важно. Referer и Cookie не важны.

Это кошерный GEТ (из Firefox, при просмотре одного тайла, после удаления куки):

Код: Выделить всё

    GET /t/dg/zz17/18-076537-041333.jpg HTTP/1.1\r\n
    Host: etokarta.com\r\n
    User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13\r\n
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Language: en-us,en;q=0.5\r\n
    Accept-Encoding: gzip,deflate\r\n
    Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7\r\n
    Keep-Alive: 115\r\n
    Connection: keep-alive\r\n
    \r\n

Это от САСпланеты:

Код: Выделить всё

    GET /t/dg/zz17/18-076525-041333.jpg HTTP/1.1\r\n
    User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)\r\n
    Host: etokarta.com\r\n
    Cache-Control: no-cache\r\n
    \r\n

Parasite, а как проксифицировать запросы через собственный скрипт (что есть ненужность и доп.гимор)?

[Tolik]

Сегодня заметил, что в MSIE вообще не работает (и 7, и 8).
Так что, возможно, User-Agent не нравится.
Но это они должны исправить, куда ж без MSIE.

[Parasite]

Parasite, а как проксифицировать запросы через собственный скрипт (что есть ненужность и доп.гимор)?

Как проксифицировать вообще, или как проксифицировать в данном конкретном случае?

Если первое - то на любимом языке пишется небольшая программка, которая сидит на том же компьютере что и САС, и слушает порт ХХХХ. В сасе делается ЗМП, спрашивающий карты с 127.0.0.1:<тот_самый_порт> (пример можно найти в теме "Кэш Гугля для всех желающих"). Запускается САС, начинает просить карты с этого порта. По прихождении запроса на этот порт с САСа - программка получает оный, парсит на Х\Y\Z, делает с ними то что надо - подписывает кукой, формирует расово верный хидер итд, отправляет уже кошерный запрос на сервер карт (держа при этом запрос с САСа в подвешенном состоянии). По получении ответа с сервера карт - отрезает лишнее (например хидер сервера), меняет content-type если нужно, или на лету перепроецирует, да что угодно еще - и готовый контент отдает САСу, закрывая тему до следующего запроса. Самое важное - успеть разродиться со всеми операциями до того как САС закроет запрос по таймауту со своей стороны (ибо таймаут в САСе тоже не настраивается). По получении контента - САС доволен, улыбается, машет, просит следующий тайл. Процесс повторяется. Для мультипоточности - соответственно, пишется мультитредовая\форкованная прожка. При этом можно одновременно смотреть те же карты еще и браузером, или раздавать на весь свой город через себя, или что угодно еще - по этой же схеме.

Если второе - то понятия не имею. Мне та карта неинтересна в принципе, так что не сидел и разбирался.

PS: проксификатор например на перле - занимает ну буквально десяток строк.

[Tolik]

PS: проксификатор например на перле - занимает ну буквально десяток строк.

Ну в общем всё понятно.
Я думал, может есть такая софтина, чтоб не писать с нуля и не компилировать.
Можно пример простого прокси?

[Parasite]

Я думал, может есть такая софтина

Хочешь сделать что-то хорошо - сделай это сам©

В принципе под винду это можно сделать средствами HandyCache - но всё равно там придется писать свой модуль под каждый конкретный сервер, и писать уже придется только на встроенном LUA (а он крайне негуманоиден - глаза б мои на него не смотрели...но можно, да).

Можно пример простого прокси?

http://www.adp-gmbh.ch/perl/proxy.html

[Parasite]

Можно пример простого прокси?

http://www.adp-gmbh.ch/perl/proxy.html

Кстати, если неохота упарываться со всеми портами\форками - то пишется то же самое, только не слушающее TCP/IP запросы, а молча качающее в кэш САСа. То есть, простейший выкачивальщик в кэш по нужному в данный момент алгоритму (кой можно позаимствовать именно из ZMP, доработав его на тему нужных пунктов). САС при этом работает в режиме "Только кэш".

Иногда этот вариант на порядки быстрее операций через САС, особенно учитывая САСовскую фирменную фичу "в одном окошке - только один поток без хидеров/POST/GZIP/HTTPS/REFERRER/Keep-Alive/докачки/итд".

[fishman]

Ну вот! Яндекс, оказывается, тоже банит!
Раньше я этого не замечал. Пауза стоит 0, не считал количество скачанных тайлов, но не очень много.
Через час после бана позволяет качать дальше, потом опять "стоп"...