так.
ситуация один.
скорость 2.6
интервал 1000 - всё работает, интервал 500 - всё работает, интервал 0 - всё работает
ситуация два.
скорость 6.2
интервал 1000 - бан
Это я к тому, что загружать с 0-вым интервалом намного приятнее, чем сидеть в бане с интервалом 1000.
Бан и борьба с ним
Модератор: Tolik
- ZmeiGorinich
- Соображающий
- Сообщения: 68
- Зарегистрирован: 07 дек 2009, 02:43
- Откуда: Тверь
- Поблагодарили: 1 раз
- Контактная информация:
Re: Бан и борьба с ним
Приведу формулу с примером.
Так как точного алгоритма бана никто не знает то можно только догадываться.
60000/(filesize(bytes)/speed(bytes/ms)+sleep(ms))>limit by google -> BAN
размер одного тайла ~6000 байт
скорость твоя 6.2 мегабита/сек = 812646 байт/сек = 812,646 байт/мс (конечно такой скорости в реале нету и на таких малых размерах она и до полмегабита недоростает, тут скорее время отлкика влияет, но что бы показать тебе наявно что скорость тут совсем непричем - продолжим...)
слип тайм = 0 (для сравнения)
60000/(6000/812,646+0)= ~8126 запросов в минуту
следующая скорость твоя 2,6 мбит/сек = 340,787 байт/мс
60000/(6000/340,787+0)= ~3407 запросов в минуту
теперь тоже самое только с слиптаймом в 1000мс
60000/(6000/812,646+1000)= ~59 запросов в минуту
60000/(6000/340,787+1000)= ~58 запросов в минуту
Точно сказать какой период времени мониторит гугль - нельзя... минуту, 10, 25, 30, час... не ясно . но ясно то что гугль не хочет что бы с него качали много. Рядовой пользователь листая обычную карту, думаю врядли выйдет за приделы 90 запросов в минуту.
Также возможно они мониторят жестче кучу запросов с ответом 404, которые обычный юзер таким шквалом никогда не пошлет.
Так что тебе решать как качать.
PS реальных 6,2 мбита/сек ты на файле в 6кб никогда не увидишь
PPS родилась очередная хотелка
Так как точного алгоритма бана никто не знает то можно только догадываться.
60000/(filesize(bytes)/speed(bytes/ms)+sleep(ms))>limit by google -> BAN
размер одного тайла ~6000 байт
скорость твоя 6.2 мегабита/сек = 812646 байт/сек = 812,646 байт/мс (конечно такой скорости в реале нету и на таких малых размерах она и до полмегабита недоростает, тут скорее время отлкика влияет, но что бы показать тебе наявно что скорость тут совсем непричем - продолжим...)
слип тайм = 0 (для сравнения)
60000/(6000/812,646+0)= ~8126 запросов в минуту
следующая скорость твоя 2,6 мбит/сек = 340,787 байт/мс
60000/(6000/340,787+0)= ~3407 запросов в минуту
теперь тоже самое только с слиптаймом в 1000мс
60000/(6000/812,646+1000)= ~59 запросов в минуту
60000/(6000/340,787+1000)= ~58 запросов в минуту
Точно сказать какой период времени мониторит гугль - нельзя... минуту, 10, 25, 30, час... не ясно . но ясно то что гугль не хочет что бы с него качали много. Рядовой пользователь листая обычную карту, думаю врядли выйдет за приделы 90 запросов в минуту.
Также возможно они мониторят жестче кучу запросов с ответом 404, которые обычный юзер таким шквалом никогда не пошлет.
Так что тебе решать как качать.
PS реальных 6,2 мбита/сек ты на файле в 6кб никогда не увидишь
PPS родилась очередная хотелка
- ZmeiGorinich
- Соображающий
- Сообщения: 68
- Зарегистрирован: 07 дек 2009, 02:43
- Откуда: Тверь
- Поблагодарили: 1 раз
- Контактная информация:
Re: Бан и борьба с ним
так вот при "60000/(6000/340,787+0)= ~3407 запросов в минуту" бана то и не было. Вот что интересно!
Да, а 404-е ошибки я, в принципе, искореняю. Выделяю/качаю только то, что есть...
Да, а 404-е ошибки я, в принципе, искореняю. Выделяю/качаю только то, что есть...
- Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Бан и борьба с ним
ZmeiGorinich писал(а):ситуация один.
всё работает
ситуация два.
бан
Sharing IP (как провайдерскую совокупность числа юзверей помноженных на скорость сети - но все в то же бутылочное горлышко белой провайдерской подсетки) в варианте 2 мы, конечно же, в расчет не берем? Очевидно, что чем больше скорости отдается юзеру - тем больший приоритет должен быть у того бутылочного горлышка, на котором оные скоростные юзеры сидят. И тем больше частота\скорость запросов по оному ВООБЩЕ (от провайдера, в сумме), и тем быстрее влет в бан там, где банится именно IPшник по данному параметру частоты\числа запросов.
У меня такое на депозите как-то наблюдалось. Как ни зайдешь - "Вы исчерпали лимит подключений!", хотя _месяцами_ не качал. Взял более медленный, но "белый" IP - как рукой сняло.
ZmeiGorinich писал(а):Это я к тому, что загружать с 0-вым интервалом намного приятнее, чем сидеть в бане с интервалом 1000.
Какой "неожиданный" вывод...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/


- ZmeiGorinich
- Соображающий
- Сообщения: 68
- Зарегистрирован: 07 дек 2009, 02:43
- Откуда: Тверь
- Поблагодарили: 1 раз
- Контактная информация:
Re: Бан и борьба с ним
В том то и дело, что обидно...
Белый IP (и тогда и сейчас), наконец то оптика - и в баню. Приходится сейчас интервал 1500 ставить - пока полёт нормальный.
Белый IP (и тогда и сейчас), наконец то оптика - и в баню. Приходится сейчас интервал 1500 ставить - пока полёт нормальный.
- ZmeiGorinich
- Соображающий
- Сообщения: 68
- Зарегистрирован: 07 дек 2009, 02:43
- Откуда: Тверь
- Поблагодарили: 1 раз
- Контактная информация:
Re: Бан и борьба с ним
Ну вот - с интервалом 1500 Гугл меня забанил.
Может, всё-таки дело в скорости скачивания одного файла?
Может, всё-таки дело в скорости скачивания одного файла?
-
zed
- Гуру
- Сообщения: 2888
- Зарегистрирован: 16 авг 2008, 20:21
- Благодарил (а): 89 раз
- Поблагодарили: 568 раз
Re: Бан и борьба с ним
ZmeiGorinich писал(а):Может, всё-таки дело в скорости скачивания одного файла?
Как такое может быть? Ведь вы браузером-то тоже по-одному тайлу тянете без ограничения скорости.
Со скоростью поэксперементируйте: поставьте шейпер (к примеру, простенький BWMeter), зарежьте свой канал и посмотрите как быстро забанят.
- CepheX
- Новичок
- Сообщения: 31
- Зарегистрирован: 27 апр 2010, 23:32
- Благодарил (а): 8 раз
- Поблагодарили: 4 раза
Re: Бан и борьба с ним
Информация для владельцев WiFi карточек.
О моей борьбе с баней гугла. Имею обыкновенный проводной интернет в многоквартирном доме и WiFi рутер потому как имеется несколько ноутбуков. В свою очередь соседи у меня очень добрые и юзают такие же WiFi рутеры но без кодирования (спасибо им)
В итоге я имею 3 разных подсести. Выставляю паузу 0.3 секунды и качаю пока не забанят. Как тока оказался в бане подключаюсь на следующий рутер. И так методом ротации имею возможность качать сутками напролет.
И еще совет, я формирую из 14 слоя нижестоящие вплоть до 10 слоя таким методом я вижу на довольно обзорном 10-м слое все подробные слои для Латвии хватает
. Остальные подробные слои я качаю с 17-го слоя и только интересующие места качаю на максимально доступном зуме и также формирую все предыдущие. В итоге требуется качать всего несколько слоев а в результате имеем полное заполнение карты всеми слоями. 257000 тайлов на компе 
О моей борьбе с баней гугла. Имею обыкновенный проводной интернет в многоквартирном доме и WiFi рутер потому как имеется несколько ноутбуков. В свою очередь соседи у меня очень добрые и юзают такие же WiFi рутеры но без кодирования (спасибо им)
И еще совет, я формирую из 14 слоя нижестоящие вплоть до 10 слоя таким методом я вижу на довольно обзорном 10-м слое все подробные слои для Латвии хватает
Re: Бан и борьба с ним
Может кто знает, почему при выставлении бана от Google maps (Спутник) через браузер Google Chrome я по прежнему могу просматривать карту, через другие браузеры (IE, Opera) нет - до тех пор пока не снимется бан?
До того как что-нибудь было, ничего не было... (с) Божественная комедия
- Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Бан и борьба с ним
Abashin писал(а):Может кто знает, почему при выставлении бана от Google maps (Спутник) через браузер Google Chrome я по прежнему могу просматривать карту, через другие браузеры (IE, Opera) нет - до тех пор пока не снимется бан?
Просматривается в любом современном браузере, поддерживающем куки (это же ответ и на вопрос "почему сас банят" - он не поддерживает куков). Причем сас может быть в бане - а на том же компьютере в браузере всё будет работать.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/

