View Issue Details

IDProjectCategoryView StatusLast Update
0002568SAS.ПланетаХотелка / Feature requestpublic10-12-2014 10:41
Reportert000x Assigned To 
PrioritynormalSeverityminorReproducibilityhave not tried
Status confirmedResolutionopen 
Product Version140505 
Target Version45xxxx 
Summary0002568: При загрузке выделенной области делать паузу t секунд после скачивания x мегабайт
DescriptionТут обнаружил такую штуку, которую трижды перепроверил, если скачать около ~ 150 mb со спутника google, то гугл банит IP, если сделать паузу после ~ 100mb где-то на 5-10 мин, то можно ещё столько же скачать и так далее.

Так что хотелось бы иметь возможность ставить паузу после определенного кол-ва скачанного трафика.
TagsNo tags attached.

Activities

t000x

29-11-2014 11:28

reporter   ~0015017

Last edited: 29-11-2014 11:29

Забыл сказать что речь о скачивании на скорости 30 мегабит /
Пробовал в один поток и пробовал в два потока, результат один, при достижении примерно 150 мб общего трафика - бан. Гибрид не проверял.

Papazol

29-11-2014 20:16

reporter   ~0015021

Last edited: 30-11-2014 17:17

Иногда бан наступает и при другом количестве скачанного. Так что формальный перерыв может помочь не во всех случаях.
По моим наблюдениям самый действенный способ избежать бана - скачивать горизонтальными полосами, высотой не более 16 тайлов. Длина значения не имеет. Да, это требует постоянного присутствия за компом, но позволяет при наличии свободного времени выкачать всё, что нужно.

t000x

30-11-2014 11:08

reporter   ~0015023

Я говорю про конкретный случай, с выделенного IP.
Уже 4-вертый день качаю гугло карту пачками по 100 mb с перерывом по 10 мин, и всё путём. Единственное что напрягает так это ручная работа.

zed

30-11-2014 11:26

manager   ~0015024

Last edited: 30-11-2014 11:39

Вы по-моему в программировании разбираетесь? Чтобы избавиться от ручной работы можете добавить счётчик трафика и захардкодить sleep вот тут.

А по поводу реализации тикета - не знаю, стоит ли игра свеч. Это нужно будет только для гугла ди и к тому же не даёт гарантий, а может работать только в отдельных конкретных случаях.

t000x

02-12-2014 10:10

reporter   ~0015025

Last edited: 02-12-2014 11:56

Я бы написал, но пока разберусь в ваших сорсах, пока поставлю XE2 и настрою все компоненты, это ж ппц времени убью )

RE: "А по поводу реализации тикета - не знаю, стоит ли игра свеч. Это нужно будет только для гугла ди и к тому же не даёт гарантий, а может работать только в отдельных конкретных случаях."

Ну а почему бы и нет, ведь гугл основной карто-сервис, а фичу можно зарелизить хотябы на уровне настроек в ини файле, так сказать "undocumented feature" будет.

zed

02-12-2014 12:55

manager   ~0015027

> Я бы написал, но
Если фича нужна, то всё делается без всяких НО. А этот тикет вообще могут закрыть или назначить на 2020 год.

> Ну а почему бы и нет, ведь гугл основной карто-сервис
Вот только в коде у нас полная абстакция и нет никаких привязок к картсервисам.

t000x

02-12-2014 16:49

reporter   ~0015028

Тогда такой вопрос, у вас вроде раньше был слепок виртуальной машины с установленными Xe2 и компонентами.
Где это чудо можно скачать ?

zed

02-12-2014 16:53

manager   ~0015029

Все ссылки в топике: Вопросы по компиляции SAS

Issue History

Date Modified Username Field Change
29-11-2014 07:35 t000x New Issue
29-11-2014 09:24 zed Description Updated
29-11-2014 11:28 t000x Note Added: 0015017
29-11-2014 11:29 t000x Note Edited: 0015017
29-11-2014 20:16 Papazol Note Added: 0015021
30-11-2014 11:08 t000x Note Added: 0015023
30-11-2014 11:26 zed Note Added: 0015024
30-11-2014 11:39 zed Note Edited: 0015024
30-11-2014 17:17 Papazol Note Edited: 0015021
02-12-2014 10:10 t000x Note Added: 0015025
02-12-2014 11:56 t000x Note Edited: 0015025
02-12-2014 12:55 zed Note Added: 0015027
02-12-2014 16:49 t000x Note Added: 0015028
02-12-2014 16:53 zed Note Added: 0015029
10-12-2014 10:41 vdemidov Status new => confirmed
10-12-2014 10:41 vdemidov Product Version => 140505
10-12-2014 10:41 vdemidov Target Version => 45xxxx
10-12-2014 10:41 vdemidov Summary Повышение КПД скачивания с гугла с обходом блока по IP => При загрузке выделенной области делать паузу t секунд после скачивания x мегабайт
08-08-2025 13:24 zed Category Хотелка => Хотелка / Feature request