SASGIS

Веб-картография и навигация


View Issue Details Jump to Notes ] Issue History ] Print ]
IDProjectCategoryView StatusDate SubmittedLast Update
0002568SAS.Планета[All Projects] Хотелкаpublic29-11-2014 07:3510-12-2014 10:41
Reportert000x 
Assigned To 
PrioritynormalSeverityminorReproducibilityhave not tried
StatusconfirmedResolutionopen 
PlatformOSOS Version
Product Version140505 
Target Version40xxxxFixed in Version 
Summary0002568: При загрузке выделенной области делать паузу t секунд после скачивания x мегабайт
DescriptionТут обнаружил такую штуку, которую трижды перепроверил, если скачать около ~ 150 mb со спутника google, то гугл банит IP, если сделать паузу после ~ 100mb где-то на 5-10 мин, то можно ещё столько же скачать и так далее.

Так что хотелось бы иметь возможность ставить паузу после определенного кол-ва скачанного трафика.
TagsNo tags attached.
Attached Files

- Relationships

-  Notes
(0015017)
t000x (reporter)
29-11-2014 11:28
edited on: 29-11-2014 11:29

Забыл сказать что речь о скачивании на скорости 30 мегабит /
Пробовал в один поток и пробовал в два потока, результат один, при достижении примерно 150 мб общего трафика - бан. Гибрид не проверял.

(0015021)
Papazol (reporter)
29-11-2014 20:16
edited on: 30-11-2014 17:17

Иногда бан наступает и при другом количестве скачанного. Так что формальный перерыв может помочь не во всех случаях.
По моим наблюдениям самый действенный способ избежать бана - скачивать горизонтальными полосами, высотой не более 16 тайлов. Длина значения не имеет. Да, это требует постоянного присутствия за компом, но позволяет при наличии свободного времени выкачать всё, что нужно.

(0015023)
t000x (reporter)
30-11-2014 11:08

Я говорю про конкретный случай, с выделенного IP.
Уже 4-вертый день качаю гугло карту пачками по 100 mb с перерывом по 10 мин, и всё путём. Единственное что напрягает так это ручная работа.
(0015024)
zed (manager)
30-11-2014 11:26
edited on: 30-11-2014 11:39

Вы по-моему в программировании разбираетесь? Чтобы избавиться от ручной работы можете добавить счётчик трафика и захардкодить sleep вот тут.

А по поводу реализации тикета - не знаю, стоит ли игра свеч. Это нужно будет только для гугла ди и к тому же не даёт гарантий, а может работать только в отдельных конкретных случаях.

(0015025)
t000x (reporter)
02-12-2014 10:10
edited on: 02-12-2014 11:56

Я бы написал, но пока разберусь в ваших сорсах, пока поставлю XE2 и настрою все компоненты, это ж ппц времени убью )

RE: "А по поводу реализации тикета - не знаю, стоит ли игра свеч. Это нужно будет только для гугла ди и к тому же не даёт гарантий, а может работать только в отдельных конкретных случаях."

Ну а почему бы и нет, ведь гугл основной карто-сервис, а фичу можно зарелизить хотябы на уровне настроек в ини файле, так сказать "undocumented feature" будет.

(0015027)
zed (manager)
02-12-2014 12:55

> Я бы написал, но
Если фича нужна, то всё делается без всяких НО. А этот тикет вообще могут закрыть или назначить на 2020 год.

> Ну а почему бы и нет, ведь гугл основной карто-сервис
Вот только в коде у нас полная абстакция и нет никаких привязок к картсервисам.
(0015028)
t000x (reporter)
02-12-2014 16:49

Тогда такой вопрос, у вас вроде раньше был слепок виртуальной машины с установленными Xe2 и компонентами.
Где это чудо можно скачать ?
(0015029)
zed (manager)
02-12-2014 16:53

Все ссылки в топике: Вопросы по компиляции SAS

- Users who viewed this issue
User List Anonymous (3223x)
Total Views 3223
Last View 21-11-2024 22:08

- Issue History
Date Modified Username Field Change
29-11-2014 07:35 t000x New Issue
29-11-2014 08:58 t000x Note Added: 0015016
29-11-2014 08:58 t000x Note Edited: 0015016 View Revisions
29-11-2014 08:59 t000x Note Edited: 0015016 View Revisions
29-11-2014 09:00 t000x Note Edited: 0015016 View Revisions
29-11-2014 09:24 zed Description Updated View Revisions
29-11-2014 10:57 t000x Note Deleted: 0015016
29-11-2014 11:28 t000x Note Added: 0015017
29-11-2014 11:29 t000x Note Edited: 0015017 View Revisions
29-11-2014 20:16 Papazol Note Added: 0015021
30-11-2014 11:08 t000x Note Added: 0015023
30-11-2014 11:26 zed Note Added: 0015024
30-11-2014 11:39 zed Note Edited: 0015024 View Revisions
30-11-2014 17:17 Papazol Note Edited: 0015021 View Revisions
02-12-2014 10:10 t000x Note Added: 0015025
02-12-2014 11:56 t000x Note Edited: 0015025 View Revisions
02-12-2014 12:55 zed Note Added: 0015027
02-12-2014 16:49 t000x Note Added: 0015028
02-12-2014 16:53 zed Note Added: 0015029
10-12-2014 10:41 vdemidov Status new => confirmed
10-12-2014 10:41 vdemidov Product Version => 140505
10-12-2014 10:41 vdemidov Target Version => 40xxxx
10-12-2014 10:41 vdemidov Summary Повышение КПД скачивания с гугла с обходом блока по IP => При загрузке выделенной области делать паузу t секунд после скачивания x мегабайт



Copyright © 2007 - 2024 SAS.Planet Team