|
Notes |
|
|
(0009655)
|
|
Tolik
|
|
22-10-2012 04:42
|
|
Кстати, и правда, почему качает в 1 поток (если открыть только 1 окно скачивания)?
Но делать (опциональную) многопоточную скачку так не надо. Зачем разбивать полигон на части? Можно просто послать одновременно N запросов на N последовательных тайлов. |
|
|
|
|
>Можно просто послать одновременно N запросов на N последовательных тайлов.
Можно-то можно, но последние телодвижения по тикету 134 (совершенно внезапно - тоже моему) были полтора года назад... :( |
|
|
|
(0009660)
|
|
Tolik
|
|
22-10-2012 06:53
|
|
|
Значит, закрывать как дубль? |
|
|
|
(0009664)
|
|
Parasite
|
22-10-2012 08:22
(edited on: 22-10-2012 08:24) |
|
C чего бы дубль-то, если совершенно о разных сущностях тикеты? Разбитие полигона на N процессов никоим образом не дублирует многопоточности в каждом из этих процессов - и уж тем более может быть реализовано независимо друг от друга.
Общая цель (быстрая скачка) - да, достигаться будет быстрее в обоих случаях. Но дубля тут ни разу нет - в данном конкретном тикете просится минимизация работы по ручному разбитию сложного полигона на N условно-равнозначных частей. А уж выюзать коннект на полную можно весьма многими [при этом не обязательно дублирующимися] способами. 2 способа = 2 тикета. :)
|
|
|
|
(0009665)
|
|
Tolik
|
|
22-10-2012 08:25
|
|
|
Ок, идея другая, но цель та же (многопоточная скачка). Нужно ли кому-нибудь автоматическое разбиение полигонов на N частей само по себе? |
|
|
|
|
Тикет, собссно, к тому что я считаю что его ввести в работу много проще (в САСе уже всё нужное есть, см. "SLS" выше) чем непосредственно "честную" многопоточную закачку (для которой придется перелопатить всю САСовую качалку - и ждать который мы будем еще долго, а потом еще кучу времени ловить глюки и баги).
Это просто заход к той же проблеме но с другой стороны. Я, собссно, через SLS и делаю сабж - редактируя их ручками. Но - гимор же... А как только появится честная многопоточность - то и ЕЩЕ лучше будем качать уже и в каждом из тех потоков. :) |
|
|
|
|
>закрывать как дубль?
Это никакой не дубль. Там про "отдельный качальщик" и ни слова о реализации "многопоточки". Тут исключительно про "многопоточку".
>просится минимизация работы по ручному разбитию сложного полигона на N условно-равнозначных частей
Госпаде. Какая может быть минимизация работы, если это простейший итератор, который вернёт только тайлы с нужной сравнимостью по модулю числа потоков? Например для 2 - отдельно качаются все чётные, отдельно - все нечётные. Просто параметр, сколько тайлов пропустить (от 0 до N-1) при переходе к Next. Всё. С этим как раз никаких проблем.
>для которой придется перелопатить всю САСовую качалку
Пока что не вижу причин для перелопачивания. |
|
|
|
(0009669)
|
|
Tolik
|
22-10-2012 09:28
(edited on: 22-10-2012 09:29) |
|
Да уж, надо было с самого начала 0000134 разделить на 2:
1. многопоточность в сасе (запрос параллельно нескольких тайлов, как vasketsov написал)
2. отдельная фоновая качалка (предсказуемо уходит в 2015 год)
А этот - разделение полигонов - можно закрыть, если будет сделан п.1.
|
|
|
|
(0009671)
|
|
Parasite
|
22-10-2012 09:54
(edited on: 22-10-2012 09:55) |
|
>Какая может быть минимизация работы
"..по РУЧНОМУ разбитию сложного полигона...", очевидно ж. То есть - того, что я делаю сейчас, пока "простейшие итераторы" в 134й уже полтора года пешком так и не пришли.
>для 2 - отдельно качаются все чётные, отдельно - все нечётные.
Как вариант. Правда, при произвольной остановке либо неравной скорости скачки каждого второго - будем иметь прокачанную дырявую "шахматную доску" по всему полигону (которой еще нельзя пользоваться) а не полностью прокачанную область слева (которой пользоваться можно)...ну да некритично, я думаю.
>разделение полигонов - можно закрыть, если будет сделан п.1.
Можно и так. Обсуждать, соответственно - там, а не тут.
|
|
|
|
|
|
Та ну нафиг такой прон только ради многопточности закачки по региону делать? Ее можно гораздо проще добавить и без этого. Недостаток только в том, что непонятно будет как определять последний обработанный тайл при сохранении sls. И в логе закачки будет полная каша. |
|
|
|
(0009686)
|
|
Tolik
|
|
22-10-2012 15:52
|
|
|
Нафиг такой прон == Closed - won't fix :) |
|
|
|
|
>Ее можно гораздо проще добавить и без этого.
Каким образом?
Дано: выделение по России, 800 с гаком точек. Полигон.
Надо: прокачать по максимуму моего канала. Скажем, 100 параллельных потоков на время от пары месяцев до года.
КАК??
>непонятно будет как определять последний обработанный тайл при сохранении sls. И в логе закачки будет полная каша.
Никакой каши не будет - каждый поток будет работать точно так же, как если бы он был перевыделен\открыт ручками (то есть - качают каждый сам по себе и не зная о соседях). Сейчас же каша никого не смущает, если я открою ручками сотню окошек?
От тикета требуется всего лишь открыть их - всю ту сотню со смещениями - автоматом. Всё.
Ну или предложите свой вариант указанной в первых строках этого поста задачи. Возможно, что и действительно есть изящное решение - а мужики-то и не знают. Мне без разницы за реализацию - главное чтобы кэш получался быстрее. Коннект - позволяет, САС - нет. |
|
|
|
|
|
Просто сделать вместо мютекса семафор и ставить любое вменяемое число запросов в очередь какое понравится. Но то что это легко, не значит что я собираюсь это реализовывать в ближайшем будущем. |
|
|
|
(0017210)
|
|
zed
|
|
13-05-2016 12:48
|
|
|