0001647: Автоматическая разбивка выделения на несколько потоков скачки

Notes
(0009655) Tolik (manager) 22-10-2012 04:42	Кстати, и правда, почему качает в 1 поток (если открыть только 1 окно скачивания)? Но делать (опциональную) многопоточную скачку так не надо. Зачем разбивать полигон на части? Можно просто послать одновременно N запросов на N последовательных тайлов.

(0009659) Parasite (administrator) 22-10-2012 06:35	>Можно просто послать одновременно N запросов на N последовательных тайлов. Можно-то можно, но последние телодвижения по тикету 134 (совершенно внезапно - тоже моему) были полтора года назад... :(

(0009660) Tolik (manager) 22-10-2012 06:53	Значит, закрывать как дубль?

(0009664) Parasite (administrator) 22-10-2012 08:22 edited on: 22-10-2012 08:24	C чего бы дубль-то, если совершенно о разных сущностях тикеты? Разбитие полигона на N процессов никоим образом не дублирует многопоточности в каждом из этих процессов - и уж тем более может быть реализовано независимо друг от друга. Общая цель (быстрая скачка) - да, достигаться будет быстрее в обоих случаях. Но дубля тут ни разу нет - в данном конкретном тикете просится минимизация работы по ручному разбитию сложного полигона на N условно-равнозначных частей. А уж выюзать коннект на полную можно весьма многими [при этом не обязательно дублирующимися] способами. 2 способа = 2 тикета. :)

(0009665) Tolik (manager) 22-10-2012 08:25	Ок, идея другая, но цель та же (многопоточная скачка). Нужно ли кому-нибудь автоматическое разбиение полигонов на N частей само по себе?

(0009666) Parasite (administrator) 22-10-2012 09:02	Тикет, собссно, к тому что я считаю что его ввести в работу много проще (в САСе уже всё нужное есть, см. "SLS" выше) чем непосредственно "честную" многопоточную закачку (для которой придется перелопатить всю САСовую качалку - и ждать который мы будем еще долго, а потом еще кучу времени ловить глюки и баги). Это просто заход к той же проблеме но с другой стороны. Я, собссно, через SLS и делаю сабж - редактируя их ручками. Но - гимор же... А как только появится честная многопоточность - то и ЕЩЕ лучше будем качать уже и в каждом из тех потоков. :)

(0009668) vasketsov (manager) 22-10-2012 09:24	>закрывать как дубль? Это никакой не дубль. Там про "отдельный качальщик" и ни слова о реализации "многопоточки". Тут исключительно про "многопоточку". >просится минимизация работы по ручному разбитию сложного полигона на N условно-равнозначных частей Госпаде. Какая может быть минимизация работы, если это простейший итератор, который вернёт только тайлы с нужной сравнимостью по модулю числа потоков? Например для 2 - отдельно качаются все чётные, отдельно - все нечётные. Просто параметр, сколько тайлов пропустить (от 0 до N-1) при переходе к Next. Всё. С этим как раз никаких проблем. >для которой придется перелопатить всю САСовую качалку Пока что не вижу причин для перелопачивания.

(0009669) Tolik (manager) 22-10-2012 09:28 edited on: 22-10-2012 09:29	Да уж, надо было с самого начала 0000134 разделить на 2: 1. многопоточность в сасе (запрос параллельно нескольких тайлов, как vasketsov написал) 2. отдельная фоновая качалка (предсказуемо уходит в 2015 год) А этот - разделение полигонов - можно закрыть, если будет сделан п.1.

(0009671) Parasite (administrator) 22-10-2012 09:54 edited on: 22-10-2012 09:55	>Какая может быть минимизация работы "..по РУЧНОМУ разбитию сложного полигона...", очевидно ж. То есть - того, что я делаю сейчас, пока "простейшие итераторы" в 134й уже полтора года пешком так и не пришли. >для 2 - отдельно качаются все чётные, отдельно - все нечётные. Как вариант. Правда, при произвольной остановке либо неравной скорости скачки каждого второго - будем иметь прокачанную дырявую "шахматную доску" по всему полигону (которой еще нельзя пользоваться) а не полностью прокачанную область слева (которой пользоваться можно)...ну да некритично, я думаю. >разделение полигонов - можно закрыть, если будет сделан п.1. Можно и так. Обсуждать, соответственно - там, а не тут.

(0009678) vdemidov (manager) 22-10-2012 14:54	Та ну нафиг такой прон только ради многопточности закачки по региону делать? Ее можно гораздо проще добавить и без этого. Недостаток только в том, что непонятно будет как определять последний обработанный тайл при сохранении sls. И в логе закачки будет полная каша.

(0009686) Tolik (manager) 22-10-2012 15:52	Нафиг такой прон == Closed - won't fix :)

(0009688) Parasite (administrator) 22-10-2012 17:15	>Ее можно гораздо проще добавить и без этого. Каким образом? Дано: выделение по России, 800 с гаком точек. Полигон. Надо: прокачать по максимуму моего канала. Скажем, 100 параллельных потоков на время от пары месяцев до года. КАК?? >непонятно будет как определять последний обработанный тайл при сохранении sls. И в логе закачки будет полная каша. Никакой каши не будет - каждый поток будет работать точно так же, как если бы он был перевыделен\открыт ручками (то есть - качают каждый сам по себе и не зная о соседях). Сейчас же каша никого не смущает, если я открою ручками сотню окошек? От тикета требуется всего лишь открыть их - всю ту сотню со смещениями - автоматом. Всё. Ну или предложите свой вариант указанной в первых строках этого поста задачи. Возможно, что и действительно есть изящное решение - а мужики-то и не знают. Мне без разницы за реализацию - главное чтобы кэш получался быстрее. Коннект - позволяет, САС - нет.

(0009689) vdemidov (manager) 22-10-2012 18:04	Просто сделать вместо мютекса семафор и ставить любое вменяемое число запросов в очередь какое понравится. Но то что это легко, не значит что я собираюсь это реализовывать в ближайшем будущем.

(0017210) zed (manager) 13-05-2016 12:48	http://www.sasgis.org/forum/viewtopic.php?f=61&t=2829

Users who viewed this issue
User List	Anonymous (3398x), bk99 (1x), ygorigor (1x), zed (12x), Garl (1x), vdemidov (2x), Parasite (1x)
Total Views	3416
Last View	21-11-2024 22:19

Issue History
Date Modified	Username	Field	Change
22-10-2012 03:58	Parasite	New Issue
22-10-2012 04:02	Parasite	Description Updated	View Revisions
22-10-2012 04:42	Tolik	Note Added: 0009655
22-10-2012 06:35	Parasite	Note Added: 0009659
22-10-2012 06:53	Tolik	Note Added: 0009660
22-10-2012 06:53	Tolik	Relationship added	duplicate of 0000134
22-10-2012 08:22	Parasite	Note Added: 0009664
22-10-2012 08:22	Parasite	Note Edited: 0009664	View Revisions
22-10-2012 08:23	Tolik	Relationship replaced	related to 0000134
22-10-2012 08:24	Parasite	Note Edited: 0009664	View Revisions
22-10-2012 08:25	Tolik	Note Added: 0009665
22-10-2012 08:25	Tolik	Status	new => feedback
22-10-2012 09:02	Parasite	Note Added: 0009666
22-10-2012 09:02	Parasite	Status	feedback => new
22-10-2012 09:24	vasketsov	Note Added: 0009668
22-10-2012 09:28	Tolik	Note Added: 0009669
22-10-2012 09:29	Tolik	Note Edited: 0009669	View Revisions
22-10-2012 09:54	Parasite	Note Added: 0009671
22-10-2012 09:55	Parasite	Note Edited: 0009671	View Revisions
22-10-2012 14:54	vdemidov	Note Added: 0009678
22-10-2012 15:52	Tolik	Note Added: 0009686
22-10-2012 17:15	Parasite	Note Added: 0009688
22-10-2012 17:23	Parasite	Assigned To	=> Parasite
22-10-2012 17:23	Parasite	Status	new => feedback
22-10-2012 18:04	vdemidov	Note Added: 0009689
22-10-2012 18:04	vdemidov	Status	feedback => resolved
22-10-2012 18:04	vdemidov	Resolution	open => won't fix
22-10-2012 18:04	vdemidov	Status	resolved => closed
13-05-2016 12:46	zed	Assigned To	Parasite => zed
13-05-2016 12:46	zed	Status	closed => assigned
13-05-2016 12:47	zed	Tag Attached: VIP
13-05-2016 12:47	zed	Resolution	won't fix => reopened
13-05-2016 12:47	zed	Target Version	=> 160606
13-05-2016 12:48	zed	Note Added: 0017210
18-05-2016 19:17	zed	Status	assigned => resolved
18-05-2016 19:17	zed	Fixed in Version	=> 160606
18-05-2016 19:17	zed	Resolution	reopened => fixed

SASGIS