SASGIS

Веб-картография и навигация

Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение newbie » 23 дек 2009, 12:13

Сделал iso образ. Смонтировал на виртуальный диск. Запустил. GPS не соединяется с программой. Видимо нужен доступ на запись?
newbie
Новичок
 
Сообщения: 5
Зарегистрирован: 13 авг 2009, 07:58
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение feya » 23 дек 2009, 17:35

newbie писал(а):GPS не соединяется с программой

GPSу по идее должно быть безразлично

Упс, нет, он же логи ведет. Надо посмотреть
http://sasgis.org | SAS.Планета | SASPlanet
Аватара пользователя
feya
Гуру
 
Сообщения: 2034
Зарегистрирован: 13 июл 2008, 10:45
Благодарил (а): 5 раз.
Поблагодарили: 56 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение Dimon » 17 янв 2010, 14:53

А нельзя ли в самой программе сменить именование тайлов (X_Y)? Высвободится огромное количество места от папок.
Dimon
Новичок
 
Сообщения: 7
Зарегистрирован: 24 сен 2009, 19:18
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение Parasite » 17 янв 2010, 20:54

Dimon писал(а):Высвободится огромное количество места от папок.

А миллионы тайлов куда девать прикажете? В основную папку программы? :lol:
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение Dimon » 19 янв 2010, 18:14

Parasite писал(а):
Dimon писал(а):Высвободится огромное количество места от папок.

А миллионы тайлов куда девать прикажете? В основную папку программы? :lol:


Остаётся в папке cache. 8-)
Dimon
Новичок
 
Сообщения: 7
Зарегистрирован: 24 сен 2009, 19:18
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение Parasite » 19 янв 2010, 19:42

Dimon писал(а):
Parasite писал(а):
Dimon писал(а):Высвободится огромное количество места от папок.

А миллионы тайлов куда девать прикажете? В основную папку программы? :lol:

Остаётся в папке cache. 8-)

В каком виде?
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение Rewer » 30 янв 2010, 18:52

feya писал(а):
Перейдите на TrueCrypt (это бы тоже наверное надо бы в ФАК, что ли....)

Оно есть в ридми, но писал похоже его для себя)
Блин, я день мучал гугла, пытаясь вспомнить, где я видел про хранение SAS.Планеты в одном образе! А это, оказывается, я в Readme прочитал :)
Спасибо за отличную программулину, программу, программищу!!!
* пошёл оформлять карточку для веб-расчётов ;) *
Аватара пользователя
Rewer
Новичок
 
Сообщения: 2
Зарегистрирован: 20 окт 2009, 23:34
Благодарил (а): 1 раз.
Поблагодарили: 0 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение deeman » 15 фев 2010, 15:05

На самом деле, текущий вариант хранения тайлов оптимален для большинства операций с ними. Другое дело, что со стороны системы огромное количество файлов затрудняет различные системные операции, как например, индексирование, сжатие, поиск и т.п., кроме того, при большом размере кластера начинаются "утечки" размера диска на незанятое пространство кластера. Отсюда и нужно исходить при решении задачи оптимизации. Соответственно, исходим из двух позиций: 1. Для программы SASPlanet действующая структура кеша - оптимальна. 2. Для системы данный кеш затягивает простейшие дисковые операции на пару часов и жрет свободное место на диске, почем зря. Стало быть попробуем оптимизировать последнюю позицию, т.е. сменить отношение системы к файловому кешу. Вариант с базой данных лично я откладываю по очень простой причине - такая оптимизация будет оптимизацией только для достаточно мощных компьютеров, а для моего ноутбука, который я таскаю с собой во все говна, любезно предоставленные родной страной, это будет не оптимизация, а деградация. Системных ресурсов, дискового пространства и пр. Напрашивается самое первое и простое решение - не пускать ось в виде различных индексаций-дефрагментаций и пользовательские приложения в виде антивирусов и опять же всяческих индексаций со своими нехитрыми задачами в область кеша. Как? Отделить кеш от остального пространства диска общего назначения, например - перемещением кеша на отдельный диск и запретом системных действий над этим диском (плюс задать пути исключения для пользовательских программ). Второй вариант, как уже неоднократно тут говорилось - хранение кеша в виде образа диска. Тоже неплохой вариант, единственный минус - необходимость монтировать виртуальный диск перед использованием программы. Теперь об оптимизации занимаемого места. Если вы выбрали для размещения отдельный логический диск, или монтируемый образ диска - ничего не стоит оптимизировать размер кластера под свою задачу. Только что провел эксперимент: создал монтируемый как логический диск образ программой TrueCrypt размером 100МБ (для эксперимента хватит), отформатировал его в FAT32 (на NTFS меньше входит) с размером кластера 512Б (0,5кБ), скопировал туда часть карт Gurtam (пока система не сказала нот енаф спейс). При этом на диск 104МБ влезло 16446 файлов/629 папок, заняв 98Мб (94% - очень неплохой результат). При форматировании с размером кластера 1К вошло уже 15707 файлов и 617 папок, заняв 95Мб(91%). С размером кластера 2К - 14507 файлов/593 папки, размер 92МБ(88,5%). С размером кластера 8К - 9796файлов/515 папок, 64МБ (62%). Результат очевиден: с размером кластера 512Б дисковое пространство расходуется достаточно эффективно. В обычное время, когда я не пользуюсь программой, система воспринимает виртуальный диск как один файл и не очень-то задумывается при операциях с ним. Когда снова соберусь в какие-нибудь @беня, куплю флешку 8 гигов только под эту задачу. Нужна программа - вставил SD в картридер и готово. Нет - ну и пусть лежит себе в кармашке сумки.
Это мы говорили про оптимизацию со стороны пользователя. Теперь можно было бы обсудить с автором программы вариант оптимизации и с программной точки зрения. Давайте заглянем в наиболее загруженные папки кеша. Здесь видно, что автор хранит отдельные файлы столбцами с координатами, заданными именами папок. Так почему бы тогда не склеить все смежные тайлы, находящиеся в одной папке? Арифметика для последующего отображения части склейки очень простая и графический движок уже наверняка умеет работать с отображением картинки со смещением (не с нулевой координаты). При этом, в моей папке, к примеру будет не 75 файлов (взял первую попавшуюся), а три (несколько тайлов не имеют общих границ - при скачивании несколько тайлов были пропущены). Экономия? И значительная! А вот как "обозвать" этот склеенный тайл, чтобы дать исходные данные для арифметики - это уже логистическая задача для автора)). Мне кажется, назвав склейки y10291-10493.jpg, y10495.jpg, y10497-10505.jpg сохраняется исходная мысль автора по названию файлов кеша и легко прицепить математику для отображения тайлов начиная с любого из склеенного столбца. Кстати, один из файлов (который у меня в папке не имеет общих границ) назван так же, как и оригинальный файл, т.к. по сути им и является. Осталось выслушать автора по этому поводу.
deeman
Новичок
 
Сообщения: 1
Зарегистрирован: 13 авг 2009, 04:55
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение vdemidov » 15 фев 2010, 16:06

deeman писал(а):Осталось выслушать автора по этому поводу.

Хотите мнение автора, получите: первая часть поста банальная, а вот вторая вызвала подозрение что вы бредите :)
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1687
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 191 раз.
Поблагодарили: 157 раз.

Re: Как оптимизировать КЭШ? (Size 2,20 GB. Size on disk 5,40 GB)

Сообщение zed » 15 фев 2010, 16:10

Вариант с базой данных лично я откладываю по очень простой причине - такая оптимизация будет оптимизацией только для достаточно мощных компьютеров, а для моего ноутбука, который я таскаю с собой во все говна, любезно предоставленные родной страной, это будет не оптимизация, а деградация. Системных ресурсов, дискового пространства и пр.

Я бы не сказал, что БД - деградация, потому что не факт, что будет падение производительности по сравнению с тайловым кэшем. В любом случае, варианты хранения кэша в каком-либо ином виде, кроме тайлового, напрямую (без плагинов), как бы не рассматривается (авторами SAS). С появлением поддержки плагинов (если она таки будет), наверняка появятся и разношёрстные способы хранения кэша.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1