FTP по обмену кешем

[rokki]

Готов захостить сервер по обмену кешем на 100 мегабитном канале. Дисковое пространство 5 ТБ. Исходящий трафик безлимит,, входящий 64 Гиг в мес. Кеш в формате SAS. Просим автора:

1. Сделать поддержку импорта разных кешей от разных программ откачки снимков (чтобы люди у кого наработан кеш в других прогах могли его конвертить в SAS и писать на общий сервер)
2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.
3. Сделать визуальное отображение объема кеша на бланковой карте в SAS -В SAS делается многоуровневая встроенная векторная бланковая карта, на которой цветными квадратами отражаются области находящихся в кеше тайлов (Исходники векторных карт всего мира могу предоставить) Информация о кешированных тайлах берется из базы данных.

[Parasite]

1. Сделать поддержку импорта разных кешей от разных программ откачки снимков (чтобы люди у кого наработан кеш в других прогах могли его конвертить в SAS и писать на общий сервер)

Конвертер с сорцами имеется на этом форуме - поиск рулит.

2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.

1. Зачем нужна синхронизация через БД? Чего с чем? Локальной папки с ФТП?? Аллах с Вами, WebSynchronizer рулит (фряшный, 1Мб если не ошибаюсь).

3. Сделать визуальное отображение объема кеша на бланковой карте в SAS -В SAS делается многоуровневая встроенная векторная бланковая карта, на которой цветными квадратами отражаются области находящихся в кеше тайлов (Исходники векторных карт всего мира могу предоставить) Информация о кешированных тайлах берется из базы данных.

Зачем это нужно, учитывая п.2 и прямую синхронизацию? В САСе уже есть карта заполнения слоев, синхронизируйте кэш и перестройте карту заполнения.

PS: со своей стороны могу выгрузить порядка 70 гигабайт кэша (в сумме по разным картам), если это кому-то вообще нужно.
PPS: самое главное - это как посмотрит сам Гугль на подобную несанкционированную дистрибуцию контента....

[rokki]

1. Сделать поддержку импорта разных кешей от разных программ откачки снимков (чтобы люди у кого наработан кеш в других прогах могли его конвертить в SAS и писать на общий сервер)

Конвертер с сорцами имеется на этом форуме - поиск рулит.

Да оно все везде имеется в принципе. Речь про ЭТУ программу и ее функции. А так конечно... можно в 25 прогах через голову с геморроями все переконвертить )))

2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.

1. Зачем нужна синхронизация через БД? Чего с чем? Локальной папки с ФТП?? Аллах с Вами, WebSynchronizer рулит (фряшный, 1Мб если не ошибаюсь).

Notepad тоже рулит, но я не думаю что вы в нем делаете документы а пользуетесь Вордом ))) Синхронизация Файлов фтп для быстрого отображения статистики кеша в программе. Вот вы подключаете в программе ФТП доступ к кешу, Что в кеше вы знаете? Нет. Как узнать какие тайлы в кеше есть а каких нет? Качать тайлы к себе локально при просмотре области или делать запрос к фтп на наличие файла ? В первом случае - паразитный трафик. Вы просто смотрите область и не факт что она вам нужна... но она качается. Во втором случае будет жуткий тормоз. Вот я и предлагаю вести лог файлов в базе данных. Mysql например. Запрос на выборку в миллион записей обрабатывается меньше секунды...

3. Сделать визуальное отображение объема кеша на бланковой карте в SAS -В SAS делается многоуровневая встроенная векторная бланковая карта, на которой цветными квадратами отражаются области находящихся в кеше тайлов (Исходники векторных карт всего мира могу предоставить) Информация о кешированных тайлах берется из базы данных.

Зачем это нужно, учитывая п.2 и прямую синхронизацию? В САСе уже есть карта заполнения слоев, синхронизируйте кэш и перестройте карту заполнения.

Это нужно для скорости работы программы и исключения паразитного трафа при работе с кешем по ФТП. При локальной работе с базой - только для скорости работы, т к чтение с диска файла в кеше гораздо медленнее запроса к базе на наличие этого тайла в кеше )))

PS/ Доступ к ФТП по логину и паролю. Таких ФТП может быть множество. 2-3 человека, 10-20-100 человек пользуются общими наработками. Никто ничего не распространяет. Это не публичный доступ.
Автор программы не несет ответственности за действия пользователей.

[Vasya]

Аллах с Вами, WebSynchronizer рулит (фряшный, 1Мб если не ошибаюсь).

Нашёл только за 16.47 МБ, но думаю не смертельно. Только в следующий раз прошу писать фришный, а то фряшный имеет нечто общее с фрямой, а это уже другой компот.

2. Сделать синхронизацию кеша через ФТП

Операции -> Настройки -> Пути -> Синхронизация с FTP (но сейчас там заблокирован ввод ip машины)

2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.

Как написано http://habrahabr.ru/blogs/mysql/45966/ есть несколько проблем в таком варианте развития событий:

файлы не удаляются при удалении соответствующей записи БД

проблемы при одновременной попытке обновления файла

нарушение синхронизации между БД и файловой системой при откате транзакции

при резервном копировании и восстановлении информации в БД может возникнуть рассинхронизация с файловой системой

файлы не подчиняются ограничениям доступа, наложенным с помощью БД

Может это и не актуально, но статейку, и комменты к ней, всё таки стоит почитат, как минимум, как доп. информация.
Хотелось так же узнать об ограничениях данного сервера по таким параметрам, как добавление, изменение, удаление тайлов.

[Parasite]

Да оно все везде имеется в принципе. Речь про ЭТУ программу и ее функции.

Конвертер, имеющийся на Форуме - именно к ЭТОЙ программе. Он работает - проверено лично.

Notepad тоже рулит, но я не думаю что вы в нем делаете документы а пользуетесь Вордом )))

Нет, я не пользуюсь Вордом. Просьба не отвлекаться на меня - а обсуждать сабжевый вопрос.

Что в кеше вы знаете? Нет. Как узнать какие тайлы в кеше есть а каких нет? Качать тайлы к себе локально при просмотре области или делать запрос к фтп на наличие файла ? В первом случае - паразитный трафик. Вы просто смотрите область и не факт что она вам нужна... но она качается. Во втором случае будет жуткий тормоз. Вот я и предлагаю вести лог файлов в базе данных. Mysql например. Запрос на выборку в миллион записей обрабатывается меньше секунды...

Я Вам уже указывал на ВебСинхронайзер. Он находится тут - http://sourceforge.net/projects/websynchronizer/ и делает именно то, что Вам нужно (синхронизацию удаленного ФТП и локальной папки) без всяких баз MySQL.

Это нужно для скорости работы программы и исключения паразитного трафа при работе с кешем по ФТП.
При локальной работе с базой - только для скорости работы, т к чтение с диска файла в кеше гораздо медленнее запроса к базе на наличие этого тайла в кеше )))

Просьба точнее выражать свои мысли.
Вы предлагаете САСу брать кэш напрямую с ФТП? Или специально индексировать наличие тайлов в кэше? В обоих случаях - причем тут база?

Автор программы не несет ответственности за действия пользователей.

Зато владелец хостинга несет ответственность за расположенный на его хостинге материал.

[i] Прекратите, пожалуйста, писать болдом. Выглядит ужасно.

[Parasite]

Нашёл только за 16.47 МБ, но думаю не смертельно.

Вы нашли несколько не то что нужно.
/WIN32 websync.exe Mirror 1.125.648 bytes (линк постом выше)

[rokki]

2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.

Как написано http://habrahabr.ru/blogs/mysql/45966/ есть несколько проблем в таком варианте развития событий:

файлы не удаляются при удалении соответствующей записи БД

проблемы при одновременной попытке обновления файла

Никаких проблем не будет [moderated:offopic] ))) Зачем удалять запись в базе ? ФТП ориентирован только на запись нового тайла, обновление старого (если появилась новая версия тайла) и скачку тайла к себе локально.
Вероятность одновременной попытки обновления тайла ничтожно мала. Для того чтобы его обновить он должен быть новее на самом сервере а это увы нечасто. Кроме того база сама блокирует активные записи на изменение. Кто первый начал обновлять тот и будет а остальные получат отказ на обновление.

нарушение синхронизации между БД и файловой системой при откате транзакции

в чем нарушение? запись в базу о тайле происходит после удачной записи на сервер самого файла. Если файл не записался удачно, например сбой в сети, то и записи о нем не будет в базе.... следующая попытка перезапишет файл и все ))

при резервном копировании и восстановлении информации в БД может возникнуть рассинхронизация с файловой системой[/list]

файлы не подчиняются ограничениям доступа, наложенным с помощью БД

Может это и не актуально, но статейку, и комменты к ней, всё таки стоит почитат, как минимум, как доп. информация.
Хотелось так же узнать об ограничениях данного сервера по таким параметрам, как добавление, изменение, удаление тайлов.

Сервер расчитан на накопление тайлового кеша. Какое удаление? Пользователь не может удалять файлы на сервере. Только записывать новые если их нет в базе и обновлять старые если появилась новая версия тайла в сети.

[MODERATED: OFFTOPIC]
[MODERATED: TAGS]
Второе предупреждение: не пишите болдом, используйте корректные тэги и исключите оффтоп. Спасибо.

[rokki]

Да оно все везде имеется в принципе. Речь про ЭТУ программу и ее функции.

Конвертер, имеющийся на Форуме - именно к ЭТОЙ программе. Он работает - проверено лично.

Мне не нужен конвертор, да я думаю и основной массе пользователей тоже. Нужна функция в программе непосредственно. Это не файлы привязки конвертить.. и точки импортировать. это КЭШ. Разницу не находите?

Что в кеше вы знаете? Нет. Как узнать какие тайлы в кеше есть а каких нет? Качать тайлы к себе локально при просмотре области или делать запрос к фтп на наличие файла ? В первом случае - паразитный трафик. Вы просто смотрите область и не факт что она вам нужна... но она качается. Во втором случае будет жуткий тормоз. Вот я и предлагаю вести лог файлов в базе данных. Mysql например. Запрос на выборку в миллион записей обрабатывается меньше секунды...

Я Вам уже указывал на ВебСинхронайзер. Он находится тут - http://sourceforge.net/projects/websynchronizer/ и делает именно то, что Вам нужно (синхронизацию удаленного ФТП и локальной папки) без всяких баз MySQL.

[moderated:offtopic] Мне в программе нужно видеть визуально на карте что есть в кеше... и чем быстрее это будет работать тем лучше. А быстрее можно сделать только через запросы к базе. То бишь программа получает данные о кешированных файлах из таблицы а не путем чтения каталога на диске. Это вам понятно ?))) Индекс кеша хранится в базе. Зачем в базе? Затем чтобы любой юзер подключенный к кешу через сеть имел этот индекс и мог его обновлять ))) Вы просто мыслите только относительно одного "себя любимого". Я же веду речь о групповом использовании кеша на ресурсе. Без откачки всего кеша себе (это трафик). Через программу можно будет посмотреть какие есть снимки и откачать только то что нужно, а также поделиться тем что успел себе накачать )

Это нужно для скорости работы программы и исключения паразитного трафа при работе с кешем по ФТП.
При локальной работе с базой - только для скорости работы, т к чтение с диска файла в кеше гораздо медленнее запроса к базе на наличие этого тайла в кеше )))

Просьба точнее выражать свои мысли. Вы предлагаете САСу брать кэш напрямую с ФТП? Или специально индексировать наличие тайлов в кэше? В обоих случаях - причем тут база?

Куда уж точнее... БАза висит на том же IP что и FTP . SAS коннектится к базе и читает индекс сервера FTP не качая тайлы (очень быстро и наглядно). Вы смотрите индекс в SAS на наличие тайлов на бланковом слое (векторная или иная карта встроенная в SAS как бланковая) посредством мозаики посттроенной SAS программно. (границы которой сформированы на основании существующих записей о тайлах в БД) . Если вам что то надо скачать - даете команду SAS на откачку тайла с ФТП. Так понятно ?)))

Автор программы не несет ответственности за действия пользователей.

Зато владелец хостинга несет ответственность за расположенный на его хостинге материал.

Это вопросы к владельцу сервера. При чем тут автор программы ?

[MODERATED: OFFTOPIC 2]
[MODERATED: OBSENE_WORDS]
[MODERATED: TAGS 2]
Уважаемый, Вы продолжаете собирать все награды нашего городка и рискуете быть вскорости забаненным. Еще не хватало пользователям Ваши матюки читать...

[Parasite]

Зачем удалять запись в базе ? ФТП ориентирован только на запись нового тайла, обновление старого (если появилась новая версия тайла) и скачку тайла к себе локально.
...
Кроме того база сама блокирует активные записи на изменение. Кто первый начал обновлять тот и будет а остальные получат отказ на обновление.

Уважаемый, просьба определиться - Вы предлагаете ФТП (тогда причем тут база MySQL?) либо базу MySQL (тогда причем тут FTP?). Это две совершенно разных технологии. Тайлы будут куда конкретно писаться - в тело базы либо в папку ФТП? Если первое - то зачем нужен ФТП? Если второе - то каким образом "база сама блокирует активные записи на изменение©"?

Сервер расчитан на накопление тайлового кеша. Какое удаление? Пользователь не может удалять файлы на сервере. Только записывать новые если их нет в базе и обновлять старые если появилась новая версия тайла в сети.

Просьба обьяснить разницу правил (как оные видите лично Вы) "обновлять уже имеющийся файл == можно" и "удалять уже имеющийся файл == нельзя" (притом что "обновление" файла == стирание старого и создание на его месте нового) ?

[rokki]

Зачем удалять запись в базе ? ФТП ориентирован только на запись нового тайла, обновление старого (если появилась новая версия тайла) и скачку тайла к себе локально.
...
Кроме того база сама блокирует активные записи на изменение. Кто первый начал обновлять тот и будет а остальные получат отказ на обновление.

Уважаемый, просьба определиться - Вы предлагаете ФТП (тогда причем тут база MySQL?) либо базу MySQL (тогда причем тут FTP?). Это две совершенно разных технологии. Тайлы будут куда конкретно писаться - в тело базы либо в папку ФТП? Если первое - то зачем нужен ФТП? Если второе - то каким образом "база сама блокирует активные записи на изменение©"?

Не менее уважаемый, просьба внимательно читать мои ответы )) Все написано в предыдущем посте. В базе - табличный индекс (какой смысл их писать в тело базы? Она умрет на таких объемах). На фтп - сами файлы. Принцип работы стриммера знаете ? Есть индексный файл в котором вся иерархия папок и файлов... Вы можете через программу их просматривать, открывать папки, выбирать файлы не обращаясь к самим файлам на ленте. )))

Сервер расчитан на накопление тайлового кеша. Какое удаление? Пользователь не может удалять файлы на сервере. Только записывать новые если их нет в базе и обновлять старые если появилась новая версия тайла в сети.

Просьба обьяснить разницу правил (как оные видите лично Вы) "обновлять уже имеющийся файл == можно" и "удалять уже имеющийся файл == нельзя" (притом что "обновление" файла == стирание старого и создание на его месте нового) ?

вы команды FTP знаете ?