SASGIS

Веб-картография и навигация


View Issue Details Jump to Notes ] Issue History ] Print ]
IDProjectCategoryView StatusDate SubmittedLast Update
0001840Доработка карты (ZMP)[All Projects] Хотелкаpublic28-02-2013 14:4024-07-2014 12:01
Reportermirridius 
Assigned Tozed 
PrioritynormalSeverityfeatureReproducibilityalways
StatusresolvedResolutionfixed 
PlatformWindowsOS7OS VersionUltimate
Summary0001840: Выкачивание тайлов Яндекс кеша для Москвы и Питера в 256*256
DescriptionДля Москвы, Питера (и возможно других крупных городов) Яндекс сделал специальный кеш 256 на 256, который начинается с 12 или 13 уровня. Как бы его выкачать в sas.планету? Разница с кешем, склеенным из 128-пиксельных кусочков, на прикрепленном изображении.
Tagsмяк, яндекс
Attached Filespng file icon tiles256.PNG [^] (534,742 bytes) 28-02-2013 14:40
txt file icon full_log.txt [^] (60,186 bytes) 01-03-2013 07:08 [Show Content]
txt file icon log_novehicles.txt [^] (39,505 bytes) 01-03-2013 07:51 [Show Content]
? file icon log_Wireshark [^] (263,092 bytes) 01-03-2013 14:23
png file icon 1.png [^] (21,275 bytes) 01-03-2013 14:56


png file icon tiles.png [^] (24,509 bytes) 01-03-2013 14:59


png file icon tiles12x2.png [^] (32,089 bytes) 01-03-2013 15:15


? file icon YaMapMobile.zmp [^] (3,480 bytes) 06-03-2013 19:27
? file icon log_WS_Narodnaya [^] (286,414 bytes) 07-03-2013 12:20
? file icon YaMapMobileNarod.zmp [^] (2,856 bytes) 07-03-2013 12:37

- Relationships
related to 0001842new SAS.Планета Обработка сложного post-запроса для выкачивания Яндекс.карт 256*256 

-  Notes
(0010692)
zed (manager)
28-02-2013 14:50

Есть возможность подсмотреть запросы url-ов откуда эти тайлы качаются?
(0010693)
mirridius (reporter)
28-02-2013 14:58

получается... сниффер на мобильное устройство? увы не знаю как реализовать( Я так понимаю, маска запроса для 128-пиксельных тайлов ведь была как то определена, ведь не сам же Яндекс рассказал как у него выкачивать кеш. Может здесь можно аналогичный метод использовать?
(0010694)
zed (manager)
28-02-2013 15:04

>сниффер на мобильное устройство?
В идеале. Или через прокси пустить.

>Я так понимаю, маска запроса для 128-пиксельных тайлов ведь была как то определена
Нет. SAS качает оттуда же, откуда качает браузер на компьютере. А вот откуда качает сам мобильный Яндекс, науке не известно.
(0010695)
mirridius (reporter)
28-02-2013 15:20

да, если бы был прокси, я бы смог настроить девайс для работы через него. Но где взять проксю со сниффером?
(0010696)
zed (manager)
28-02-2013 16:29

HandyCache
(0010697)
mirridius (reporter)
28-02-2013 16:40

Ок, буду пробовать
(0010704)
mirridius (reporter)
28-02-2013 17:56

Вот таким запросом сопровождается загрузка тайлов:

http://mobile.maps.yandex.net/printer?uuid=3d32b20481b1df262ada6899540c8701&protocol_ver=2&lang=ru-RU&
(0010713)
zed (manager)
01-03-2013 05:55

Нужен полный лог запросов с начала запуска МЯК и желательно с HTTP-заголовками. То что вы сейчас привели - это обрезок url, который абсолютно бесполезен.
(0010717)
mirridius (reporter)
01-03-2013 07:09
edited on: 01-03-2013 07:51

Ок, прикрепил лог с начала запуска.

(0010721)
mirridius (reporter)
01-03-2013 07:51

Прикрепил лог, собранный с отключенными данными об общественном транспорте, только карта.
(0010732)
zed (manager)
01-03-2013 10:58

Тайлы запрашиваются POST запросами, так что нужно ещё и тело запроса. Если оно ещё окажется и зашифрованным, то будет полный абзац :(

POST /printer?uuid=3d32b20481b1df262ada6899540c8701&protocol_ver=2&lang=ru-RU& HTTP/1.1
Host: mobile.maps.yandex.net
Accept: */*
Accept-Encoding: gzip
Content-Type: multipart/form-data; boundary=----------------------------------------------54040180427415745838800831
Accept-Language: ru
lang: ru-RU
Content-Length: 1085
Connection: keep-alive
User-Agent: YandexMaps/1003 CFNetwork/609.1.4 Darwin/13.0.0

Сможете отснифить хотя бы парочку тайловых запросов?
(0010736)
mirridius (reporter)
01-03-2013 11:26

Если пойму как, то могу и не парочку) Кстати, вот какая мысль. Вы можете поднять у себя прокси со всеми необходимыми снифферами? Если да, то я могу ведь не только локальный прокси прописать, но и удаленный. Вы то сами точно будете знать что и как сниффить.
(0010737)
zed (manager)
01-03-2013 11:30
edited on: 01-03-2013 11:32

http://www.ieinspector.com/httpanalyzer/ или http://www.wireshark.org/
Первый по-проще, но платный (есть на рутрекере или 15-ти дневная триалка от производителя), второй фришный, но по-первости с ним может быть сложно.

(0010738)
zed (manager)
01-03-2013 11:44
edited on: 01-03-2013 11:45

Да, раз уж дошло до снифера, и поскольку ответ сервера тоже может быть зашифрован (приходит "Content-Type: application/octet-stream"), прикрепите сюда и его.

(0010742)
mirridius (reporter)
01-03-2013 14:20

В каком виде лучше экспортировать из wireshark?
(0010743)
mirridius (reporter)
01-03-2013 14:23
edited on: 01-03-2013 14:27

Прикрепил RAW и ASCII

(0010744)
Tolik (manager)
01-03-2013 14:56

Из Wireshark надо не экспортировать, а сохранять в его родном формате, .cap
(0010745)
zed (manager)
01-03-2013 14:56
edited on: 01-03-2013 15:01

Да, интересная штука получается, но боюсь что SAS не сможет оттуда качать.

Во-первых, это сложный post-запрос (multipart/form-data), а во-вторых, это бинарный ответ сервера. Т.е. в нашем случае нужна специфическая подготовка запроса и не менее специфическая обработка ответа.

В запросе фигурирует обычная xml:

<?xml version="1.0" ?>
<tiles>
<tile x="4950" y="2568" zoom="12" layer="map" size="1" />
<tile x="4951" y="2571" zoom="12" layer="map" size="1" />
<tile x="4952" y="2571" zoom="12" layer="map" size="1" />
<tile x="4951" y="2567" zoom="12" layer="map" size="1" />
</tiles>

В ответ приходят эти 4 тайла, в виде тайловых записей кэша МЯК (светится YTLD) и в общем-то достать их оттуда не очень сложно (один тайл прикрепил в аттач), но не САСом.

(0010746)
zed (manager)
01-03-2013 14:58

>Из Wireshark надо не экспортировать, а сохранять в его родном формате, .cap
Вообще - да, но мне хватило RAW версии.
(0010747)
Tolik (manager)
01-03-2013 14:59
edited on: 01-03-2013 15:04

А я для сравнения приложил наш обычный тайл (tiles.png)
http://vec01.maps.yandex.net/tiles?l=map&x=4950&y=2568&z=13&g=Gaga

Отличается мелкими надписями, на супер-пупер-ретине не видать ни фига?

(офтоп) А RAW чем открывается?

(0010748)
mirridius (reporter)
01-03-2013 15:08

to zed
То есть, еслия правильно понял, нынешнего функционала сас.планеты не достаточно чтобы выкачивать такие тайлы? Планируется ли появление такого функционала в будущем?
(0010749)
zed (manager)
01-03-2013 15:09

>Отличается мелкими надписями, на супер-пупер-ретине не видать ни фига?
Многие и на десктопе просили надписи по-крупнее. Тем более, что в запросе есть некий size="1" - может влияет на размер надписей? Было бы интересно поиграться...

>А RAW чем открывается?
Блокнотом или WinHex :)
(0010750)
zed (manager)
01-03-2013 15:11

>То есть, еслия правильно понял, нынешнего функционала сас.планеты не достаточно чтобы выкачивать такие тайлы?
Да.

>Планируется ли появление такого функционала в будущем?
По-моему, в хотелках где-то были предложения по пост-обработке ответов сервера, но не скажу точно. Т.е. реально этим сейчас никто не планирует заниматься, на сколько я знаю (тем более, ради одной карты). Но в будущем - вполне.
(0010751)
mirridius (reporter)
01-03-2013 15:14
edited on: 01-03-2013 15:15

Ну, строго говоря, карт как минимум две. Народная еще. А вот то, что никто не планирует - это печаль. Очень хотелось бы добраться до этих тайлов.

(0010752)
Tolik (manager)
01-03-2013 15:17

Приложил ещё tiles12x2.png - это 1/4 тайла меньшего зума, увеличенная вдвое алгоритмом bicubic.
Чисто из любопытства.
Получилось то же самое, только низкого качества.
(0010753)
zed (manager)
01-03-2013 15:19

Создайте хотелку (если ещё нет), может кто таки заинтересуется.

А простейший вариант - поднять самописный проксик на perl/php, как многие тут делают для специфических сервисов и не ждать до 20-го года.
(0010754)
mirridius (reporter)
01-03-2013 15:21

Ок, будем изучать вопрос. Спасибо за помощь! А хотелку тем не менее напишу)
(0010755)
Tolik (manager)
01-03-2013 15:21

А на http://ymm.sytes.net/ ещё не выкачали этот кэш?
(0010776)
zed (manager)
02-03-2013 13:08

Кстати, используя фичу из тикета 0001841 уже теоретически возможно качать и САСом - загружать и сохранять тайл на диск скриптом, а САСу отдавать путь к тайлу.
(0010777)
vasketsov (manager)
02-03-2013 13:19

>а САСу отдавать путь к тайлу
именно это пока и не сделано (((
(0010778)
zed (manager)
02-03-2013 13:20

Ну, можно и боди исправить и отдать уже чистый jpeg. Так даже лучше - САС положит его в свой кэш самостоятельно.
(0010819)
zed (manager)
06-03-2013 19:34
edited on: 06-03-2013 19:35

Чтобы запустить zmp из аттача и увидеть карту нужно:
1. Установить ActivePerl x86
2. В SASPlanet.ini добавить секцию:
[ScriptControl]
UseScriptControl=1
3. Ну и zmp, соответственно положить в папку Maps

После чего, в списке карт появится: "Яндекс -> Карта (МЯК)".

P.S. Над Москвой (и Питером?), тайлы показывает чёткие начиная с z12. В остальных местах и зумах приходит грубая интерполяция.

P.P.S. Ах, да - работает только в SACS

(0010827)
mirridius (reporter)
07-03-2013 07:24
edited on: 07-03-2013 07:34

Все работает отлично! И в Москве, и в Питере. Спасибо еще раз!

(0010830)
mirridius (reporter)
07-03-2013 07:35

Еще б zmp c народной картой только.
(0010836)
zed (manager)
07-03-2013 11:24

А какие там запросы на народную идут?
(0010839)
mirridius (reporter)
07-03-2013 12:21

Прикрепил raw
(0010841)
zed (manager)
07-03-2013 12:38

Готово. Там всего одна буковка в запросе добавляется :)
(0010843)
mirridius (reporter)
07-03-2013 13:40

Все работает. Спасибо!)

- Users who viewed this issue
User List Anonymous (4746x), vdemidov (1x), Tolik (1x), birkoff (1x), zed (1x)
Total Views 4750
Last View 22-11-2024 00:30

- Issue History
Date Modified Username Field Change
28-02-2013 14:40 mirridius New Issue
28-02-2013 14:40 mirridius File Added: tiles256.PNG
28-02-2013 14:50 zed Note Added: 0010692
28-02-2013 14:50 zed Project SAS.Планета => Доработка карты (ZMP)
28-02-2013 14:58 mirridius Note Added: 0010693
28-02-2013 15:04 zed Note Added: 0010694
28-02-2013 15:20 mirridius Note Added: 0010695
28-02-2013 16:29 zed Note Added: 0010696
28-02-2013 16:40 mirridius Note Added: 0010697
28-02-2013 17:20 mirridius Note Added: 0010701
28-02-2013 17:23 mirridius Note Added: 0010702
28-02-2013 17:27 mirridius Note Deleted: 0010701
28-02-2013 17:27 mirridius Note Deleted: 0010702
28-02-2013 17:56 mirridius Note Added: 0010704
01-03-2013 05:55 zed Note Added: 0010713
01-03-2013 07:08 mirridius File Added: full_log.txt
01-03-2013 07:09 mirridius Note Added: 0010717
01-03-2013 07:51 mirridius Note Added: 0010721
01-03-2013 07:51 mirridius File Added: log_novehicles.txt
01-03-2013 07:51 mirridius Note Edited: 0010717 View Revisions
01-03-2013 10:58 zed Note Added: 0010732
01-03-2013 11:26 mirridius Note Added: 0010736
01-03-2013 11:30 zed Note Added: 0010737
01-03-2013 11:32 zed Note Edited: 0010737 View Revisions
01-03-2013 11:44 zed Note Added: 0010738
01-03-2013 11:45 zed Note Edited: 0010738 View Revisions
01-03-2013 14:20 mirridius Note Added: 0010742
01-03-2013 14:23 mirridius File Added: log_Wireshark
01-03-2013 14:23 mirridius Note Added: 0010743
01-03-2013 14:26 mirridius File Added: log_Wireshark2.txt
01-03-2013 14:27 mirridius Note Edited: 0010743 View Revisions
01-03-2013 14:56 Tolik Note Added: 0010744
01-03-2013 14:56 zed Note Added: 0010745
01-03-2013 14:56 zed File Added: 1.png
01-03-2013 14:57 zed File Deleted: log_Wireshark2.txt
01-03-2013 14:58 zed Note Added: 0010746
01-03-2013 14:59 Tolik File Added: tiles.png
01-03-2013 14:59 Tolik Note Added: 0010747
01-03-2013 15:00 Tolik Note Edited: 0010747 View Revisions
01-03-2013 15:01 zed Note Edited: 0010745 View Revisions
01-03-2013 15:02 Tolik Note Edited: 0010747 View Revisions
01-03-2013 15:04 Tolik Note Edited: 0010747 View Revisions
01-03-2013 15:08 mirridius Note Added: 0010748
01-03-2013 15:09 zed Note Added: 0010749
01-03-2013 15:11 zed Note Added: 0010750
01-03-2013 15:14 mirridius Note Added: 0010751
01-03-2013 15:15 mirridius Note Edited: 0010751 View Revisions
01-03-2013 15:15 Tolik File Added: tiles12x2.png
01-03-2013 15:17 Tolik Note Added: 0010752
01-03-2013 15:19 zed Note Added: 0010753
01-03-2013 15:21 mirridius Note Added: 0010754
01-03-2013 15:21 Tolik Note Added: 0010755
02-03-2013 13:08 zed Note Added: 0010776
02-03-2013 13:19 vasketsov Note Added: 0010777
02-03-2013 13:20 zed Note Added: 0010778
06-03-2013 19:27 zed File Added: YaMapMobile.zmp
06-03-2013 19:34 zed Note Added: 0010819
06-03-2013 19:35 zed Note Edited: 0010819 View Revisions
07-03-2013 07:24 mirridius Note Added: 0010827
07-03-2013 07:34 mirridius Note Edited: 0010827 View Revisions
07-03-2013 07:34 mirridius Note Edited: 0010827 View Revisions
07-03-2013 07:35 mirridius Note Added: 0010830
07-03-2013 11:24 zed Note Added: 0010836
07-03-2013 12:20 mirridius File Added: log_WS_Narodnaya
07-03-2013 12:21 mirridius Note Added: 0010839
07-03-2013 12:37 zed File Added: YaMapMobileNarod.zmp
07-03-2013 12:38 zed Note Added: 0010841
07-03-2013 13:40 mirridius Note Added: 0010843
07-03-2013 13:42 zed Status new => resolved
07-03-2013 13:42 zed Resolution open => fixed
07-03-2013 13:42 zed Assigned To => zed
14-11-2013 08:39 vdemidov Relationship added related to 0001842
24-07-2014 12:01 zed Tag Attached: мяк
24-07-2014 12:01 zed Tag Attached: яндекс



Copyright © 2007 - 2024 SAS.Planet Team