Загрузка тайлов -- много замечаний/вопросов.
Модератор: Tolik
-
Papazol
- Гуру
- Сообщения: 2069
- Зарегистрирован: 04 дек 2009, 01:39
- Откуда: Рязань
- Благодарил (а): 73 раза
- Поблагодарили: 647 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
Секрет всё равно не гарантирует от бана и необходимости периодически менять прокси. Костыль, в общем. А руками - оно надёжнее.
-
Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
А он уже начал поддерживать полноценные куки и прочие нужные плюшки (вроде переустановок сессий)? И если нет - то в чем будет разница при скачке сабжа?DJ VK писал(а):В свое время я предлагал в экспорт запихнуть еще 1 пункт. Экспортировать список тайлов выделенной области. полные веб адреса. В виде текста. Конечно нужно иметь возможность резать штук по N на файл.
Далее просто teleport vlx
Вот сидят люди, страдают от переизбытка идей и свободного времени, и изобретают неведомый велосипед с квадратными колесами. А просто написать скриптик из буквально десятка строк (с какой угодно поддержкой каких угодно кукисов) прямо сегодня и ровно сейчас - это ни-ни. Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...
Это ж на целую пару кликов сложнее, а юзать поиск\читать уже имеющееся коллективное бессознательное, выраженное в твердой письменной форме - вообще не барское дело, а скромно и пригибаясь задать вопрос в "Новичках" - ниже всякого достоинства.vasketsov писал(а):А если есть желание - зарегиться и актуализировать факи и вики. А не только просить.И не надо. Надо быть просто внимательнее.
Ведь гораздо проще тыркнуть в "Новая тема" и в очередной раз потребовать у собравшихся внимания к своей вери
- скрытый текст: показать
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
-
DJ VK
- Гуру
- Сообщения: 1468
- Зарегистрирован: 16 апр 2009, 13:57
- Откуда: 8 км. от МКАД
- Благодарил (а): 80 раз
- Поблагодарили: 314 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
тогда тикетов вообще не было)))vasketsov писал(а): Просто список по урлу на строку?
Зачем резать, чтобы один поток на файл потом запускать?
Так ему поди надо не просто файл, а html с <a href="xxx">yyy</a> построчно, с <head> и <body>?DJ VK писал(а):teleport vlx
А как потом переносить файлы в тайлохранилище? Через закачку по file:// или сразу собирать структуру как в сасе?
Не вижу проблем реализовать это.
резать надо было чтоб список подсунуть руками, больше тайлов 512 в окно ввода не влезало.
потом стало проще, нашел метод, но резать все равно резал, тысяч по 50-100 например.
в данном случае не обязательно, можно же выделить области и поменьше.
1. создаем список на скачку.
Код: Выделить всё
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML>
<HEAD>
<TITLE> htmllistgen </TITLE>
<META NAME="Generator" CONTENT="EditPlus">
<META NAME="Author" CONTENT="">
<META NAME="Keywords" CONTENT="">
<META NAME="Description" CONTENT="">
</HEAD>
<BODY>
<a href="http://russianfood.com/recipes/recipe.php?rid=115480">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115481">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115482">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115483">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115484">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115485">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115486">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=115487">Link</a>
<a href="http://russianfood.com/recipes/recipe.php?rid=116307">Link</a>
</BODY>
</HTML>3. указываем в телепорте скачку нашего html+ на 1 ссылку от него вглубь с поддержкой других доменов.
4. в процессе скачки можно поправить количество потоков, прокси итд.
проблема такая, имена в любом случае будут не sas, походу пойдут все в одну папку, или в 4 папки, значит ограничение кол-ва важно. нужна будет утилита переноса файлов. но это я могу сделать ( у меня шаблон переборщика -процессора файлов в каждой утилите используется...)
Да в том то и дело, что не нужен. Так собственно и работает уже давно для всех сайтов.(когда мне надо на коленке создается список).Parasite писал(а): Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...
Но в жизни нужны не только квадратные регионы. в планете же энумератор уже встроенный, и велосипед не хочется...
Ну вот, я всех и спалилvasketsov писал(а):То что сас можно запускать в несколько экземпляров из разных папок с одним кэшем, одними картами и разными прокси - это был секрет )))DJ VK писал(а):несколько планет с разными прокси, да несколькими потоками рулят
в несколько экземпляров из одной папки тоже можно
-
Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
Тогда делается не самодостаточный скриптик (качающий сам на сам) - а скриптик-проксик из ровно на +2 строчки больше чем предыдущий. САС коннектится к серверу через него, данные проходят через скриптик в обе стороны (с попутной необходимой обработкой для поддержки хоть чорта лысого, не то что кукисов\сессий) - и для энд-юзера вообще все прозрачно: Гугл и прочие ретромапы\гуглоартсы внезапно работают ровно так же, но уже без банов!DJ VK писал(а):Да в том то и дело, что не нужен. Так собственно и работает уже давно для всех сайтов.(когда мне надо на коленке создается список).Parasite писал(а): Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...
Но в жизни нужны не только квадратные регионы. в планете же энумератор уже встроенный, и велосипед не хочется...
Какие угодно САСовые выделения, карты заполнения и прочие погремушки - в наличии, раз САС задействован. В этой схеме он является просто "запросогенератором" в скриптик, а качает по факту и как нужно, а не как всегда - уже тот.
Никаких мутных списков на много километров длиной, и никаких телепортов (которые во-первых коммерческие, а во-вторых банятся точно так же, ибо ничем от САСа в плане запросов не отличаются). Просто кучка текста на половину листика А4 - и все работает. Для ВСЕХ ресурсов. Без исключения.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
-
Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
offtop ON:
- скрытый текст: показать
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Re: Загрузка тайлов -- много замечаний/вопросов.
Вот и мне интересно, он же с того же компа с локального будет сливать, а не с кучки разных (как если бы скрипт разлить по хостингам и пускать оттуда).Parasite писал(а):И если нет - то в чем будет разница при скачке сабжа?
Невозможность сейчас экспортировать список URLов - это один вопрос, а вот насколько народной медициной показан именно телепорт - немного другой вопрос.
По кукам - думаю что поддерживает (хотя не уверен, не юзаю его, но чтобы выливать сайты, куки могут быть нужны запросто), даже сас уже поддерживает куки ))).
зы. Нельзя просто натравить на сайт, потому что наверняка ссылки на соседние тайлы не прописаны в html, а если и прописаны, то телепорт их не берёт, а если и берёт, то ограничение области выделения ему тогда не натянуть.
-
Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
Цимес (в данном конкретном случае) в том, что там не статичные server-set куки (кои нужны для 95% сайтов, кои телепорт и поддерживает), а динамически устанавливаемые\обновляемые куки из жабоскрипта, оно же ГуглАПИ.vasketsov писал(а):По кукам - думаю что поддерживает (хотя не уверен, не юзаю его, но чтобы выливать сайты, куки могут быть нужны запросто), даже сас уже поддерживает куки ))).
То есть, не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка, ну или хотя бы не имитируя конкретную логику простановки\работы с этой кукой (а она небольшая, что радует) - мы поймаем добрый старый бан, ибо гуглу понятно что запросы идут НЕ из-под гуглоАПИ.
А почему у меня взял? Сайтишко-то элементарный там, и все ссылки в карте сайта лежат например.vasketsov писал(а): зы. Нельзя просто натравить на сайт, потому что наверняка ссылки на соседние тайлы не прописаны в html, а если и прописаны, то телепорт их не берёт, а если и берёт, то ограничение области выделения ему тогда не натянуть.
Hint: robots.txt в свойствах закачки в телепорте тоже можно\нужно отключать, плюс разобраться с другими фичами Netiquette - для каждой конкретной задачи.
А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен. Мало того что оно обещает быть здоровенным в каждом конкретном случае - так еще и нужен будет спец.софт чтобы распарсить ХТМЛ с тысячей-другой href'ов на одной странице не падая (а это весьма небольшой список. Нано-лист, я бы сказал). А как насчет пары миллионов?
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Re: Загрузка тайлов -- много замечаний/вопросов.
Кстати, о собаководах и яваскриптах. Мы же умеем с недавних пор качать не только паскальскриптами, но и яваскриптами в том числе (хотя я не знаю толком этот язык, так что только в теории могу помочь в этом).Parasite писал(а):не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка
Может быть получится забацать js, который бы использовал оригинальный js гугла и качал аки гугл, а при смене API просто подменялся бы файлик js от гугла?
Ну я допускаю, что можно разобраться. Я-то не разбирался, просто предполагаю.Parasite писал(а):плюс разобраться с другими фичами Netiquette
Это ты про список вида <a href=... или про список вообще, и plain\text построчно в частности?Parasite писал(а):А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен
Поскольку мы с недавних пор умеем качать по протоколу file:// или даже как \\Server\Share и как C:\map\ - ссылки на тайлы вполне могут быть реальными ссылками на файлы. Так что даже отдельный экспорт можно не делать, а просто добавить галку в AUX, чтобы залетала ссылка, а не имя тайла в хранилище.
-
Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
Вполне допускаю. Почему бы и не да. Просто сам не пробовал, бо качаю другими методами.vasketsov писал(а):Кстати, о собаководах и яваскриптах. Мы же умеем с недавних пор качать не только паскальскриптами, но и яваскриптами в том числе (хотя я не знаю толком этот язык, так что только в теории могу помочь в этом).Может быть получится забацать js, который бы использовал оригинальный js гугла и качал аки гугл, а при смене API просто подменялся бы файлик js от гугла?Parasite писал(а):не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка
Впрочем, как только это будет сделано - гугл начнет банить и тут, и лавочка опять прикроется. Так что лучше это в паблик не вываливать, даже если будет готовый рабочий инструмент. Желающие укачать петабайты на халяву и без мозговых усилий эту тему, собссно, и открыли...
Про ХТМЛ - пример коего и был у предыдущего оратора.vasketsov писал(а):Это ты про список вида <a href=... или про список вообще, и plain\text построчно в частности?Parasite писал(а):А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен
Так у меня вопрос не в том, умеем ли (ежу понятно, что сгенерить список закачки вместо собственно закачки, и даже обернуть его тегами - дело нехитрое) - у меня был вопрос о том, ЗАЧЕМ это нужно? Зона применения такого списка - где? Если по AUXу можно свести безразмерную картину в GESе, для чего оно собссно лично мною и просилось пару лет назад - то куда и для чего пихать список ссылок? Профит от него - в чем?vasketsov писал(а): Поскольку мы с недавних пор умеем качать по протоколу file:// или даже как \\Server\Share и как C:\map\ - ссылки на тайлы вполне могут быть реальными ссылками на файлы. Так что даже отдельный экспорт можно не делать, а просто добавить галку в AUX, чтобы залетала ссылка, а не имя тайла в хранилище.
Это, собссно, вопрос не к тебе а к тому кто его просил где-то там чуть выше.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
-
DJ VK
- Гуру
- Сообщения: 1468
- Зарегистрирован: 16 апр 2009, 13:57
- Откуда: 8 км. от МКАД
- Благодарил (а): 80 раз
- Поблагодарили: 314 раз
Re: Загрузка тайлов -- много замечаний/вопросов.
а профит низкий, например, мне и так достаточно прокси. но ведь помните, были одаренные, которые из кэша IE террасервер тянули... Как вариант teleport рассматривался мной еще когда googleMV уже не мог качать другие карты, а сас еще не был известен.... люди ищут как качать, я упомянул и этот способ.Parasite писал(а): Так у меня вопрос не в том, умеем ли (ежу понятно, что сгенерить список закачки вместо собственно закачки, и даже обернуть его тегами - дело нехитрое) - у меня был вопрос о том, ЗАЧЕМ это нужно? Зона применения такого списка - где? Если по AUXу можно свести безразмерную картину в GESе, для чего оно собссно лично мною и просилось пару лет назад - то куда и для чего пихать список ссылок? Профит от него - в чем?
Это, собссно, вопрос не к тебе а к тому кто его просил где-то там чуть выше.
а ведь еще есть орбит даунлодер, итд. даже многопоточные опен-соурсные качалки файлов. В России сделать через жопу - тоже профит. Вплоть до создания sas4ZXspectrum.
ну я по жизни генератор идей, я не ставлю целью всех убедить в их необходимости, просто люблю широко смотреть на мир