SASGIS

**Papazol** » 15 авг 2013, 23:19

Секрет всё равно не гарантирует от бана и необходимости периодически менять прокси. Костыль, в общем. А руками - оно надёжнее.

**Parasite** » 16 авг 2013, 06:49

DJ VK писал(а):В свое время я предлагал в экспорт запихнуть еще 1 пункт. Экспортировать список тайлов выделенной области. полные веб адреса. В виде текста. Конечно нужно иметь возможность резать штук по N на файл.
Далее просто teleport vlx

А он уже начал поддерживать полноценные куки и прочие нужные плюшки (вроде переустановок сессий)? И если нет - то в чем будет разница при скачке сабжа?

Вот сидят люди, страдают от переизбытка идей и свободного времени, и изобретают неведомый велосипед с квадратными колесами. А просто написать скриптик из буквально десятка строк (с какой угодно поддержкой каких угодно кукисов) прямо сегодня и ровно сейчас - это ни-ни. Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...

vasketsov писал(а):
И не надо. Надо быть просто внимательнее.

А если есть желание - зарегиться и актуализировать факи и вики. А не только просить.

Это ж на целую пару кликов сложнее, а юзать поиск\читать уже имеющееся коллективное бессознательное, выраженное в твердой письменной форме - вообще не барское дело, а скромно и пригибаясь задать вопрос в "Новичках" - ниже всякого достоинства.
Ведь гораздо проще тыркнуть в "Новая тема" и в очередной раз потребовать у собравшихся внимания к своей вери ~~имполайт~~ импортант персоне с вопросом, один из ответов на который есть даже в ФАКе и вообще уже у всех оскомину вызывает. Согласись, это ж много проще!...и столько еды доставляет.

скрытый текст: показать: Последний месяц эти бояре вообще как-то чересчур активизировались. Сколько мне их в личку сыпется, с какого-то перепугу увидев где-то баннер "Админ - Ваш личный гугл!" - кто бы знал. С матами, оскорблениями и прочей ересью...Во, от вчерашнего:
-------------------
Отправлено: 15 авг 2013, 14:41
От: AngelX
Кому: Parasite
Как удалять тему так пожалуйста, а как помочь так херас два. Ни нашел на форуме подобных тем, так что это не оффтоп!!! и удалили мой вопрос зря. Или носом ткните или тему верните.
Хотел по хорошему так игнорите. Совсем охринели. В мое время когда все только начиналось в сфере IT не было такого похеризма со стороны Админов. Сам бывший Админ всяких форумов и сайтов, в данный момент программист и сис.Админ.
Имейте уважение к пользователям. Ответить не трудно, а уважение потерять легко.
вы еще раз подтвердили свое бездействие. и что данный ресурс с херовой поддержкой пользователей. удачи, так и загнетесь
-------------
Заметим - это тело с нулем сообщений, зарегистрировавшееся вчера (по состоянию на момент получения этой прелести) и с вопросом про раскоряки какой-то неизвестной программки (не САС).

ФАК, Поиск, Правила, банальный здравый смысл и чувство такта, фича "грамматнасть" включенная по умолчанию? Не, не слышали.

**DJ VK** » 16 авг 2013, 08:13

vasketsov писал(а):Просто список по урлу на строку?
Зачем резать, чтобы один поток на файл потом запускать?

DJ VK писал(а):teleport vlx

Так ему поди надо не просто файл, а html с <a href="xxx">yyy</a> построчно, с <head> и <body>?
А как потом переносить файлы в тайлохранилище? Через закачку по file:// или сразу собирать структуру как в сасе?

Не вижу проблем реализовать это.

тогда тикетов вообще не было)))
резать надо было чтоб список подсунуть руками, больше тайлов 512 в окно ввода не влезало.
потом стало проще, нашел метод, но резать все равно резал, тысяч по 50-100 например.
в данном случае не обязательно, можно же выделить области и поменьше.

1. создаем список на скачку.

Код: Выделить всё: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"> <HTML> <HEAD> <TITLE> htmllistgen </TITLE> <META NAME="Generator" CONTENT="EditPlus"> <META NAME="Author" CONTENT=""> <META NAME="Keywords" CONTENT=""> <META NAME="Description" CONTENT=""> </HEAD> <BODY> <a href="http://russianfood.com/recipes/recipe.php?rid=115480">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115481">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115482">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115483">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115484">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115485">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115486">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115487">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=116307">Link</a> </BODY> </HTML>

2. заливаем его на бесплатный хостинг или личное файловое пространство, я некстмейл использовал
3. указываем в телепорте скачку нашего html+ на 1 ссылку от него вглубь с поддержкой других доменов.
4. в процессе скачки можно поправить количество потоков, прокси итд.

проблема такая, имена в любом случае будут не sas, походу пойдут все в одну папку, или в 4 папки, значит ограничение кол-ва важно. нужна будет утилита переноса файлов. но это я могу сделать ( у меня шаблон переборщика -процессора файлов в каждой утилите используется...)

Parasite писал(а): Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...

Да в том то и дело, что не нужен. Так собственно и работает уже давно для всех сайтов.(когда мне надо на коленке создается список).
Но в жизни нужны не только квадратные регионы. в планете же энумератор уже встроенный, и велосипед не хочется...

vasketsov писал(а):
DJ VK писал(а):несколько планет с разными прокси, да несколькими потоками рулят

То что сас можно запускать в несколько экземпляров из разных папок с одним кэшем, одними картами и разными прокси - это был секрет )))

Ну вот, я всех и спалил :lol:

в несколько экземпляров из одной папки тоже можно

**Parasite** » 16 авг 2013, 10:02

DJ VK писал(а):
Parasite писал(а): Даже САС, заметьте - не обязателен для выполнения задачи "вынуть сотни нефти с Гугла", все нужное (хоть весь гугл, если места хватит) вынимается тупой парой вложенных циклов...

Да в том то и дело, что не нужен. Так собственно и работает уже давно для всех сайтов.(когда мне надо на коленке создается список).
Но в жизни нужны не только квадратные регионы. в планете же энумератор уже встроенный, и велосипед не хочется...

Тогда делается не самодостаточный скриптик (качающий сам на сам) - а скриптик-проксик из ровно на +2 строчки больше чем предыдущий. САС коннектится к серверу через него, данные проходят через скриптик в обе стороны (с попутной необходимой обработкой для поддержки хоть чорта лысого, не то что кукисов\сессий) - и для энд-юзера вообще все прозрачно: Гугл и прочие ретромапы\гуглоартсы внезапно работают ровно так же, но уже без банов!
Какие угодно САСовые выделения, карты заполнения и прочие погремушки - в наличии, раз САС задействован. В этой схеме он является просто "запросогенератором" в скриптик, а качает по факту и как нужно, а не как всегда - уже тот.
Никаких мутных списков на много километров длиной, и никаких телепортов (которые во-первых коммерческие, а во-вторых банятся точно так же, ибо ничем от САСа в плане запросов не отличаются). Просто кучка текста на половину листика А4 - и все работает. Для ВСЕХ ресурсов. Без исключения.

**Parasite** » 16 авг 2013, 10:14

offtop ON:

скрытый текст: показать

DJ VK писал(а):1. создаем список на скачку.
Код: Выделить всё
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"> <HTML> <HEAD> <TITLE> htmllistgen </TITLE> <META NAME="Generator" CONTENT="EditPlus"> <META NAME="Author" CONTENT=""> <META NAME="Keywords" CONTENT=""> <META NAME="Description" CONTENT=""> </HEAD> <BODY> <a href="http://russianfood.com/recipes/recipe.php?rid=115480">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115481">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115482">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115483">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115484">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115485">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115486">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=115487">Link</a> <a href="http://russianfood.com/recipes/recipe.php?rid=116307">Link</a> </BODY> </HTML>

2. заливаем его на бесплатный хостинг или личное файловое пространство, я некстмейл использовал
3. указываем в телепорте скачку нашего html+ на 1 ссылку от него вглубь с поддержкой других доменов.
4. в процессе скачки можно поправить количество потоков, прокси итд.

1. А что мешает натравить телепорта СРАЗУ на тот сайт (без своего списка) и сказать "Вынуть всё"?
2. А что мешает прямо в телепорте указать НЕСКОЛЬКО стартовых адресов, и тыркнуть галку "Качать ТОЛЬКО стартовый адрес + все что на нем, не ходя в любые посторонние ссылки"?
3. А что мешает прямо в телепорте тыркнуть галку "Сохранять структуру директорий, а не валить все в одну кучу"?

offtop OFF:

**vasketsov** » 16 авг 2013, 11:07

Parasite писал(а):И если нет - то в чем будет разница при скачке сабжа?

Вот и мне интересно, он же с того же компа с локального будет сливать, а не с кучки разных (как если бы скрипт разлить по хостингам и пускать оттуда).
Невозможность сейчас экспортировать список URLов - это один вопрос, а вот насколько народной медициной показан именно телепорт - немного другой вопрос.
По кукам - думаю что поддерживает (хотя не уверен, не юзаю его, но чтобы выливать сайты, куки могут быть нужны запросто), даже сас уже поддерживает куки ))).
зы. Нельзя просто натравить на сайт, потому что наверняка ссылки на соседние тайлы не прописаны в html, а если и прописаны, то телепорт их не берёт, а если и берёт, то ограничение области выделения ему тогда не натянуть.

**Parasite** » 16 авг 2013, 11:37

vasketsov писал(а):По кукам - думаю что поддерживает (хотя не уверен, не юзаю его, но чтобы выливать сайты, куки могут быть нужны запросто), даже сас уже поддерживает куки ))).

Цимес (в данном конкретном случае) в том, что там не статичные server-set куки (кои нужны для 95% сайтов, кои телепорт и поддерживает), а динамически устанавливаемые\обновляемые куки из жабоскрипта, оно же ГуглАПИ.
То есть, не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка, ну или хотя бы не имитируя конкретную логику простановки\работы с этой кукой (а она небольшая, что радует) - мы поймаем добрый старый бан, ибо гуглу понятно что запросы идут НЕ из-под гуглоАПИ.

vasketsov писал(а):зы. Нельзя просто натравить на сайт, потому что наверняка ссылки на соседние тайлы не прописаны в html, а если и прописаны, то телепорт их не берёт, а если и берёт, то ограничение области выделения ему тогда не натянуть.

А почему у меня взял? Сайтишко-то элементарный там, и все ссылки в карте сайта лежат например.
Hint: robots.txt в свойствах закачки в телепорте тоже можно\нужно отключать, плюс разобраться с другими фичами Netiquette - для каждой конкретной задачи.

А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен. Мало того что оно обещает быть здоровенным в каждом конкретном случае - так еще и нужен будет спец.софт чтобы распарсить ХТМЛ с тысячей-другой href'ов на одной странице не падая (а это весьма небольшой список. Нано-лист, я бы сказал). А как насчет пары миллионов?

**vasketsov** » 16 авг 2013, 12:52

Parasite писал(а):не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка

Кстати, о собаководах и яваскриптах. Мы же умеем с недавних пор качать не только паскальскриптами, но и яваскриптами в том числе (хотя я не знаю толком этот язык, так что только в теории могу помочь в этом).
Может быть получится забацать js, который бы использовал оригинальный js гугла и качал аки гугл, а при смене API просто подменялся бы файлик js от гугла?

Parasite писал(а):плюс разобраться с другими фичами Netiquette

Ну я допускаю, что можно разобраться. Я-то не разбирался, просто предполагаю.

Parasite писал(а):А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен

Это ты про список вида <a href=... или про список вообще, и plain\text построчно в частности?

Поскольку мы с недавних пор умеем качать по протоколу file:// или даже как \\Server\Share и как C:\map\ - ссылки на тайлы вполне могут быть реальными ссылками на файлы. Так что даже отдельный экспорт можно не делать, а просто добавить галку в AUX, чтобы залетала ссылка, а не имя тайла в хранилище.

**Parasite** » 16 авг 2013, 13:57

vasketsov писал(а):
Parasite писал(а):не юзая яваскрипт рекомендованный лучшими собаководами гуглогородка

Кстати, о собаководах и яваскриптах. Мы же умеем с недавних пор качать не только паскальскриптами, но и яваскриптами в том числе (хотя я не знаю толком этот язык, так что только в теории могу помочь в этом).Может быть получится забацать js, который бы использовал оригинальный js гугла и качал аки гугл, а при смене API просто подменялся бы файлик js от гугла?

Вполне допускаю. Почему бы и не да. Просто сам не пробовал, бо качаю другими методами.
Впрочем, как только это будет сделано - гугл начнет банить и тут, и лавочка опять прикроется. Так что лучше это в паблик не вываливать, даже если будет готовый рабочий инструмент. Желающие укачать петабайты на халяву и без мозговых усилий эту тему, собссно, и открыли...

vasketsov писал(а):
Parasite писал(а):А вот список ссылок на тайлы - лично я даже не представляю, зачем может быть нужен

Это ты про список вида <a href=... или про список вообще, и plain\text построчно в частности?

Про ХТМЛ - пример коего и был у предыдущего оратора.

vasketsov писал(а):Поскольку мы с недавних пор умеем качать по протоколу file:// или даже как \\Server\Share и как C:\map\ - ссылки на тайлы вполне могут быть реальными ссылками на файлы. Так что даже отдельный экспорт можно не делать, а просто добавить галку в AUX, чтобы залетала ссылка, а не имя тайла в хранилище.

Так у меня вопрос не в том, умеем ли (ежу понятно, что сгенерить список закачки вместо собственно закачки, и даже обернуть его тегами - дело нехитрое) - у меня был вопрос о том, ЗАЧЕМ это нужно? Зона применения такого списка - где? Если по AUXу можно свести безразмерную картину в GESе, для чего оно собссно лично мною и просилось пару лет назад - то куда и для чего пихать список ссылок? Профит от него - в чем?
Это, собссно, вопрос не к тебе а к тому кто его просил где-то там чуть выше.

**DJ VK** » 16 авг 2013, 17:55

Parasite писал(а):Так у меня вопрос не в том, умеем ли (ежу понятно, что сгенерить список закачки вместо собственно закачки, и даже обернуть его тегами - дело нехитрое) - у меня был вопрос о том, ЗАЧЕМ это нужно? Зона применения такого списка - где? Если по AUXу можно свести безразмерную картину в GESе, для чего оно собссно лично мною и просилось пару лет назад - то куда и для чего пихать список ссылок? Профит от него - в чем?
Это, собссно, вопрос не к тебе а к тому кто его просил где-то там чуть выше.

а профит низкий, например, мне и так достаточно прокси. но ведь помните, были одаренные, которые из кэша IE террасервер тянули... Как вариант teleport рассматривался мной еще когда googleMV уже не мог качать другие карты, а сас еще не был известен.... люди ищут как качать, я упомянул и этот способ.
а ведь еще есть орбит даунлодер, итд. даже многопоточные опен-соурсные качалки файлов. В России сделать через жопу - тоже профит. Вплоть до создания sas4ZXspectrum.
ну я по жизни генератор идей, я не ставлю целью всех убедить в их необходимости, просто люблю широко смотреть на мир

SASGIS

Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Re: Загрузка тайлов -- много замечаний/вопросов.

Кто сейчас на конференции