Пригодится. Делай.

Нужно.

Нужно. На гелбоору есть тонны арта, которые релевантны моим интересам, но качать мне лень и некогда, поэтому тягаю оттуда по мере необходимости.

Нужно, делай.

Ок, значит будем делать.
Никто не подскажет какой-нибудь поисковой запрос для Gelbooru, который выдаст только одну пикчу?

>>778
cacodemon

тег "thrall"
1 результат только.

Можно за основу взять http://nopaste.info/cee56adf98.html , кстати.

POC (ProofOfConcept) версия почти готова,но она качает только первую найденную пикчу.
Правда, почему-то, все ссылки достаются нормально, но пикчи с сервера грузиться не хотят >_<
Буду разбираться, как заработает - обязательно выложу.

>>782
Ты лучше сделай, чтобы выдавало список ссылок, а не скачивало первую найденную.
Алсо, венда-онли чтоли?

С одной стороны и хорошо, с другой стороны, подобные скачиватели часто используются чрезмерно и нагинают сервер, из-за чего страдают нормальные пользователи.

Хотеть нечто подобное для Пиксива.

Так есть такие штуки уже.
Правда скриптец, который я гоняю, скачивает всё что есть по этим тегам, с гибкими настройками прога пригодится, да.
И двачую качалку с пиксива. И сейфбору заодно прикрути.

>>783
Первую найденную качает только ProofOfConcept-версия.
Да, венда-онли(пока).
>с гибкими настройками
будут
>И двачую качалку с пиксива. И сейфбору заодно прикрути.
сейфбору сделаем, там вроде с гелбору различий нет.
пиксив - я нихуя не понимаю в лунном, если кто-то объяснит мне, как он устроен, может и будет качалка.

Итак, POC-версия готова.
Это очень ограниченная версия, она качает только одну пикчу и её предпросмотр в папку C:\gelbooru_test
Линк на РОС - http://dl.getdropbox.com/u/1474642/galboorudl.exe
Ждите полной версии

И, да, иконка временная и извиняюсь за опечатку в названии эксешника.

>>790
На чём писал?
Исходники выложи под лицензией WTFPL.

>>792
AutoHotkey, потому-то скорее всего и не будет линукс-версии.
Да, знаю, быдлокод.
Исходники будут у финальных версий, сырцы сырых версий я выкладывать не буду.

Насчёт WTFPL - хорошая идея, скорее всего, под ней и буду выкладывать %)

Кстати, а это что такое?
http://danbooru.donmai.us/forum/show/19498

>>794
Просто еще граббер данборы.

>>789
Если не можешь зойрегестрироваться, можешь использовать mylingual.net

Делал идентичную консольную прогу для сайта rule34.paheal на быдлошарпе, она записывала ссылки на изображения в текстовый файл, а оттуда можно было дмастером все быстро скачать, хотел делать виндоблядский интерфейс но жутко гребет, если кому надо могу выложить.

>>797
Выкладывай.
В хозяйстве всё пригодится. :3

Алсо, я тут подумал.
Очевидно, что у каждого быдлокодера есть небольшая кучка наработок/программок/классов/библиотек самописных или исправленных||модифицированных и прочего полезного и не очень в быту.
Был бы неплох какой-нибудь сервис, где можно было бы выложить свои небольшие поделия, которые для крупных (CodePlex, Sourceforge и других) как-то не солидно.

>>797

Писал скрипт на похапэ, который выковыривал с данборы все ссылки на картинки для нужного тега.

Итак, прогресс есть, новая версия качает уже не одно, а два изображения %)

>>798
googlecode, например.

http://code.google.com/p/danbooru-v7sh-grabber/wiki/Main

>>811
Как заставить работать это под виндой?

>>803
Жду версия под номером 900.

>>813
slfxd

>версия

версию

>>812
cygwin + bash же.

>>817
Мне это ничего не сказало. Совсем. Можно как-нибудь, совсем для немощных.

>>818
cygwin http://www.cygwin.com/
1) Качаешь
2) Ставишь
3) Устанавливаешь в т.ч. bash, curl, что-то там еще (см. внутренности скрипта)
4) запускаешь по манулу на странице в гуглкоде
5) ??????

>>819
Скачал. Поставил все с дефолтными настройками. Скрипт засунул в C:\cygwin\home\user
Пытался писать, как в гуглокоде, но что-то видать, оно отказывается со мной сношаться. Вернее ничего не происходит.

>>822
Хммм.
ок, я посмотрю его в цигвине сегодня вечерком, как винду загружу.

>>827
Спасибо, буду ждать вестей <3

>>828
Извини, но я его тоже не осилил.
У меня, например, не работал curl. Вообще никак, т.е. Никаких ошибок никуда не выводилось, ничего - просто curl выдавал пустой выхлоп на любой запрос.
В общем, значит способов запустить это под виндовс нету.

>>829
Хм, в теме на данбору (http://danbooru.donmai.us/forum/show/19498) :
>Also i have reports of running it on MinGW for windows, so it most likely should run in every posix-compatible environment.
>running it on MinGW for windows
>MinGW
Что это есть? :3

>>830
Ты меня извини, но загуглить по слову mingw и найти mingw.org ты, по-моему, вполне мог.

>>831
Мог и даже и пробовал. Результат таков же. Хотя, толком не разобрался в этом деле.

Оп, задумка уже стухла?

Бамп.
ОП, что с граббером?

>>833
Нет.
>>852
Всё охуенно.

Текущая бета может скачивать до 25 найденных пикч(ровно столько находится на одной странице с выдаче поиска).
Сейчас пытаюсь пофиксить небольшие баги и сделать возможность качать больше 25 изображений.

UPD: Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сейчас буду пытаться снизить кол-во скачиваемых временных файлов.

>popoffka

>>855
О боже, ты меня деанонимизировал! :O
Теперь буду подписываться так

>popoffka

>>854
>Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сколько он одновременно тянет? (пикч).
И да, на гелборе скорость всегда не очень, так что особо не парься.

>Сколько он одновременно тянет? (пикч).
Одну, больше встроенными возможностями языка сделать нельзя, так-что буду пытаться реализовыать это через внешние либы.

>>859
Скоро ли будет выложено?

>>867
К сожалению, есть определённые, пока-что ещё не решённые проблемы, которые необходимо решить до релиза.
Такие дела, да.

>>870
Ничего, спасибо за то, что ты делаешь такую нужную программу.

Есть такое давно уже. На питоне и кроссплатформенно.

>>874
Питон - гавно.

>>875
Есть что-то лучшее для кроссплатформенных скриптов? Расскажи-ка.

А ссылку на подскажеш?

>>876
Кроссплатформенность не нужна.

Я имел в виду ссылку на скрипт.

>>884
Для данбуру выше кидали, вот для гельбуру http://dpaste.com/96197/

>>883
Пошла нахуй толстота, если по делу ничего сказать не можешь.

А есть подобные скрипты для chan.sankakucomplex.com?

>>894
Там движок данбуры, замени здесь http://nopaste.info/cee56adf98.html HOST.

Благодарствую.

>>829
А у меня запустилось, настраивал по этому мануалу:
http://www.linux.org.ru/view-message.jsp?msgid=3665745

Забыл пруф.

>>904
А у меня напрочь отказалась сношаться с моей вин7. Или же со мной.
Олсо непонятно, что ты там настраивал.
Можно весь порядок произведенных действий, ось и т.д

>>909
[spoiler]Возможно слегка сумбурно, но не программист.[/spoiler]
ось- Windows XP SP2, Net.Framework и всё, что нужно, папка Cygwin после установки занимает 3,31 ГБ
1.Скачал всё, что было предложено Cygwin, весит около 930 мб.
2.Затем перенёс граббер в папку "C:\cygwin\home\Аноним".
3.Запустил Cygwin, открылось окно , ввёл
>$ sh grab.sh -d -dm 333
для настройки папки, куда загружать.
4.
>$ sh grab.sh -w -u логин -p пароль
, указал свой логин и пароль.
5.
>$ sh grab.sh -d somethingtag
, для начала закачки.

>>909
>вин7
Несовместимость, Cygwin совместима с осями до XP.

Запустил cygwin на XP, работает. Но качается довольно медленно (это проблемы Данбуры?) и при попытке скачать по двум тегам выдаёт ошибку 500.

>>914
Да скорость очень небольшая и дело в Данбуре, тут ничего не сделаешь. А 500 и у меня выдаёт.

910-кун

>>910
>3,31 ГБ
Не хрена себе. Она у меня не больше 50 метров весила установленная.
>Несовместимость, Cygwin совместима с осями до XP.
Бээ... не хочу на xp лезть =\
Спасибо :3

>>917
Ну я скачал, всё так, как вроде бы Cygwin позволяет запускать программы для Linux-осей.

>>917
http://ru.wikipedia.org/wiki/Сервисы_Microsoft_Windows_для_UNIX

>>773
Кстати Оп-кун, как идёт разработка твоей программы.

Я полагаю, что ОП-кун забросил программу.
Очень жаль, ведь она пригодилась бы каждому второму Анону.

Тред не читал, мимо проходил, видил ссылку на подобную прогу.

>>968
Да кому она нужна? Уже есть кросплатформенный скрипт-граббер.

>>970
Во, о нем и говорю.

>>970
Линк, или хотябы название.

>>972
В гугле забанили?

>>973
Я даже названия скрипта не знаю, как мне его искать?

>>974
Как можно быть таким идиотом? Все скрипты есть выше в _этом_ треде.

>>975
>http://nopaste.info/cee56adf98.html
>http://danbooru.donmai.us/forum/show/19498
>http://dpaste.com/96197/

Третья ссылка давно сдохла... Хотя возможно как раз она то и подошла.

Это собсно все что есть в _этом_ треде.
Если ты мне укажешь хоть на один скрипт подхдящий для Gelbooru, я буду тебе благодарен.
Если нет иди гадь в другом месте.

>>976
Потому что блядский dpaste удолил, надо же было быть разработчикам такими дебилами, чтобы ставить такое маленькое количество дней по умолчанию.

Вот на ЛNСПоте норм пацаны -- бесконечно по дефолту.
http://paste.lisp.org/display/88256

>>977
Спасибо за линк.

Таки я смог скачать через Цигвин и этот граббер.
Делал все по описанию >>910-куна.
Но скорость закачки просто убивает меня.

Что касается Гелбуры, с нее тоже можно граббить. Далеко не самый удобный и быстрый способ, но кое-как работает.
1. Нужен Firefox и два расширения к нему: Auto Pager и Image Host grabber.
2.Открываем Гелбуру, вбиваем нужный тег.
3. На первой открывшейся странице жмем левую кнопку мыши, выбираем Auto Pager->Загрузить немедленно->Все страницы. Ждем прогруза всех страниц с пикчами.
4.Когда все страницы прогрузились, выбираем Image Grabber->Get all pics on page. Указываем папку.
5.Качаем и радуемся.
Но это, понятное дело, то еще шаманство. Прога ОПа была бы в разы удобнее. Все же надеюсь, что он ее доделает.

>>979
Ну из-за таких, как мы любителей дампа, скорость такая и данбоора часто лежит. Я обычно ставлю загружаться и ухожу спать^H^H^H^H^H пить кофе.

Анон, я слоу, потому что первый раз за последние полтора месяца на бордах, но на, держи мою однодневную поделку, недавно стояла подобная задача. Правда выкачку так и не дописал, но сохраняет ссылки картинки по тегу в файл, еще плохо обрабатывает обратные страницы(ссылок в 2 раза больше получается). В каких-то дальних планах допилить до нормального состояния, делать картинкам теговые имена, вместо хеша, в общем пообные красявости.
Алсо, вроде работает почти правильно.

Да, если подскажешь кросс-картинкосайтовое решение как с индеспоиска переместится сразу на теги без кучи кода, буду благодарен.

Я так же решил написать свой гельбуру довнлоадер, только на PHP.

>>986
С сохранением в фалы типа tag1 tag2 tag_3.jpg

Пример вывода: http://danbooru.itpaste.ru/780

>>988
Красявости это 20 минут написания кода. Да и вывод не сильно нужен, имхо скрипт лучше пускать демоном, чтоб на дохлых каналах не занимал отдельную консольку. Кросссайтовость намного важнее, чтоб и с гелбуры качал и с коначан-подобных, и разных еше. Одна вешь на все случаи жизни.

И как это юзать? Объясните для гуманитария.

>>1019
Читай тред там всё описано.
Если не понял — гугли доки.

>Кросссайтовость
мне нравится это слово!

Судя по всему идея Оп-куна спёклась.

капча с Кёном смотрит недоверчиво.

Будет вам граббер (если не забью, конечно). Пикрелейтед.

Не-ОП-кун

ну как успехи?

>>1059
Ни в коем случае не забивай. Принимай вагоны нефти авансом.

>>1059
Анон, ты для каждого сайта хардкодишь ссылку, или что-то хитрее придумал? Поделись идеей, если хитрее, я допишу свой нищеперлограбер, за неимением средств на дорогие загуенные системы.

...Пока никто не заметил, подменяю первую версию второй

http://zefiris.su/files/imget.7z

Теперь должно нормально работать. Гельбуру поддерживает поиск по двум тегам сразу, мое.имото, вроде, нет, сразу выдает 0 результатов. Искать пустые теги по-прежнему не рекомендую. В целом должно работать нормально, расширить на другие сайты на подобном движке не должно быть сложно.

>>1109
Не знаю, как он, но я ничего сильно общего не углядел - отличий как между форчаном и автобусом. Потому сделал на внешнем файле всё. Там не так много и надо-то
- общий вид ссылки поиска
- общий вид ссылки на n-ную страницу результатов (для поиска номера последней страницы в частности - находим ссылку, подходящую под маску, с максимальным числом под звездочкми)
- общий вид ссылки на пост (главное - идентифицировать <a в котором идет нужная ссылка)
- общий вид ссылки на полноразмерную картинку (аналогично, находим <a со ссылкой на картину по какому-нить определителю)
- строки, отличающие СФВшность картинки
и, вроде, всё.

Попытался сделать, чтоб работало на Данбуре, ничего не выходит. ЧЯДНТ.

>>1128
На данбуре какая-то фигня с необходимостью регистрации и прочего, хотя вроде качает средствами ИЕ, так что если в ИЕ залогинен, то должно быть пучком. Сам с этим сайтом связываться не хочу, надеюсь, что в целом ссылки ты правильно написал, только под особенности программы исправил файл.

>listpage=http://danbooru.donmai.us/post/index?page=&commit=Search&tags=
убери последние две звездочки.
Программа будет искать ссылку, содержащую текст до двух звездочек и текст после двух звехдочек, и то что на месте звездочек прочитает как номер страницы в найденной ссылке. Из всех номеров найдет максимальное - и сочтет это номером последней страницы.

>link=/post/show//
link=/post/show/
Просто идентификатор, что обязательно содержит ссылка на пост

>prefix=http://danbooru.donmai.us/
prefix=http://danbooru.donmai.us
Что добавить к началу ссылки, найденной по link. Если там полная ссылка - то ничего не надо, если ссылка со /, то в префиксе / на конце не надо

>>1124

Плохо глядел

1059-кун

>>1129
Благодарю за помощь.

>>1130
Пояснишь, или секрет фирмы?

>>1131
заработало?

Могу на досуге поработать над добавлением других сайтов, которые хорошо себя ведут, только скажите, какие надо.

Кстати, можно запускать скачку по разным наборам тегов одновременно - главное чтобы с одного и того же сайта (поэтому выбор сайта блокируется, когда идет хоть одна закачка).

>>1132

http://gelbooru.com/index.php?page=dapi&s=post&q=index&tags=...

http://http://danbooru.donmai.us/post/index.xml?tags=...

1059-кун

>>1133
интересно, спасибо

не знал, что у них апи есть, очень удобно

>>1134

У всех сайтов что на моем скрине есть апи, документация в помощи

1059

>>1124
>но я ничего сильно общего не углядел
достаточно много общего. страницы можно брать из блока с ид paginator, оно везде одинаково, только отсеять повторные.
Картинки берутся из ссылок внутри которых есть img(в коначанподобных можно сразу брать ссылку на картинку, в гелборе ее еще добыть надо, т.е. повторная загрузка страницы с одной картинкой).
единственная проблема для что ссылка поиска разная, если сделать, чтоб она сама формировалась, то можно будет создать скрипт, которому можно будет в ручную задавать хост с гелбору или коначан движком, и он будет качать и оттуда. Вроде как надо пост-запрос послать. Вот собственно форма:
<form action="index.php?page=search" method="post">
<input id="tags" name="tags" size="30" type="text" value="" /><br/>
<input name="searchDefault" type="submit" value="Search" />
</form>
а потом просто парсинг полученной страницы как первой в поиске.

>>1133
А с этой штукой так вообще просто

Итак, внезапно всё упростилось. В текстовиках теперь только сама ссылка. pid отличается от page тем, что начинается с нуля - нумерация страниц разнится от сайта к сайту. Danbooru лично у меня так и не заработал, но текстовик оставлю, вдруг у меня с айпишником проблема. Теперь можно запускать сколько угодно тегов откуда угодно - после нажатия на пуск программа немного потормозит, выкачивая странички и выгребая нужное число ссылок, дальше ссылки будут качаться в фоне. Индикатор внизу показывает прогресс от обещго числа запрошенных картинок.

http://zefiris.su/files/imget2.7z

Спасибо, 1059-кун, сильно облегчил жизнь.

出来た же! Дописал свой свободноскрипт, теперь это качалка со всех коночан и гелбуру-подобных ресурсов. Требует LWP::Simple, XML::Parse(вроде в стандартной поставке идет). Что значат опции написано в юсаге, есть опция типа докачки(в планах докачка а не похожее действие). С гелборы качает почему-то на один файл меньше, причем откуда-то из середины, видимо где-то единицу пропустил. Качает по одному тагу, но имхо не сильно большая проблема. Проверил, вроде работает.

>>1138
После того, как залогинился в данбуре через IE, всё заработало.

Где-то выцепил.
http://pastie.org/private/fhmtm5xnkspj8qhrwmpw5w

>>1147
Слишком много берет страниц, при работе с апи это не нужно, с гелбурой работать не будет, там страницы генерятся как /index.php? а не как /post/. Использовать вгет не нужно, можно по сути то же самое одним вгетом сделать, без лишних скриптов, опций надо будет в 6 раз больше, только обьем команды займет в 10 раз меньше места, чем оболочка.
Да и питон как бэ не создан для паринга. import re намекает.

>>1145
Это очень хорошо. Какие ещё борды в народе пользуются хоть чем-нибудь?

Алсо, принимаются пожелания по улучшению программы, но ничего не обещаю.

>>1150
крута бы сорцы

>>1152
а) оно на дельфях
б) мне стыдно, я быдлокодер

Натолкнулся на одну проблему. Если сохранять картинки с именами тагов по принципу "$id $tag", то ингда попадаются картинки, у которых этих тагов выше крыши, и они не лезут в файловую систему по длине имени файла. видимый выход - начать резать теги с конца, пока строка тегов не составит порядка 240 символов(ну там еще 15 под разрешение номер и т.п.). Анон как ты думаешь, можно решить эту проблему по другому?

>>1156
Максимум в 0 картинок должно качать все, а не 1 картинку. Интуитивно же.

Алсо, пилю прогрессбары и прочие красявости(точнее уже запилил, только додебажить осталось), еще думаю запилить линкер, который будет ходить по скачаным папкам и ставить симлинки в соответсвии с тегами, чтоб не качать по 2 раза одни и те же картинки.

С данбуры не качает, ЧЯДНТ?

>>1158
>Анон как ты думаешь, можно решить эту проблему по другому?
- вывод в архив без сжатия
- вывод в $id и текстовик с $id - $tag
- сокращение тегов

>Максимум в 0 картинок должно качать все, а не 1 картинку. Интуитивно же.
согласен, ступил.

>симлинки в соответсвии с тегами
а вот это интересная идея, факт.

Ещё стоит добавить поле исключений - с какими тегами НЕ качать.

>>1159
залогинься на данбуре через IE, чтобы в куках осталось. Иначе - никак, анонимусов данбура сильно режет.

т.к. моя прога лишь временное средство, написанное ради лулзов, я её давно дропнул, ждем релиза от >>1158-куна.

Версия 1.99. В принципе основная функциональность есть. Качает, прогрессбар рисует, время показывает. Из неудобств - зависимость от LWP, которого нет в стандартной поставке.
В комплекте линкер, там в юзаге(с -h опцией) написано как пользоваться.
Как скачаю пакователь, заверну в .exe, будет версия под проприетарные системы.
Работает со всеми данбуру-подобными иб, кроме самой данбуры(мне лень там акк регить, иначе бы приделал авторизацию для нее).

>>1160
Текстовик конечно годно, но тогда нужно будет его открывать, чтобы что-то найти. Хотя с текстовым файлом из скриптов работать проще, но это уже будет написание своей миниданбуры. Подумаю над развитием этой идеи, давно хотел в свою серверосмотрелку поиск приделать.

>>1163
интересно, а просто http://danbooru.donmai.us/user/authenticate?user_name=<username>&user_password=<password>&url=<url> прокатит? возможно, правда, вместо user_name - user[name], я не помню, id используется или name. Я тоже не зареган, проверить не могу. Так что может кто из зарегеных попробует разголиниться и пройти по заполненной вышепредставленной ссылки и сказать, что вышло?

Немного приболел, да и активперл 5.10.1 коряв, и не хотел мне его паковать, но я все же победил.
Экзешник пускается из командлайна. В юзаге все есть. Естественно, скорость запуска не ахти, но 2 лишние секунды по сравнению с 10 часами выкачки картинок - ерунда имхо.
Гуя пока не планирую, но кто знает, если найду хорошие, годные маны по винапи, то возможно(свободную версию тогда на гтк, оно мне больше нравится).
Вот какого хрена Шмион на капче?

Эм. Господа.
Получается сейчас идёт разработка 3 грабберов данборо-образных сайтов?

>>1179
Каждый делает себе свой скрипт с картами и девушками, unix-way, что с ним не так?

>>1179

Нет, я забил. После того как открыл тайну великой апи и все ломанулись ваять овер 9000 скриптов, подумал - нахуй кому-то нужен мой быдлокод, тут сидят люди которые могут сами себе запилить грабер с блекджеком и шлюхами.

1059-кун он же 799-кун

Выкладываю свою быдлоподелку на быдлопохапе: http://paste.org.ru/?94n5bx

>>1184
Ты совершенно не понимаешь, в чем суть давайте-напишем-данбору-грабер треда. Это скорей обмен опытом чем создание чего-то великого в одиночку.

>>1186
для него вебсервер нужен, тебе самому удобен скрипт, который берет тег абы как, да и держаь 10 часов открытым браузер и эти же 10- часов напрягать вебсервер, нехорошо же.

>>1179
тут идет скорее дискач, да, все выложенные хоть сколько-то рабочие версии находятся в состоянии "я уже забил".

>>1190
Я пока не забил, но недолго осталось, коль работает. Отдебажить, мож плюшек вроде мультитегов наделать, вроде больше ничего и не надо.
У меня висит другой проект, в котороый надо так глубоко погружаться, что не прет, вот и развлекаюсь написанием всякой ерунды.
Перл-кун

>>1188
Нет, этот скрипт консоль-онли, из вебсервера не будет работать. Вообще.
[i]Пхп-кун[/i]

Те кто сейчас пилят скрипты делают многопоточную загрузку пикч? Если нет, то продолжу пилить свое. У меня подразумевалась отдельная загрузка ссылок в 1 поток и одновременно загрузка пикч в 5-8 потоков.

>>1188
Обмен опытом? Даже для такой второкурсоты как я сделать такой скрипт как два пальца

1059-кун

>>1194
>>1138 получает набор ссылок на картинки в один поток (главный) и качает примерно в 10 фоновых потоков (хотя некоторые сайты больше 3-5 не пускают). Но это не скрипт, это гуета.

>>1194
А кто-то говорил про написание ядра ос? Разумеется, что в написании 20-строчных скриптов нет ничего сложного, однако подходы все равно разные, суть обмена опытом в том, чтоб посмотреть как делают другие, помочь им выявить ошибки и найти свои. Иногда в полнейшем быдлокоде можно найти достаточно хорошие решения.

А вот мой клиент под данбору и подобные движки, с преферансом и блудницами!

Похож на программу >>1138-куна, но с некоторыми дополнениями:

-авторизация на danbooru
-все закачки, в том числе и для списков, идут в фоне, можно остановить в любой момент.
-выбор картинок по рейтингу, облаку тэгов.
-можно начать новый поиск по тэгам, выбранным в облаке
-предварительный просмотр
-можно выбрать количество потоков для скачивания

Для того, чтобы работала авторизация на данборе, надо открыть файл Danbooru.txt, и заменить USER и PASSWORD на данные своего аккаунта.

Программа: http://rghost.ru/599874
Исходники (c#): http://rghost.ru/599929

Не пинайте ногами за быдлокод :3 До этого писал исключительно на c++, решил попробовать свои силы в шарпе. Удобная штука оказалась!

>>1202
Выглядит симпатяво. Ты выиграл! :3

>>1165
Не прокатывает по такой ссылке. И да, там нужно писать в виде user[name], а затем отпралять post - запрос

>>1202

Это Винрар, не быдлокод и с комментариями. Офигенно, молодец.
Не мешало бы имена файлам нормальные делать, например %ид_поста% - %теги%.
Еще браузер тегов добавить можно.
А облако тегов действительно sloooooow, сделал бы в отдельном потоке чтоб не зависала форма.

1059

>>1202
Огромное спасибо за исходники. Будем воровать, и убивать время напианием *nix-версии по мотивам.
Авторизацию данбуры имхо лучше на форме делать, а предпросмотр ненужен, пропадает элемент рандома и получается та же данбора, только без рекламы интимных актов в соц. сетях.

>>1207
Нет, предпросмотр всё-таки нужен, ящитаю, ибо лучше отсеивать пикчи сразу, чем потом.

>>1206 спасибо! По поводу имен файлов я думал, но тэги туда могут просто не влезть. Сейчас попробую сделать так, чтобы юзер мог сам задавать имя файла в виде строки, например так:"id - rating - maintags"... А что за браузер тэгов? По поводу отдельного потока для облака - то что надо, спасибо за идею.

>>1207 огромное незашто :3 Но врядли исходники помогут для *nix'ов, ведь все основные функции работы с сетью там реализованы через .NETовские компоненты, боюсь их придется вручную переписывать. Ну или искать либы с похожими функциями. А дотнет же вроде можно и так под линуксом запускать? Для авторизации это всмысле добавить на форму окошки для логина и пароля? Предпросмотр если не нужен можно отключить.

>>1210
Ты в какой студии делал? VS'08 солюшн почему-то не открывает.

А, ну и хрен с ним с солюшеном — проджект открылся.

Круто. С комментариями! С нормальными именами полей и методов!

Только не забывай про комментарии вида:
/// <summary>
///
/// </summary>

В этих шарпах они вещь очень и очень удобная.
Алсо у тебя Class1 с такими комментами.

И
#region name
#endregion
Тоже удобная на мой вкус штука.

Остальные придирки я стёр, т.к. это уже придирки к стилю оформления кода :3

>>1202
Спасибо, очень молодец. Мне было лень воздвигать у себя на машине всякие интерпретаторы скриптовых поделий, что были выше и.т.д. и.т.п. До тех пор, пока ты не выложил Win32 приложение. И теперь я уже вторые сутки насилую гелбуру и не могу оторваться. Засранец ты всё таки. Было такое дело - по тэгу вышло пару тысяч картинок на закачку, ну качало оно, качало, а потом выключили интернет. Оно скачало где-то ~300 пустых картинок моментом, тех, что не успело фактически докачать. Я кое как по превьюшкам нашёл, где остановился, но три сотни картинок ручками помечать - запарно, надо что-то с этим сделать. Так бы я зашал shift, нажал end и одним нажатием пробела поставил галочки бы сразу для всех. Ну в общем дело твоё - как эту проблему решать и стоит ли вообще её решать. По превьюше, надо сказать, тоже не очень уж удобно искать нужную позицию.
Пиканрелейтед.

>>1219
>>1166
портировал же без требований интерпритатора

>>1220
Гомен, значит я не заметил.

>>1220
И да, без GUI мне тоже лень было с этим возиться. Я конечно понимаю, что ничего сложного и всё такое, просто лень - это лень, у неё своя, особая природа.

>>1222
имхо использование гуя требует намного больше телодвижений, чем написание одной строчки, хотя это зависит от использующего.
Сяду пилить разные штуки, в том числе эти ваши гуи как только появится настроение вообще что-либо делать.

>>1202
Во, я баг нашёл. Мои действия:
Ввожу тэг, жму кнопку, скачать всё автоматически, жду. Скачивается гд-то 100 картинок из 300. Поменял в поле тэга, тэг на другой, но ничего не жал. В результате оставшиеся 200 картинков скачались в папку, названную в соответствии со вторым тэгом.

Мои поделки на баше:
Для гельбуры: http://paste.org.ru/?07u74d
Использование: ./gelbooru.sh первый_тег второй_тег и_третий
Для данбуры: http://paste.org.ru/?1dbep7
Использование: ./danbooru.sh первый_тег второй_тег и_третий
Сохраняют они оба в папку files.
P.S. Не забудьте изменить логин и пасс в danbooru.sh
_Зой чанспида_

>>1237
а в один скрипт собрать сам никак?

>>1239
Потом будет сразу для всех

>>1217 делал в 8 студии, потом решил поставить 10 и переконвертил туда. Похоже что сфейлил, потому что ничего нового кроме тормозов и шрифта в ней не появилось.

А комментарии вида
/// <summary>
///
/// </summary>
это те, которые во всплывающих подсказках к методам и переменным отображаются? Учту, спасибо.


>>1219 на здоровье! Гелбура имхо от этого не очень страдает, тем более что не дает больше чем в 2 потока качать... С мультиселектом в списке хорошая идея, да.

>>1226 ага точно, есть такой баг. И еще недавно нашел, что если в списке ничего не кликать, иногда при нажатии на download выдает сообщение, что список пуст.

Сейчас некогда возиться особо, но я все замечания и предложения запомнил, думаю в выходные попралю и выложу новую версию

>>1244
Стесняюсь спросить, а с инструкцией foreach вы знакомы?

нужна прога для скачивания всех картинок с макрочана по тегу,по аналогии с граббером.Осуществите?

>>1276
ты баклан. Нет, то есть я хотел сказать, что ты не умеешь составлять грамотные технические задания, но подумав, всё больше убеждаюсь, что верно первое. Где ссылка на сайт, для которого тебе нужна прога? Где хоть примерное описание того, как это хотелось бы видеть (в треде как минимум 4 граббера), где описание профита для пишущего?..

Я не >>1276-кун, но видимо он хочет видеть граббер по
http://12ch.ru/macro/

>>1284 я думаю, что речь скорее о http://macrochan.org/

>>1202
Как в этой штуке на данборе залогиниться?

А ограблялку пиксива прикрутите? Просто недавно заметил, что у винрарных художников часто на пиксиве куда больше пикч, чем на данборе.

Докладываю.

>>1138
Отлично работает под wine.
А вот >>1202 выдает ошибку.

>>1286
>Для того, чтобы работала авторизация на данборе, надо открыть файл Danbooru.txt, и заменить USER и PASSWORD на данные своего аккаунта.
Пост то прочитай.

>>1305

>>1202 под виндой тоже уже ошибку выдает, гелбора что-то поменяла или что, а автора смыло

>>1305
1138 работает через апи, там всё всегда едино, а 1202 - выкачивает и парсит страничку, и некоторые совершенно незначительные изменения в оформлении/структуре могут сделать парсер перестать работать. Именно поэтому в ранних не-апишных версиях 1138 настройки парсера были вынесены во внешние файлы.

>>1287
В теории можно написать универсальную выкачивалку картинок, настраиваемую под разные сайты, только я не умею авторизацию делать, хотя вариант с авторизацией через IE и дальнейшее уже хау-ау программой мне не кажется совсем уж плохим. Я подумаю.

>>1310
>универсальную выкачивалку картинок, настраиваемую под разные сайты

>>1324
я уже пробовал сделать, решил, что настраивать замкнётесь. А удобный интерфес создания правил мне замкнусь делать я

>>1327
Да ничего твоя программа, одна из 2, которую я использую, так что добра тебе.

Ну так, что с pixiv'ом.

Бамп

[spoiler]Чебурашка на капче, лол.[/spoiler]

>>1351
Удваиваю вопрос.

У пиксива есть апи? Иначе не хочется возиться.

Самого апи не нашел, но нашел пару скриптов, на жс и питоне. Как доберусь, добавлю этот функционал в свою перл-качалку.
Алсо добавлю туда нормальную работу с данбурой и жсон-парсилку.

>>1607
Буду ждать и спасибо за твою скачивалку.

Капча "Юки" на что-то намекает.

>>1202

У пиксива есть нормальный апи? Или придется каждую страницу парсить?
Пока что напиание пиксивокачалки равносильно написанию нового скрипта.
Данбуру-логин прикрутил, жсон прикрутил, треадинг прикрутил, тестирую, пилю дальше.

>>1607
ждем-с

Лол, я добаловался, что качалку забанили на данбуре. Бедный тег ds.
запилю свн на всякий случай, чтоб не потерять: code.google.com/p/getbooru/
гуглекод корявый какой-то, совсем не так, как нужно делает.
Алсо, да, думал о безумной морде на ncurses и гуе кое каком, однако это когда-нибудь.

>>1620
saem shit

>>1620
>taka_tony
See what you did there.

>>1656
Между прочим, на данборе больше 1000 пиков общим весом почти гигабайт.

http://rghost.ru/1015981
Вот моя програмка для получения прямых урлов на картинки с chan.sankakucomplex.com.

>>1664
>fixme:shell:URL_ParseUrl failed to parse L"Newtonsoft.Json.Net20"
Возмождно вайнобаг, но факт есть факт.
Алсо, не вижу ничего сложного в получении ссылок с санаки, на данбуре все тоже самое, просто в санаке выключен xml.

Автор BooruChan, у меня к тебе такое предложение. Не мог бы ты прикрутить функцию конвертирования списка закачек в командный файл для запуска вгета? Твоя прога качает отвратительно.

booruchan - developer кун на связи3
Извините что долго пропадал, - навалилась куча дел: сессия, работа.

Новый билд:
http://rghost.ru/1072664

Итак, сегодня исправил кучу багов и добавил несколько приятных моментов:

-программа не падает как на >>1620 скрине
-форма для логина и пароля для данборы (авторизация отлично работает под xp, а под семеркой как-то странно... если не будет логиниться, логинимся в данбору в IE и тогда нормально качаем)
-список тэгов генерится быстрее и в отдельном потоке
-можно сохранять картинки в отдельные папки для каждого нового поиска, как раньше, а можно все новые закачки скидывать в одну папку
-ну и наконец для >>1689 - держи поддержку wget!
В папке wget лежит wgetcmd.txt, а в нем настройка запуска wget'а с разными параметрами. В файл images.txt сохраняется список url'ов для скачивания. Огромный плюс скачивания wget'ом - поддерживается докачка. А прироста скорости особо не видно, как с гелборы, так и с данборы. Может можно как-то в несколько потоков им качать?

>>1310 неа, у меня все тоже через API работает

Со скоростью действительно совсем туго, но это беда серверов...

Кто-нибудь знает есть ли такой же API с xml на sankakucomplex и safebooru? Чего-то у меня так и не получилось оттуда ничего забрать.

Какие еще будут предложения? Могу еще допилить, только в выходные скорее всего.

По поводу pixiv'а я бы тоже подумал, но ничего там не понимаю, лол! Знающие лунный-куны, подскажите хотя бы что там за система - арт сортирован не по тэгам, а по художникам чтоли?
Как формируется поисковый запрос?

>>1664
У меня тоже падает, но под виндой, с FileNotFoundException. В какую папку по умолчанию файлы должны сохраняться? А исходники собираться не хотят, не хватает Newtonsoft.Json - чего это за компонент?

>>1690
http://chan.sankakucomplex.com/post/index.xml

limit (макс 100)
page
tags

Сейчас SafeBooru буду ковырять

>>1691

Бака забирает свой пост обратно, похоже санкаку анально огородились (возвращает только <posts count="5225" offset="0"></posts>)

<- Вместо тысячи слов.

>>1690
Спасибо, анон. На днях протестирую.

>>1692
Санаку и не разгораживалась никогда. Как были жсон-онли, так и остались. А жсоном и с данбуры удобней брать, текста меньше получается.
Я копал пиксив, пришел к выводу что там есть тегование, которое работает непонять как, и можно выбирать еще и по художникам. Долго думал, какой вариант лучше использовать, но так и не пришел к какому-то мнению. Годного апи так и не нашел(есть ipod api, но я его не пробовал, поэтому не знаю). Найденые мной скрипты парсят страницы. Думаю писать модуль парсера для пиксивостраниц, чтобы возвращал примерно такой же контент как данбураапи, чтобы совать в одну и ту же функцию. Для полного счастья не хватает md5 картинки.
Немного еще покопал, там все просто в пиксиве. Несколько похпе страниц, каждая делает свое дело.
Как чуть освобожусь, вернусь к своей качалке.

Анон, ты няшка

>>1691 А у меня чего-то вообще пустой файл выдает при таком запросе. Может там $регистрация нужна?

>>1693 Анон, ты разделал мой день! Откуда такой эффект, я же вроде везде поставил проверки значений и отлавливалки exception'ов... При каких условиях выпадает? Ты все содержимое архива распаковал, старых фалов там не осталось? Судя по скринам, с папкой engine что-то не так

>>1694, >>1698 на здоровье же!

>>1696 а на гельборе жсон есть? Может к себе тоже парсер добавлю, для универсальности.
По поводу пиксива интересно, жду чего у тебя получится :3


Кстати, заметил что с утра с данборы качается намного шустрее, чем вечером

>>1699
Сырно посмотрела, что 2.0 фреймворк не подходит для Сильнейшей и обновила до 3.5, что, собственно и решило проблему.

Тонны добра и нефти уже вышли в твоем направлении, анон. Спасибо за программу!

>>В какую папку по умолчанию файлы должны сохраняться?
В текущюю.

>>А исходники собираться не хотят, не хватает Newtonsoft.Json - чего это за компонент?
Вот здесь берётся http://json.codeplex.com/releases/view/37810

>>1690
Анон, ты лучший, спасибо за прогу.
А не мог бы ты, для полного счастья, выложить исходники новой версии?

Бампаю тред с вином

>>1690
Напиши уже в эбауте Anonymous. Думал, ты опечатался, а уже бля во второй версии...

>>1714
Может, это он так выделиться решил.
Кто смотрит в about самого кроме автора?

>>1715 Я смотрел, например.

>>1690
Ошибка инициализации приложения. ЧЯДНТ??

Сделай лучше загрузку манги, со всяких так мангафоксов етк. Алсо, писал когда-то даунлоадер обоев с минитокио, впринципе могу поделиться.

>>1718 Сам бы и написал.
не ОП

>>1718
Пиши загрузчик для своих нужд
@
Делись кодом
@
Участвуй в создании многофункционального лаунлоадера made by iichan/dev/

>>1721 Внезапная идея же. Расширять функционал путем добавления скриптов в папочку engine. Программа, сама по себе, будет инкапсулировать работу с интернетами, файловой системой и проч., в то же время предоставляя юзер-френдли интерфейс (что отсутствует у реализации классическими скриптами). Собственно дискач.

>>1722
Собственно нужно брать готовый скриптовый движок, готовый модуль для работы с сокетами. Все это скомпоновать в своё нечто, которое будет обрабатывать добавляемые скрипт-модули для скачки чего-то откуда-то по такому-то алгоритму. Только здесь самое главное - попытаться обойтись без велосипедизма.

>>1722
>>1725
В перлокачалке я пришел к решению писать разные парсеры на разные сайты, которые в итоге должны возвращать структуру, похожую на жсон данбуры, т.е. расширять функциональность можно добавляя новый парсер.
Мне кажется реализовывать скриптовый язык для качалки - абсолютно ненужное занятие. Достаточно добавить возможность описывать структуру источников.

>>1726 Боже упаси, создавать свой скриптовелосипед. Просто меня очень привлекает сама идея: екзешная ГУЕвина и папочка со схемами | скриптами, которые совершенно не интересуют конечного пользователя.

>>1727
Любишь кататья, люби и санки возить.

Нашел небольшой баг. Необрабатываемое исключение, если в пути к папке есть недопустимые символы типа : \ ? (например если использовать тег :3).
Еще не помешает для наглядности рядом с прогресс-баром писать, сколько загружено/осталось картинок.

>>1722
>Расширять функционал путем добавления скриптов в папочку engine.
Где-то я это уже видел :3

В идеале вобщем-то действительно достаточно сделать программу, которая заданным набором команд, специфичным для каждого сайта, получает набор ссылок на картинки, по тегам галереи, по ссылке на тред борды, имени пользователя девиантарта/пиксива. проблема в создании интуитивно понятного языка команд для обработки сайта, чтобы даже человек, с программированием не сильно знакомый )но не обделенный мозгами) мог нписать обработку под нужный ему сайт. У меня всё застопорилось на этом пункте...

Програмист-куну BooruChan большое спасибо. Если не слишком нагло, можно скриптик rule34 для него?

See the end of this message for details on invoking
just-in-time (JIT) debugging instead of this dialog box.

* Exception Text
System.FormatException: Input string was not in a correct format.
at System.Number.StringToNumber(String str, NumberStyles options, NumberBuffer& number, NumberFormatInfo info, Boolean parseDecimal)
at System.Number.ParseInt32(String s, NumberStyles style, NumberFormatInfo info)
at BooruChan.CBooruXMLDownloader.ParseXMLBooruResponse(String strXML)
at BooruChan.CBooruXMLDownloader.DownloadStringCallback2(Object sender, DownloadStringCompletedEventArgs e)
at System.Net.WebClient.OnDownloadStringCompleted(DownloadStringCompletedEventArgs e)
at System.Net.WebClient.DownloadStringOperationCompleted(Object arg)


Loaded Assemblies
mscorlib
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/Microsoft.NET/Framework/v2.0.50727/mscorlib.dll
----------------------------------------
BooruChan
Assembly Version: 1.0.0.0
Win32 Version: 1.0.0.0
CodeBase: file:///c:/Anime/ChanS/BooruChan/BooruChan.exe
----------------------------------------
System.Windows.Forms
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Windows.Forms/2.0.0.0__b77a5c561934e089/System.Windows.Forms.dll
----------------------------------------
System
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System/2.0.0.0__b77a5c561934e089/System.dll
----------------------------------------
System.Drawing
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Drawing/2.0.0.0__b03f5f7f11d50a3a/System.Drawing.dll
----------------------------------------
System.Core
Assembly Version: 3.5.0.0
Win32 Version: 3.5.21022.8 built by: RTM
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Core/3.5.0.0__b77a5c561934e089/System.Core.dll
----------------------------------------
Accessibility
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/Accessibility/2.0.0.0__b03f5f7f11d50a3a/Accessibility.dll
----------------------------------------
System.Configuration
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Configuration/2.0.0.0__b03f5f7f11d50a3a/System.Configuration.dll
----------------------------------------
System.Xml
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Xml/2.0.0.0__b77a5c561934e089/System.Xml.dll
----------------------------------------

JIT Debugging *
To enable just-in-time (JIT) debugging, the .config file for this
application or computer (machine.config) must have the
jitDebugging value set in the system.windows.forms section.
The application must also be compiled with debugging
enabled.

For example:

<configuration>
<system.windows.forms jitDebugging="true" />
</configuration>

When JIT debugging is enabled, any unhandled exception
will be sent to the JIT debugger registered on the computer
rather than be handled by this dialog box.

/////////////////////////////////////////////////////////////
Или делай, чтобы загрузку списка картинок можно было разделить на части, либо делай нормальную загрузку o9k списка.

Разработчик BooruChan, большое тебе спасибо, но я нашел один баг.
Если в тегах присутствует спец символ запрещенный для названия каталога, то он не качает.
Нашел глюк при попытке скачки по тэгам типа: "pool:XXX"
Можно ли это исправить?
Если тебе лень, то я могу и сам в исходниках поковыряться, но я не очень знаком с Сишарпом.

>>1781
Блджадж, не успел исходники скачать, файл уже удален.
Кто-нибудь выложите исходники, пожалуйста!

Кто-то говорил о скрипте для закачки с мангафокса. Выкладываю свой быдлокод на Python 2.5.
Надеюсь, это заработает не только у меня и принесет кому-нибудь пользу.
http://rghost.ru/1242241 - py-скрипт.
http://rghost.ru/1242258 - exe для винды.
В комплекте идёт README с кратким введением. Скрипт понимает ключ -h.

>>1784
Украду, как вернусь к своей качалке.

>>1784
>мангафокса
А он нужен? Они же каждую страницу зверски пережимают, да ещё и свой г-сайт внизу приписывают.

>>1791
Ну, сайт, предположим, не везде приписывают. А вот сжатие мне тоже не нравится.
Если есть варианты получше, могу попытаться сделать движок расширяемым и запилить их поддержку.

Да, был найден баг. Тайтлы с делением по томам скрипт не воспринимает. Скоро поправлю и постараюсь
добавить поддержку деления по томам.

1784-кун

Mangapokes 0.5
urllib вместо httplib, Python 2.6 вместо Python 2.5, обход ошибок сети, повторение попыток при ошибках, поддержка томов.
http://rghost.ru/1298770 - any.
http://rghost.ru/1298781 - win.

Такие дела.
1784-кун

А можно бору чан под линукс? Очень-очень надо.

>>1815

Вино не решает всех проблем же.
Эжой мой лог.
(/home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe:9817): WARNING : Could not load file or assembly 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089' or one of its dependencies.

(/home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe:9817): WARNING : Missing method EnableVisualStyles in assembly /home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe, type System.Windows.Forms.Application

Unhandled Exception: System.IO.FileNotFoundException: Could not load file or assembly 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089' or one of its dependencies.
File name: 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089'

>>1822

>>1815
Сх, перл, питон, выбирай любой и пиши к нему морду. Я сейчас в состоянии легкой меланхолии, и настроения ддосить данбуру своей качалкой нет, как появится, и реализую стабильную работу данбуры, буду заниматься написанием к ней морд.
Что-нибудь безумное на ncurses, или tk, лол.

>>1823
Как-то уж не адекватно.
>>1824
Кодить не умею, иначе не просил бы. Буду ждать версии под линукс и шаманить над версией под винду.

>>1825

>линукс
>Кодить не умею

штоу.

>>1825
Так тебе качалку нужно или кнопочки-окошки?

>>1827
К сожалению "конпочки-окошки". Перелез на Ubuntu я относительно недавно, и к терминалу привыкнуть не успел.

>>1828 Из-за чертовой убунты линупс стал быдлоосью.

>>1887
Ты забыл сусу и мандриву.

>>1887
Сижу на генте, кодить не умею.

Может кто поможет с Rule43? Ранее пользовался Rule34_Console и списки составлялись, можно было спокойно качать файлы с определенными тэгами, но сейчас прога бесится и ни в какую не хочет работать, в лучшем случае сообщает о количестве файлов. Может есть обновленная версия или можно как-нибудь обойти этот сбой... Кодить не умею, так что по возможности максимально доступно...

Rule34_Console обнаружена ошибка. Приложение будет закрыто.
Приносим извинения за неудобства.

EventType : clr20r3 P1 : rule34_console.exe P2 : 1.0.0.0
P3 : 4a9abe36 P4 : mscorlib P5 : 2.0.0.0 P6 : 4889dc80 P7 : 2389
P8 : 66 P9 : system.argumentoutofrange

>>1782
Удваиваю запрос. Выложите кто нибудь исходники.

>>1955

Ого, моим быдлокодом кто-то пользуется. У них разметка поменялась. Как сдам курсач, обновлю.

>>2008
Програмки под NET отлично декомпилируются

>>2050
А не пиздишь ли?

Анон, а есть ли какой-нибудь способ пакетной скачки по тегам с http://macrochan.org?

капча "perl" намекает.

>>2135
Сядь и пробуй. Больше, чем ты приобретешь сам, тебе никто не даст.
Не писал десктопный софт на руби, но питон в этом плане как-то не хорош. Особенно, в плане компиляции под win(а иначе как распространять? Не заставишь же каждого поставить интерпретатор и необхдимые библиотеки). Для гуя пробовал Tk. Оно няшно, есть все необходимое для простых форм. Вот только выглядит немного вырвиглазно, и пейнт на нем не сделать, ибо canvas убогий.

Алсо, суть этого треда уже скорее "Привет, я написал очередную качалку", чем "Привет, у вас так много качалок, что я когда-нибудь напишу свою".

>>2137
Создавал тредик на соседнем чане, обсудил, попробовал, погуглил, почитал книги по языкам, пришел к выводу что таки питон.
Ruby hype is over тащем-та.

>>2132

Когда на макрочане запилят скрипт для экспорта, тогда можно будет легко скачать.

Перезалейте BooruChan, пожалуйста. И спасибо автору.
нашел-тред-в-гугле

Ну бамп же. Ну перезалейте же.

>>2209
>>2310
http://rghost.ru/1130642

>>2311
Спасибочки!

http://github.com/xeron/danbooru-ruby-grabber
http://github.com/downloads/xeron/danbooru-ruby-grabber/danbooru-ruby-grabber.zip

куй

интересно, можно ли приспособить Gelbooru downloader для загрузки с 12ch.ru?

У sankakucomplex в идеале есть API http://chan.sankakucomplex.com/help/api вот только в xml он возвращает только количество постов, хотя в json всё нормально. Возможно это сделано специально. Обидно(

>>2346

На бухте лежат 2 торрента на торренты на скачивание паков картинок с Санкаку. Так вот там, помимо картинок, лежит еще скрипт для их скачивания.
Просто, к сведению.

>>2347
Знаю, да только там раздающих нету

>>2348

Посиди подольше. Я месяц назад только скачивал (нет скрипт не сохранился).

Если кому нужно - вот еще скрипт для скачивания с данбуру и коначана:
http://pastebin.com/f595fca50

>>2349

Забыл:
python DanbooruScrape -s konachan.com [-p pic_prefix] tags

Моя перл-качалка вроде качала с санкаку. Если апи не поменялось, должно работать.
Там простое апи же было, точно такое же как у данборы, по идее у любой данбуру-качалки должно получиться.

http://rghost.ru/1130642 а возможно переименовывать файл по истинному тегу который на сайте Gelbooru, то есть всем тегам принадлежащим к картинке, а то становиться море непонятных файлов.

>>2354
Use gelbooru api, Luke. Всплывает проблема с длинными именами, правда.

Офигел от количества велосипедов в треде

Стянул с бухты скрипт для закачки с http://chan.sankakucomplex.com/ Только так и не понял, как его запустить.
http://rghost.ru/2407534

>>2420
Спасибо, посмеялся. Cмесь пхп с вгетом через парсинг страниц при наличии данбуруподобного жсон-апи - это что-то.

Разработчик Booruchan, можешь ли ты в свою прожку добавить работу с командной строкой?
например:
booruchan cirno false true true true true C:\Users\Username\Desktop 5 240
- качает сама все файлы из списка в папку?

>>2528
В треде >9000 консольных качалок. Разве booruchan не только гуем отличается?
>false true true true true 5 240
Что это за безумие? Что значат все эти булы и цифры? Если делать параметры, то по человечески -параметр значение, ну или windows-way вроде /параметр значение.

>>2529
это содержимое config файла
Аргументы, которые передаются в argv разделяются пробелом, насколько я знаю. В прочем, не это важно.
Насчет качалок консольных в треде. Я не буду компилиривовать что-то сам (не программист, сред разработки ни одной не имею). Также, не буду трахаться с запуском линуксовских прог. Подавайте мне нормальный экзешник с рабочей прогой. Да, такое я быдло.
А так как booruchan-качалка в принципе уже разработана, то не вижу проблемы в добавлении в неё возможности передачи аргументов через кс.

>>2530
>>1166

Я наверно что-то делаю не так, но с данбору и с гелбору фаилики сохраняются не под именем набора тегов, а с каким то левым хэшем. В чем моя проблема?

>>2637
алсо, версия пикрелейтед

Апдейт 0.20.18 граббера данборы и гельборы на позиксных шеллскриптах: http://code.google.com/p/danbooru-v7sh-grabber/downloads/list
За примерами использования смотрите вики: http://code.google.com/p/danbooru-v7sh-grabber/wiki/Main

Теперь протестирован и работает на:

- FreeBSD 8.1
- Solaris 10 9/10
- MacOS 10.5.7
- Cygwin 1.7.7
- GNU/Linux Gentoo 2.6.35.4

>>2639
А где сорцыаа?

>>2648
Не качает с бехойми. Пичаль.

>>2648
После
witching to page 2 of 389
Не качает, пикрилейтед. Такие дела.

>>2639
Кодер бооручан, сделай так чтобы каталог по имени тега создавался без использования спец-символов.
Например на данбуре можно указать в качестве тега: "pool:837", а Винда не принимает в качестве имени каталога двоеточие.
Или выложи исходники, может я сам исправлю.

>>799
выдает ошибку при запуске из любого места, семерка
запускал от админа и в режиме совместимости - ноль эмоций

>>2804
аналогично

>>2031
выходи на связь, блеять, общественность тебя ждет-не дождется!

Скажите, какая-нибудь фигня, из выложенных итт, может качать с behoimi.org?

>>2820
Если у нее есть апи, подобное данбуре или гелбуре, то те, что работают через апи должны.

>>2822
Не совсем понял о чем ты. Конечно у нее есть айпи, как же без него в интернете, лол.

>>2831
Danbooru api: http://danbooru.donmai.us/help/api

>>2817

Выхожу на связь.
Забыл я про вас. Извините, няшки.
Вот, наклепал за 2 вечера. О багах пишите в этот тред.

>>2897
Няша, а сделай аналогичную прогу для нескольких обычных данбуру или, возможно, с настройкой на ту, которая понравится не из списка.

>>2913

Так ведь booruchan уже есть.

>>2916
О, и правда. Тогда сразу багрепорт — при просмотре из листа файлов во второй вкладке анимированный гиф показывается статичной картинкой.

Доставьте исходники booruchan или последнюю версию в тред. Если этого там ещё нет, то вот, у меня фичереквест: допустим я качаю 8к картинок. Допустим коннект фейлится и я не хочу заново выкачивать 8к, а только те, которых ещё нет у меня. Вот такая фича нужна, дайте сорцы сам запилю, или запилите, очень бесит.

>>2918
Используй wget для закачки, а после разрыва докачивай им же, но не через борочан, а прямой командой.

http://iichan.ru/b/res/1519215.html

>>2918
Lolibaka parser поддерживает докачку.

>>2936
Что-то на семёрке у меня сиё чудо не хочет идти.

>>2943
.Net 4 поставь

Кодер-куны, слезно прошу вас сделать скриптовый загрузчик для behoimi.org. Умоляю.

>>3013

СОУС!!!!

>>3017
Я не помню, что я тогда вбивал в гугль. Но ты всегда можешь поискать тинаем.

>>3017
http://danbooru.donmai.us/post/show/74247
>>3018
iqdb справляется с подобной задачей лучше.

_мимопроходил_

Это онегай тиче.

http://www.nicovideo.jp/watch/sm12745116
http://www.multiupload.com/DOHC53ULRF
pixivGetter
Скачивалка с pixiv. Не знаю японского, кто в этом разбирается?

>>3057
Без исходников, консольная, только под win. Вывод - не нужно. Их много, на самом деле, я штуки три только на питоне находил.

>>3062
Можешь доставить самую baka gaijin-friendly версию?

>>3064
Первая ссылка в гугле, например: http://nandaka.wordpress.com/2010/02/02/updated-pixiv-batch-downloader-v-20100201/

Могу доставить скачивалку для pixiv, не консольную, с тиреча, winonly.

>>3068
Давай.

>>3085

http://zipg.net/?p=GelbooruGetter
GelbooruGetter

По данным Google Translation
Скачать с http://gelbooru.com/.

>>3107
Authorization...
Not Logged
Cookie: PHPSESSID=8f2f7f184df78dbb3b7fa89d0910b37a; path=/; expires=Sun, 19-Dec-2010 18:50:37 GMT; domain=.pixiv.net
Что не так?

>>3271
Можешь спросить на тирече в /a/, где я сию программу и нашёл.

Есть такая http://files.mail.ru/CWRVGX
uni-шрифты к ней (скачать в папку шрифтов) http://files.mail.ru/M2Y5IX
Виндовая. Неторопливо, но допиливается. Бугрипурт можете делать тут.

>>3013
Вот этот товарищ. Я неистово присоединяюсь к его просьбе. Нужно, понимате. Очень. Не ради фапа окоянного, ради прогресса и самосовершенствования же.

Это даже иронично. Анимуфаг, фапающий на 3д-девушек, переодевающихся в 2д-двушек.

Движек у 3дбуры как у данбуры, но есть 2 уровня защиты: проверка юзер-агента (должно быть указано название браузера) и защита от хотлинкинга (сайт должен думать, что пикча качается по запросу с него же, а не с чужого).
Перезалил грабер, теперь еще можно грабить 3дбуру.
http://files.mail.ru/D0LQWW

>>3449
Спасибо, Стив, ты внезапно пришел и выручил. Держи мофудзи, что-ли.

>>3449
>files.mail.ru
>mail.ru

>>3452
Тебе не нравится этот сервис, Стив? Мыло, да, говно, но как почтой-то им никто и не пользуется, а как файлообменник он дает фору большинству других.

парни подскажите ,если благоразумные, какой граббер использовать для скачки всего сайта rule34.paheal.net

спасибо заблаговременно

Движек очень простой, завтра вечером запил. в имейжграбер. Я сейчас мучаюсь над е-хентай / эксхентай, вот там защита от грабинга так защита от грабинга.

Готово (е-хентай и эксхентай еще нет)
http://files.mail.ru/E6KHB4

>>3465
Если хочешь выкачать тупо все, то скачай teleport pro и настрой так, чтобы он прогнал все ссылки http://rule34.paheal.net/post/list/ и http://rule34.paheal.net/post/view/ начиная с http://rule34.paheal.net/post/list/1 и качал все .jpg/jpeg/png/gif с http://rule34-images.paheal.net/_images/* .
>>3468
Грабер только по тэгам умеет воровать.

благодарствую стив
телепортом побывал(еще picaloader тоже использовал),но что-то не жует все ,так как скачивает еще и уменьшенные изображения, несмотря на то что в настройках стоит мин размер ,да и сам rule34 что-то в последнее время то падает то тормозит,
а за софтинку что подкинул спасибо большое

кстати охрененую тему подняли с сайт рипами

>>3468
Всё правильно делаешь, держи печеньку.

Не хотелось создавать отдельный тред, так как рилейтед.
Не мог бы кто это https://addons.mozilla.org/ru/firefox/addon/danbooru-downloader/ перепилить под линукс? Там совсем простая проблема - в путях используются обратные слэши. Я не программер, сам пробовал копаться, но место, где оно вставляет обратный слэш между заданным путём сохранения и файлнэймом не нашёл.

обновил грабер же, теперь можно и е/эксхентай грабить.
http://files.mail.ru/W91K8J

>>3502
Теперь чаще захожу в Настройки.

А добавьте, кто-нибудь, ещё вот этот линк. Буду благодарен.
http://idol.sankakucomplex.com/

>>3504
Получите, распишитесь!
http://files.mail.ru/3FX4F3
Так же пофиксил баг для версий ниже Vista, не прорисовывалась таблица. Странно, что никто не заметил... или промолчал.

>>3503
муза же :3

>>3505
Извините, а вы можете DeviantArt добавить?

>>3510
Как раз над ним сейчас работаю.

Собсно, запилил девиантарт
http://files.mail.ru/U1YT5Q
но там есть одна гадость, нельзя за 1 запрос получать более 1000 результатов. Это никак нельзя обойти. Поэтому добавил поле category, с помощью которого можно разбить процесс закачки большого числа пикч на части. В него подставляется часть url, отвечающая за категорию (напр. "digitalart/drawings/").

>>3513
>нельзя за 1 запрос получать более 1000 результатов
А зачем? Ну напиши в два запроса, разницы-то. Вообще, это все суется в треды, и ты получаешь сразу все за время одного запроса.

>>3514 Зайди на девиантарт и посмотри, где ты ошибся. Под одним запросом имеется ввиду один набор ключевых слов. Для одного и того же набора нельзя получить больше 1000 результатов, т.к. при перелистывании на 1000+ итем получаешь результат: Sorry, deviantART does not serve more than 1000 results for any query. (You asked for results starting from 1000).

стиви объясни убогому как скачивать правильно с помощью teleport pro с rule34
1-использую teleport wizard
2-выбираю search a website for file of a sertain file
3- вбиваю http://rule34.paheal.net/post/list
4-устанавливаю глубину (где-то 200 или сколько?)
5-отмечаю нужные файлы (jpg и тд)+устанавливаю нужный размер

и качает при этом херню что очень прискорбно
можешь уточнить что еще надо настроить
спасибо

>>3528
хинт! Открываешь парочку понравившихся пиков, фапаешь на них, кончаешь. Потом желание качать сразу пропадает. ?? ПРОФИТ!!!

>>3528

для начала соглашусь с >>3530 . Я просто не знаю, для чего может возникнуть необходимость качать ВСЕ пикчи.

А по сути ситуация выглядит так: "купил телевизор, включаю, а он каналы не показывает!" когда надо бы еще их сначала настроить.
во первых в inclusions надо добавить http://rule34.paheal.net/post/view/<звездочка>;http://rule34-images.paheal.net/_images/<звездочка>;
Далее в project -> project proporties надо удалить text чтобы качались только пикчи, в exclusions в первом поле добавить
http://rule34.paheal.net/post/list/<звездочка>;http://rule34.paheal.net/post/view/<звездочка>
в последнем поле добавить
<звездочка>/_thumbs/<звездочка>
При такой настройке будут качаться ТОЛЬКО большие пикчи из галереи, и никакой рекламы и тамбов.
В противном случае ставь download everything, и в project -> starting address proporties просто поставь галочку or withing the path of links to other server. Скачается абсолютно все, и будет у тебя точная копия сайта на винте со всеми пикчами без заморочек.

>>3505
Огромное спасибо.

Пофиксил баги, связанные со скачкой с девиантарта, так же сделал возможность загонять сразу список категорий, а так же возможность сразу раскидывать пикчи по папкам с именами тех категорий, в которых они фактически находились.

Следующим шагом будут бассейны (ака пулы) для бур.

тьфу, ссылку забыл
slowfix. Внезапно заметил баг в загрузке новой версии сохраняемых файлов.
http://files.mail.ru/1J7K4P

чет с Gelbooru не качает... инструкция к сию творению есть? на Gelbooru он API использует?

с sankaku все качает... но тэги не сохраняет... такя функциональность вообще есть?

весь тред не читал.... так пробежался быстро... не нашел ответов... может какоенить описание к проге напишеш?

>>3548
В этом треде было 9000 качалок. Лучше указывать, какую ты имел в виду.

>>3548
С гелбуры не качал из-за бага в XML-парсере, как раньше столько времени работало ума не приложу, пофиксил.
API не использует, я использую пользовательский инерфейс скорее принципиально, т.к. прога допиливается для ограбления ресурсов с любыми типами доступа. Так проще потом находить и использовать общие схемы.
С санкаку не понимат, почему у тебя не сохраняются тэги, у меня норм. Мб что-то фиксил позже. Тэги не сохраняются для пиксива, е/эксхентай и девиантарта из-за специфики их работы, сложно выделять... наработки имеются, может в будущем.
Прога изначально GUI, не думаю, что используемые 5 кнопок имеет смысл описывать... хотя, в принципе, не сложно. Добавил в архив вместе со свежим билдом.
http://files.mail.ru/3SJNOR

Кстати, у всех за ранее прошу прощения из-за внезапно появляющихся багов. При очень больших перепилах в принципе работы проги это случается не неизбежно, т.к. не могу за раз проследить все нюансы. Поэтому если видите ошибку, то пишите, я сразу пофиксю. Другой вопрос, что вы можете даже не заметить, что что-то на самом деле сильно изменилось.

)) быстро однако поправил... спасибо!
а под сохранением тэгов я имел ввиду что они с файлом не сохраняются вместе... (в свойствах пикчи их у меня по крайней мере не видно..)
я для грабанья всего и вся обычно плагин к фоксу использую - ImageHost Grabber

>>3551
А, вот что ты имел ввиду. Хочу реализовать, но эта фишка возможна только для JPEG (другие форматы не поддерживают метаданных), поэтому пока не трогаю. Но все же в планах на реализацию.

я тут подумал немножко... в файл метаданные встраивать немного нето... можно сделать просще да и удобнее для последующего просмотра:
сохранять тэги в имени файла! типа:
e9436313c51275b5d28d0f3e566529f5.png
станет
e9436313c51275b5d28d0f3e566529f5 black_hair black_thighhighs boots cityscape kemonomimi nanako_(shirogane_usagi) original scarf shirogane_usagi short_hair sitting solo tail thighhighs water_bottle yellow_eyes.png
в тойже висте встроеным поиском по тэгам вытащится все что надо...
так божно и весь борд слить...
...и релизовать думаю просто, ведь тэги ты уже вытаскиваеш!

>>3572 Собсно встраивание в jpeg я уже сделал, с остальным форматами, как я говорил, болты (для вин xp и ниже там еще есть решение, еще попробую фотошоповский xmp). А про твой вариант почему-то не подумал, хорошая идея! Обязательно реализую.

... мне тож не сразу эт пришло... уже свой велосипед изобрел и собирать начал! и вдруг на!..
+ ты не мог бы также добавить чтоб прога для скачки тэга не требовалa... т.е. кач по http://gelbooru.com/index.php?page=post&s=list
чтоб работал... хочу весь имиджборд потихоньку слить... всегото 40559 страниц по 25 пикчей на сегодня )))) блин... больше милиона пикчей...

+ можеш еще добавить выбор НАЧАЛЬНОЙ и КОНЕЧНОЙ страницы для скачки? т.е. качаем страницы с 10 по 120...

...блин... с тэгами в имени не все так просто оказалось... для некоторых пикчей имена слишком длинные... а резать тэги - теряется весь смысл... придется мне всетаки самому какуюнить хрень написать...
есть идея присвоить каждому тэгу уникальный четырехзначный код... и записывать их в в имя файла...

....хотя это тоже не вариант... может оставлять тока некоторые "несущие" тэги а остальные нах?...

>>3575
От этой идеи я отказался, много раз просили, но противоречит принципу программы. Это не нужно. Я не знаю, то-ли жадность какая-то безграничная, то-ли еще что...
>>3576
Придется хранить запросные структуры для каждой борды, а я даже самый начальный поисковый запрос пытался обойти. При поиске по тэгу это не имеет смысла. Обычно процесс выглядит так: получил список пикч -> сохранил -> начал закачку. Надоело качать: отменил -> сохранил текущие результаты. Решил докачать: загрузил лист -> начал качать, закачка сразу начинается с последней незагруженной пикчи (т.е. той, на которой сохранилась галочка, т.к. с скачаных галочка автоматически снимается).
Если хочешь обновить список можешь либо сделать quick refresh для старого (в него автоматически добавляются самые свежие пикчи до тех пор, пока не попадется совпадение), либо сделать фулл рефреш и начать закачку с пропуском совпадений.

>>3578
Как раз хотел написать, нельзя в имени больше 128 символов использовать :3
>>3579
И как ты выделишь "несущие"? Разве что соответствующие фильтру количества тэгов...

>>3582
это в IHG реализовано... думал несложно сюды добавить...
>>3583
...сам незнаю как сделать лучше... если сохранять тэги гдето кроми имени файла то потом отбор по ним не так просто реализовать будет...

в ванде ограничение на имя файла/папки 255 символов... но!: это не ограничение длинны пути! можно сделать так что если не убираемся в 255 то создать папку и часть тэгов в нее... нехватит одной папки - хоть 20 ))) и уже в нее файл! хотя...
лан.. пойду сам писать свой велосипед!

Новый релиз, поправил скачку с эмоуты, у них там все доменные имена поменялись, и тамб-серверов туча стала, да и сам движек чуть изменился.
http://files.mail.ru/KA3JRG

>>3605
Стиви, /r/ функцию сворачивания в трей у данной полезной программы. А так, очень хорошая программа, ты — молодец.

>>3622
Хорошо, что напомнил, ото я совсем забыл про это. В след. релизе будет.

>>3605
C http://behoimi.org/ скачивает пикрилейтед.

Новый грабер:
http://files.mail.ru/JQBFRK

-пофиксил сосиски с бехойми;
-пофиксил зацикливание закачки с девиантарта при указании более 1й категории, а так же проблему с пробелами в тэгах;
-прикрутил трэйикон.

хм чет с гелборы не грузит ничего - в статус баре парсится а картинки в таблицу не идут, теги стандартные, с их сайта

>>3663
Во время загрузки в таблице ничего и не показывается чтобы лишний раз не нагружать и не перераспределять память. Надо дождаться окончания загрузки.
Вообще в будущем планирую полностью перепилить таблицу чтобы отрисовывала данные напрямую из массива данных, просто возни много.

хм, а если отменить, в теории таблицу нуно заполнить :), а вообще кул, сам собирался написать чето подобное, но времени не было, хотя планы еще остались :D

>>3665
Задумка такова, что ты можешь работать только с полными (завершенными) запросами, т.к. их можно потом сохранять и обновлять "на горячую" (дополнять новыми пикчами по данному запросу по-быстрому, т.е. до всречи первого совпадения). Это не баг, это фича ©
Да, кстати, перезалил грабер, был глюк при скачке с е/эксхентая.
http://files.mail.ru/7MHO76

Заливаю последний билд, т.к. следующий будет уже не скоро всвязи с перепиливанием управления потоками почти под чистую. Добавил защиту от запуска нескольких копий (включается в настройках).
http://files.mail.ru/CMUX8W

Снова вышел на работу, 8mbit интернеты. Для теста поставил 10 потоков и офигел от количества критов, хоть и успешно пропускаемых. Есть над чем работать.

>>3679
>.exe не нужен

>>3696
запаковано в rar, им же можешь распаковать, если не хочешь использовать sfx. exe нужен тем, у кого нет архиватора (да, такое тоже бывает).

Use the AutoIt 3, Luke!

>>3697
Заюзай 7z же, блджад!

>>3773
Какая разница-то?

>>3774
Знал бы ты, как я хочу начать писать капсом, что пользователи windows - все поголовно - люди, систематически совершающие воровство, и не видят разницы между проприетарной поделкой, которую украли без зазора совести, и свободным открытым софтом, который работает ничуть не хуже, а порой даже лучше. Даже знак ms в капче меня подбадривает. Но я все же сдержусь.

У меня лицензионная Windows 7 Professional и я ничего не воровал. Попробуй сказать это мне.
с:винвдовс