Глобальная Авантюра  
ФОРУМ
главное меню
  1. >
  2. Форум >
  3. Технический раздел >
  4. ветки обсуждения в архиве для локального просмотра + программа фильтр

ветки обсуждения в архиве для локального просмотра + программа фильтр

 2 След→
 
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №68564
Дискуссия 187 2 +0.00 / 0 +0.00 / 0

На этой ветке лежат ссылки на архивы веток обсуждения с сайта.
Часть предварительно отфильтрованные.
А часть в "сыром" виде и фильтр для их обработки

Это фильтр для оффлайнового просмотра топиков с форума сайта avanturist.org
http://narod.ru/disk/5440278000/avantfilt.rar.html
размер 18 335 байт
Версия номер 0.99

Архивы для фильтра смотреть в этой ветке.

Скрипт берет сохраненные на диске страницы форума,
фильтрует и сохраняет обрезанную страницу.

Сейчас работает следующее:
- черный\белый фильтр по никам пользователей.
- фильтры по рейтингу автора и рейтингу сообщения. тоже черный/белый
- черный фильтр для конкретных сообщений (по номеру сообщения).
- функция поиска сообщений в топике по регулярным выражениям
- меняем ссылки на картинки на локальные файлы
- умеет править ссылки на цитаты

Все написано на Perl! Так что порядок установки следующий:

1 Скачать скрипт
2 Скачать реализацию языка Perl
Скрипт писал под версию ActivePerl v5.8.8
Пользуйтесь версиями не ниже этой.
Для простотым желательно качать вариант пакета с установщиком.
3 Скачать архивы ("сырые") с интересующими топиками
4 Прочитать документацию и следовать ее указаниям

сохранять страницы с сайта можно вручную, фильтру все равно.
Требование: Каждый топик=отдельный каталог

Картинки аватары и смайлики с форума
http://narod.ru/disk/5440480000/pictures1.rar.html
размер байт 749 647

Тоже самое и плюс к нему картинки из сообщений, выложенные
на radikal.ru
http://narod.ru/disk/5440479000/pictures.rar.html
размер байт 14 714 938
Отредактировано: logovaz - 20 февраля 2009 23:10:14
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №68818
Дискуссия 175 0 +0.00 / 0 +0.00 / 0

В этом посте только предварительно отфильтрованные ветки, готовые для просмотра!

Еще в эту ветку Senya перенес свои архивы, смотрите далее по странице.

В этом архиве только сообщения Авантюриста в ветке
"Мировой экономический кризис"
По состоянию на 21 час 5 декабря.
топик скачивался постепенно, в несколько приемов.
фильтрация делалась роботом. по нику автора сообщения.
Пустые страницы означают, что на этой странице топика нет ни одного сообщения от Авантюриста.
архив большой, разбит на части. общий размер 1139206 байт
http://narod.ru/disk/4206462000/crisis-avanturist.part01.rar.html
http://narod.ru/disk/4206463000/crisis-avanturist.part02.rar.html
http://narod.ru/disk/4206464000/crisis-avanturist.part03.rar.html
http://narod.ru/disk/4206465000/crisis-avanturist.part04.rar.html

"А как же оно тикает?"
http://narod.ru/disk/4185118000/kaktikaet.zip.html
размер файла 1151930 байт 28 страниц по состоянию на 04.12.2008

---------------
"Экономический и финансовый ликбез" 21страниц размер файла 191752 байт
http://narod.ru/disk/4218689000/EconLikbez.rar.html

"FAQ или сборник основных идей" 5страниц размер файла 128611 байт
http://narod.ru/disk/4218688000/FAQsboridey.rar.html

архивы по состоянию на 06.12.2008
никакие сообщения не удалялись.

---------------
Отредактировано: logovaz - 12 апреля 2009 16:11:37
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №68867
Дискуссия 157 2 +0.00 / 0 +0.00 / 0

Архивы для фильтра!
обновлено 09.03.2009
Внимание! В этих архивах страницы форума в том виде, в котором вы можете сами их получить если из броузера
нажмете "Сохранить как...." и сохраните в чистый html файл!
Для просмотра этих архивов рекомендую использовать мой скрипт

Великая Депрессия II
Это ветка есть копия всех трех веток с Рос-балта (вся ветка)
http://narod.ru/disk/5349267000/VD2depress.rar.html
размер 10 644 867 байт

Мировой экономический кризис (вся ветка, по состоянию на конец января)
http://narod.ru/disk/5349437000/CRISIS.rar.html
размер байт 11 605 620

Мировой экономический кризис (продолжение)
страницы 1.. 121 размер байт 1 482 171
http://narod.ru/disk/5349235000/crisis_top2.rar.html

"...плюс-минус газификация всей Европы"
страницы 1.. 109 размер байт 1 060 204
http://narod.ru/disk/5350426000/GazifEvr366.rar.html

Форум > Пользовательские темы > Грузинский гондурас.
страницы 1.. 536 размер байт 4 226 800
http://narod.ru/disk/5349319000/GruzinGonduras.rar.html

Украина и украинско-российские отношения
страницы 1.. 835 размер байт 7 272 657
http://narod.ru/disk/5350615000/UkrRoss.rar.html

-----

"Перспективы развития России" от 17-02-2009
страницы 1..67 размер байт 710539
http://narod.ru/disk/5827057000/perespekt.rar.html

"Современные российские ВС" от 17-02-2009
страницы 1..865 размер байт 7623944
http://narod.ru/disk/5827135000/VSRUS.rar.html

"Новая парадигма" от 20-02-2009
Страницы: 1 ... 97
Размер 1 150 243 байт
http://narod.ru/disk/5929306000/novayaParadigma.rar.html

"Рекомендации правительству" от 20-02-2009
Страницы: 1 .. 18
Размер 290854 байт
http://narod.ru/disk/5929207000/rekompravit.rar.html

--------
обновление от 08.03.2009

Мировой экономический кризис (продолжение) от 08.03.2009
страницы 1.. 282 размер байт 3 609 081
http://narod.ru/disk/6428120000/crisis358.rar.html

Как оно тикает
страницы 1.. 44 размер байт 530324
http://narod.ru/disk/6467153000/kaktikaet.rar.html
Отредактировано: logovaz - 19 мая 2009 21:10:47
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №68870
Дискуссия 150 1 +0.00 / 0 +0.00 / 0

зарезервировано
Отредактировано: logovaz - 20 февраля 2009 22:55:21
+ 0.00 / 0
  Senya
   
   
Senya   Россия
50 лет

Слушатель

Карма: +3,744.73
Регистрация: 20.11.2008
Сообщений: 16,454
Читатели: 34

Глобальный Модератор
 
Я могу сделать дополнительный архив с картинками форума: смайлики, автары, иллюстрации размещенные на других сайтах. И выкладывать сохраненные страницы форума так, чтобы эти картинки не качались из инета. Надо? Нет?

Думаю будет полезно. Нельзя гарантировать жизнь и доступность сайтов с картинками через пару лет. Как сегодня мертвы многие ссылки на росбалт в старом архиве.
"Иван Грозный помещает на рабочий стол полученный от хана ярлык."(с) Не моё.
+ 0.00 / 0
  York
   
   
York  

Слушатель

Карма: +2.06
Регистрация: 14.03.2008
Сообщений: 537
Читатели: 0
 
Тред №69230
Дискуссия 182 3 +0.00 / 0 +0.00 / 0

logovaz, а Вы можете выложить архив с не обработанной веткой МЭК (другие ветки тоже был бы рад видеть в таком виде)? Было бы вообще замечательно, если бы Вы выложили скрипт для обработки скачанных веток .

P.S. Посмотрел отфильтрованную МЭК, похоже что кто-то целенаправленно минусовал Авантюриста, т.к. все нейтральные сообщения имеют рейтинг -3/2, может быть это был скрипт.
[url=http://www.avanturist.org/forum/index.php?topic=196][b][u]Патч к форуму[/u][/b][/url] (userjs) для [b]Opera, Firefox[/b] и [b]Chrome[/b]: переход на стр. темы по её №, длинные ссылки не растягивают страницу, [b]фильтрация[/b] сообщений, простое [b]фо
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №69447
Дискуссия 146 0 +0.00 / 0 +0.00 / 0

зарезервировано
Отредактировано: logovaz - 20 февраля 2009 22:56:28
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
logovaz, а Вы можете выложить архив с не обработанной веткой МЭК (другие ветки тоже был бы рад видеть в таком виде)? Было бы вообще замечательно, если бы Вы выложили скрипт для обработки скачанных веток .

P.S. Посмотрел отфильтрованную МЭК, похоже что кто-то целенаправленно минусовал Авантюриста, т.к. все нейтральные сообщения имеют рейтинг -3/2, может быть это был скрипт.

по состоянию на понедельник архив в RAR ветки МЭК имеет размер 25Мб
Постараюсь выложить в дни новоднего похмелья. наверное на рапидашару.
Скрипт нужно будет сильно почистить (от кусков автограббера)
Опять же хелп написать и это тоже не ранее НГ.
про -3/2 не понял?

Сейчас занимаюсь веткой ВД-2. Почему-то не получается выделить обсуждение деревни Гадюкино. >:(

Примерно к 2020 году по ветке ВД-2 можно будет давать студентам писать рефераты.
Документ эпохи как ни странно.
+ 0.00 / 0
  York
   
   
York  

Слушатель

Карма: +2.06
Регистрация: 14.03.2008
Сообщений: 537
Читатели: 0
 
по состоянию на понедельник архив в RAR ветки МЭК имеет размер 25Мб
Постараюсь выложить в дни новоднего похмелья. наверное на рапидашару.

У Вас не быстрый интернет? Поэтому архив можно ждать только в НГ каникулы?

Скрипт нужно будет сильно почистить (от кусков автограббера)
Опять же хелп написать и это тоже не ранее НГ.

Я буду рад скрипту пока без хелпа, как-нибудь сам разберусь.

про -3/2 не понял?

Просто замечание по результату просмотра ветки. Раньше были подозрения о наличии минусующих ботов, вот по ветке видно что прошло два человека и на каждое сообщение Авантюриста поставили по -3.

У меня английский FF 3 не распознаёт кодировку в обработанных страницах. В них стоит следующий тэг:
<meta http-equiv="Content-Type" content="text/html; charset=WIN-1251" />
Думаю, что надо кодировку поставить в windows-1251.
[url=http://www.avanturist.org/forum/index.php?topic=196][b][u]Патч к форуму[/u][/b][/url] (userjs) для [b]Opera, Firefox[/b] и [b]Chrome[/b]: переход на стр. темы по её №, длинные ссылки не растягивают страницу, [b]фильтрация[/b] сообщений, простое [b]фо
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
У Вас не быстрый интернет? Поэтому архив можно ждать только в НГ каникулы?
...
Я буду рад скрипту пока без хелпа, как-нибудь сам разберусь.

В основном острый недостаток свободного времени. И в скрипте нужно вычистить код отвечающий за грабление страниц, чтобы не устроить ненароком DDOS атаку на сайт.
В таком духе высказался Авантюрист, когда я ему отписал в личку. Правда прямого запрета на появление сортировщика в инете он не наложил

Цитата:
У меня английский FF 3 не распознаёт кодировку в обработанных страницах. В них стоит следующий тэг:
<meta http-equiv="Content-Type" content="text/html; charset=WIN-1251" />
Думаю, что надо кодировку поставить в windows-1251.

Виноват, дурак, исправлюсь! Я до этого скрипта ничего на html и perl не ваял. Сайт отдает в кодировке utf-8 но мне проще сразу делать перекодировку.
В страницах есть еще тег
<link rel="stylesheet" type="text/css" href="../../pictures/css.css"/>
вот текст css.css
.quote{ background-color: #CCFFCC;}
.quoteheader{ background-color: #CCFFCC;}

------
Сообщение конечно личное, но личные письма через сайт толком не работают. Прошу понимания модераторов.
+ 0.00 / 0
  Lyamkin
   
   
Lyamkin  

Слушатель

Карма: 0.00
Регистрация: 25.12.2008
Сообщений: 6
Читатели: 0

Аккаунт заблокирован
 
Тред №73731
Дискуссия 245 3 +0.00 / 0 +0.00 / 0

Logovaz

"А как же оно тикает?"
архив здесь:
http://narod.ru/disk/4185118000/kaktikaet.zip.html

После скачивания файл не открывается. Выдает ошибку - неожиданный конец архива.
Та же самая проблема и с МЭК.
http://narod.ru/disk/4206462000/crisis-avanturist.part01.rar.html
http://narod.ru/disk/4206463000/crisis-avanturist.part02.rar.html
http://narod.ru/disk/4206464000/crisis-avanturist.part03.rar.html
http://narod.ru/disk/4206465000/crisis-avanturist.part04.rar.html
Скачал по ссылкам все 4 файла, при разархивировании останавливается на 2-ой части (до стр. 452) - неожиданный конец архива.
Отредактировано: Lyamkin - 27 декабря 2008 00:39:50
+ 0.00 / 0
  York
   
   
York  

Слушатель

Карма: +2.06
Регистрация: 14.03.2008
Сообщений: 537
Читатели: 0
 
После скачивания файл не открывается. Выдает ошибку - неожиданный конец архива.
Та же самая проблема и с МЭК.
http://narod.ru/disk/4206462000/crisis-avanturist.part01.rar.html
http://narod.ru/disk/4206463000/crisis-avanturist.part02.rar.html
http://narod.ru/disk/4206464000/crisis-avanturist.part03.rar.html
http://narod.ru/disk/4206465000/crisis-avanturist.part04.rar.html
Скачал по ссылкам все 4 файла, при разархивировании останавливается на 2-ой части (до стр. 452) - неожиданный конец архива.

Странно, я скачивал обе ветки и у меня всё открылось нормально. Может быть у Вас старая версия WinRar или архив был повреждён при скачивании?
[url=http://www.avanturist.org/forum/index.php?topic=196][b][u]Патч к форуму[/u][/b][/url] (userjs) для [b]Opera, Firefox[/b] и [b]Chrome[/b]: переход на стр. темы по её №, длинные ссылки не растягивают страницу, [b]фильтрация[/b] сообщений, простое [b]фо
+ 0.00 / 0
  Lyamkin
   
   
Lyamkin  

Слушатель

Карма: 0.00
Регистрация: 25.12.2008
Сообщений: 6
Читатели: 0

Аккаунт заблокирован
 
Странно, я скачивал обе ветки и у меня всё открылось нормально. Может быть у Вас старая версия WinRar или архив был повреждён при скачивании?

I wonder, как архив может быть поврежден, если он скчался без проблем и до конца?
Версия РАРа вроде 3.1 полная, проблем никогда не возникало.

Хм, в чем еще может быть ошибка???
+ 0.00 / 0
  Lyamkin
   
   
Lyamkin  

Слушатель

Карма: 0.00
Регистрация: 25.12.2008
Сообщений: 6
Читатели: 0

Аккаунт заблокирован
 
I wonder, как архив может быть поврежден, если он скчался без проблем и до конца?
Версия РАРа вроде 3.1 полная, проблем никогда не возникало.

Хм, в чем еще может быть ошибка???

Скачал заново, все две ссылки таким же образом как и в прошлый раз.
Работает.
+ 0.00 / 0
  Senya
   
   
Senya   Россия
50 лет

Слушатель

Карма: +3,744.73
Регистрация: 20.11.2008
Сообщений: 16,454
Читатели: 34

Глобальный Модератор
 
Тред №80133
Дискуссия 248 6 +0.00 / 0 +0.00 / 0

Перенес из "Пользовательских", пусть все будет в одном месте.
---------------------------------------------------------------
Выборка из темы "Современные российские ВС", страницы 1-797, сообщения участников BlackShark, Dancomm, Мимохожий. Размер архива 44.16 мегабайт (картинки по возможности сохранены). В архиве MHT файлы по 50 страниц (возможны пустые).
http://depositfiles.com/files/f1emjs04y
Заранее прошу прощения у участников, чьи посты не вошли в архив, а также за возможные ошибки и недоделки.

Продолжение, страницы 796-860. Размер 4 102 078 байт.
http://depositfiles.com/files/uhnql67sv

Продолжение, страницы 860-910. Размер 7 432 476 байт.
http://depositfiles.com/files/aylwzfa1p
Отредактировано: Senya - 07 марта 2009 09:26:46
"Иван Грозный помещает на рабочий стол полученный от хана ярлык."(с) Не моё.
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №84751
Дискуссия 144 0 +0.00 / 0 +0.00 / 0

Наконец немножко разобрался с работой и выложил:

Внимание! В этих архивах страницы форума в том виде, в котором вы можете сами их получить если из броузера
нажмете "Сохранить как...." и сохраните в чистый html файл!
Для просмотра рекомендую использовать мой скрипт (см далее)

Великая Депрессия II
Это ветка есть копия всех трех веток с Рос-балта (вся ветка)
http://rapidshare.com/files/192156626/VD2depress.rar.html
размер 10 644 867 байт

Мировой экономический кризис (вся ветка, по состоянию на конец января)
http://narod.ru/disk/5349437000/CRISIS.rar.html
размер байт 11605620

Мировой экономический кризис (продолжение)
страницы 1.. 121 размер байт 1482171
http://narod.ru/disk/5349235000/crisis_top2.rar.html

"...плюс-минус газификация всей Европы"
страницы 1.. 109 размер байт 1060204
http://narod.ru/disk/5350426000/GazifEvr366.rar.html

Форум > Пользовательские темы > Грузинский гондурас.
страницы 1.. 536 размер байт 4226800
http://narod.ru/disk/5349319000/GruzinGonduras.rar.html

Украина и украинско-российские отношения
страницы 1.. 835 размер байт 7272657
http://narod.ru/disk/5350615000/UkrRoss.rar.html
Отредактировано: logovaz - 04 февраля 2009 09:28:24
+ 0.00 / 0
   
logovaz_1db502   Россия
43 года

Слушатель

Карма: 0.00
Регистрация: 20.03.2008
Сообщений: 34
Читатели: 0
 
Тред №84755
Дискуссия 138 0 +0.00 / 0 +0.00 / 0

А это фильтр для оффлайнового просмотра топиков с форума сайта avanturist.org
http://narod.ru/disk/5440278000/avantfilt.rar.html
размер 18335 байт

Архивы для фильтра смотри в этой ветке.

Версия номер 0.99

Скрипт берет сохраненные на диске страницы форума,
фильтрует и сохраняет обрезанную страницу.

Сейчас работает следующее:
- черный\белый фильтр по никам пользователей.
- фильтры по рейтингу автора и рейтингу сообщения. тоже черный/белый
- черный фильтр для конкретных сообщений (по номеру сообщения).
- функция поиска сообщений в топике по регулярным выражениям
- меняем ссылки на картинки на локальные файлы
- умеет править ссылки на цитаты (медленно и жрет память!)

Все написано на Perl.

сохранять страницы с сайта можно вручную, фильтрам все равно.
Требование: Каждый топик=отдельный каталог

Картинки аватары и смайлики с форума
http://narod.ru/disk/5440480000/pictures1.rar.html
размер байт 749647

Тоже самое и плюс к нему все картинки из сообщений выложенные на
radikal.ru
http://narod.ru/disk/5440479000/pictures.rar.html
размер байт 14714938
Отредактировано: logovaz - 04 февраля 2009 09:31:05
+ 0.00 / 0
  York
   
   
York  

Слушатель

Карма: +2.06
Регистрация: 14.03.2008
Сообщений: 537
Читатели: 0
 
Тред №85091
Дискуссия 131 0 +0.00 / 0 +0.00 / 0

Супер! Теперь будет локальная база для поиска нужных сообщений.
[url=http://www.avanturist.org/forum/index.php?topic=196][b][u]Патч к форуму[/u][/b][/url] (userjs) для [b]Opera, Firefox[/b] и [b]Chrome[/b]: переход на стр. темы по её №, длинные ссылки не растягивают страницу, [b]фильтрация[/b] сообщений, простое [b]фо
+ 0.00 / 0
  Senya
   
   
Senya   Россия
50 лет

Слушатель

Карма: +3,744.73
Регистрация: 20.11.2008
Сообщений: 16,454
Читатели: 34

Глобальный Модератор
 
Выборка из темы "Современные российские ВС", страницы 1-797, сообщения участников BlackShark, Dancomm, Мимохожий.

Продолжение, страницы 796-860. Размер 4 102 078 байт.
http://depositfiles.com/files/uhnql67sv
"Иван Грозный помещает на рабочий стол полученный от хана ярлык."(с) Не моё.
+ 0.00 / 0
   
Olegue_886dd8  

Слушатель

Карма: +0.49
Регистрация: 25.01.2009
Сообщений: 133
Читатели: 0
 
Тред №87636
Дискуссия 131 2 +0.00 / 0 +0.00 / 0

Всем привет!

А можно сделать аналогичные вырезки
(только посты Авантюриста, или сразу ветки целиком, если не сложно)
по веткам:
- Новая парадигма
- Рекомендации правительству
- Перспективы развития

Ветки важные и нужные, многим было бы полезно, мне так кажется.

Заранее спасибо!
+ 0.00 / 0
загрузить следующие сообщения: 19 из 19
 2 След→
 
НОВОСТИ ПАРТНЕРОВ

AFTERSHOCK

     
Сейчас на ветке:
Всего: 0, Гостей: 0, Пользователей: 0, Мобильных: 0
  1. >
  2. Форум >
  3. Технический раздел >
  4. ветки обсуждения в архиве для локального просмотра + программа фильтр
Глобальная Авантюра © 2007-2019 Глобальная Авантюра. Все права защищены и охраняются законом. При использовании любого материала любого автора с данного сайта в печатных или Интернет изданиях, ссылка на оригинал обязательна. Мнение администрации не обязательно совпадает с мнением авторов документов и комментариев, опубликованных на сайте.

CCBot/2.0 (https://commoncrawl.org/faq/)
Unknown

Яндекс.Метрика