HandyCache форум

Главная категория => Общие вопросы => Тема начата: DenZzz от 05 Январь 2007, 11:06:10



Название: Дефолтные списки HandyCache
Отправлено: DenZzz от 05 Январь 2007, 11:06:10
Дефолтные списки - это списки, которые идут в комплекте с HandyCache, т.е. создаются при первой установке или запуске HC.

Вот список файлов, в которых HandyCache хранит свои списки:
  • black.lst - Черный список (Ч)
  • cache.lst - Запись в кэш (З)
  • condproxy.lst - Условные прокси (У)
  • iecmd.lst - Интеграция в IE
  • mediator.lst - Серверы-посредники
  • MonFiltr.lst - Фильтр Монитора
  • noreq.lst - Не обновлять (Н)
  • onlyfromcache.lst - Только из кэша (Т)
  • proxy.lst - Безусловные прокси
  • URLF.lst - Переадресация (А)
  • URLToCache.lst - Преобразование URL (П)
  • users.lst - Пользователи
  • white.lst - Белый список (Б)


Если вы случайно испортили, затерли или заменили дефолтные списки на другие и у вас возникли проблемы с поведением HandyCache, то вам следует восстановить дефолтные списки!

Если у вас HandyCache версии 0.98b1 и старше, то закройте его и просто удалите файлы проблемных списков. При следующем запуске HC сам восстановит дефолтные списки!

Также вы можете восстановить дефолтные списки из архива, приложенного к этому посту (подходит для HandyCache версии 0.98b1 и старше)!


Название: Re: Дефолтные списки HandyCache
Отправлено: I.Dol от 05 Январь 2007, 23:48:57
А дефолтные списки изменяются в течение времени или нет??
Насколько они эффективны?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 06 Январь 2007, 00:22:28
I.Dol

Цитировать
А дефолтные списки изменяются в течение времени или нет??

Сами по себе нет, если ты их вручную не поправишь! Увеличиваются только счетчики срабатывания правил...

Цитировать
Насколько они эффективны?

Это индивидуально! Судя по отзывам, среднестатистическому пользователю этих правил должно хватить, чтобы экономить 30-70% трафика в зависимости от серфинга - если часто посещаешь одни и те же сайты, то экономия будет высокой!


Название: Re: Дефолтные списки HandyCache
Отправлено: I.Dol от 06 Январь 2007, 11:32:43
DenZzz

Есть ли статистика, с какими браузерами HC работает лучше, а с какими есть проблемы??


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 06 Январь 2007, 18:54:51
I.Dol
Теоретически ни один браузер не должен иметь никаких проблем с НС. Браузер запрашивает страницу - НС скачивает ее (или берет из кэша) и отдает браузеру, на основании кода страницы браузер запрашивает другие файлы (картинки, стили, скрипты) и рисует страницу. Для браузера работа через НС ничем не отличается от работы напрямую с удаленным сервером.
Практически же так и есть, но пару раз были сообщения от пользователей FF, что у них браузер путает картинки местами и вообще ведет себя неадекватно. Выяснить что происходит, в чем трабл пока не удалось: столкнувшиеся с такой проблемой не горят желанием заниматься диагностикой и выяснением причин. Проще говоря шум от них есть, а фактов, указывающих на вину НС, нет. У большинства же пользователей FF работа через HC не вызывает никаких проблем.


Название: Re: Дефолтные списки HandyCache
Отправлено: NothingAnother от 06 Январь 2007, 19:18:23
Rick
пару раз были сообщения от пользователей FF, что у них браузер путает картинки местами
пару раз были сообщения от пользователей FF, что у них браузер путает картинки местами и вообще ведет себя неадекватно. Выяснить что происходит, в чем трабл пока не удалось: столкнувшиеся с такой проблемой не горят желанием заниматься диагностикой и выяснением причин
Буквально на днях одного из юзеров на руборде (ZEWS), обращавшегося с другими проблемами, удалось "уговорить" поменять кое-какие настройки в Fx - говорит, с картинками наладилось...


Название: Re: Дефолтные списки HandyCache
Отправлено: I.Dol от 07 Январь 2007, 10:32:41
А нельзя ли темку новую сделать,например:

Списки от DenZzz и NothingAnother ??


Название: Re: Дефолтные списки HandyCache
Отправлено: sbudnik от 07 Январь 2007, 12:48:00
А нельзя ли темку новую сделать,например:

Списки от DenZzz и NothingAnother ??
Я за,отработанные списки от знатоков не помешают


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 08 Январь 2007, 15:19:16
А нельзя ли темку новую сделать,например:
Списки от DenZzz...

Мои списки мало отличаются от дефолтных!
Исторически так сложилось, что реклама у меня режется фильтрами браузера, а перенести все эти правила в HC пока руки не доходят... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: NothingAnother от 08 Январь 2007, 15:49:29
Если речь идёт о "чёрном" списке - считаю, что эффективность моего варианта (судя по кол-ву срабатываний) весьма высока, но по характеру моего серфинга, за полным отсутствием нада наряду с рекламой режутся и всевозможные порны, чаты и прочие тинейджерские забавы... Не желая порождать поток жалоб на HC от малосведущих, или просто не желающих самостоятельно в чём-либо разбиратся юзеров (вряд ли кто станет спорить, что таких - абсолютное большинство), "на общак" выкладывать не буду. Тому, кто осознаёт последствия - и они его устраивают, или просто знает, что делать "в случае чего", предлагаю пользоваться ПМ, дабы не возникал хвост из "и мне, и мне, и мне!.."


Название: Re: Дефолтные списки HandyCache
Отправлено: ALeXkRU от 17 Январь 2007, 02:34:03
На днях (ковыряясь с Историком) случайно заметил, что в кэш не пишутся индексные файлы страниц  ::) (я не пользую правило "кэшировать всё")
т.е. при заходе на сайт по ссылке вида:
Код:
http://handycache.ru/
страница всегда грузится из интернета по-новой  :(

Добавил в список "Запись в кэш" правило:
Код:
#4#~#True#~#.*\/#~##~#
Может, стоит его в перечень дефолтных включить? само-собой, расширив и углубив  ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Январь 2007, 08:02:24
ALeXkRU

Цитировать
Может, стоит его в перечень дефолтных включить? само-собой, расширив и углубив 


В дефолтном списке "Запись в кэш" сейчас включено только одно правило: .* (т.е. кэшировать все), остальные отключены. Судя по отзывам, это самое популярное правило у пользователей, использующих Историк и автономный режим HC!

Если правило .* чем-то не устраивает пользователя, то он всегда может добавить/изменить нужные ему правила. Все их в дефолтные списки не добавишь, да и не к чему это... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: NothingAnother от 17 Январь 2007, 08:25:24
это самое популярное правило у пользователей, использующих Историк и автономный режим HC
Никогда не использую автономный режим, и тем не менее это правило (правда, без "звёздочки" :)) у меня единственное в списке "Запись в кэш"


Название: Re: Дефолтные списки HandyCache
Отправлено: faZZ от 17 Январь 2007, 12:45:53
Никогда не использую автономный режим, и тем не менее это правило (правда, без "звёздочки" :)) у меня единственное в списке "Запись в кэш"
аналогично. почти с начала использования НС. ограничений на размер кэша нет, компутер нормальной конфигурации. пусть лучше будет все, чем когда что-то понабится, думать "да, надо было это записать"


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 17 Январь 2007, 12:49:30
Цитировать
Если у вас HC версии 0.98b1 и старше, то закройте его и просто удалите файлы проблемных списков. При следующем запуске HC сам восстановит дефолтные списки!
Т.е. теперь необязательно устанавливать сначала 096b1c ?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Январь 2007, 13:05:55
Сергей

Цитировать
Т.е. теперь необязательно устанавливать сначала 096b1c ?

В принципе, нет, если тебе не нужен отдельный пункт HC в "Пуск / Программы" и деинсталляция через "Установка и удаление программ".

Еще в setup-е лежит архив HCie.zip для интеграции в IE, но его можно и отдельно скачать!

Ничего своего HC в реестр не пишет, все дефолтные настройки и списки создадутся при первом запуске HandyCache.exe v0.98b1 и без инсталляции!


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 17 Январь 2007, 13:59:26
Отлично.
У меня сейчас HC живет на сменном USB-винте, вместе с папкой кэша :)
Надоело возиться с синхронизацией.


Название: Re: Дефолтные списки HandyCache
Отправлено: xaff от 31 Январь 2007, 00:14:04
NothingAnother скинь плз на xaff@mail.ru списки (в ПМ не смог написать кукаи просит) )) , и кто знает отчего так мало кеша идёт 1% и в мониторе постоянно видна ошибка 304 Not Modified. В чем касяк?

ЗЫ. КЭШ Браузера уменьшил до 5 мб, и поставил стирать после сессии...


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 09 Февраль 2007, 08:33:44
xaff

Цитировать
в мониторе постоянно видна ошибка 304 Not Modified. В чем касяк?

Это не ошибка! Об этом читай в теме: "Низкий процент экономии" (http://handycache.ru/component/option,com_smf/Itemid,10/topic,63.msg995/#msg995). Там же можешь прочесть о том, что влияет на значение процента экономии...


Название: Re: Дефолтные списки HandyCache
Отправлено: elsinor от 22 Апрель 2007, 14:30:33
В Ч.2 " .*(/ads(s|v)| " приводит в незагрузке визуального редактора и прочих багов админки Joomla. " .*(/ads| " чинит неисправности. ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Апрель 2007, 15:12:24
В Ч.2 " .*(/ads(s|v)| " приводит в незагрузке визуального редактора и прочих багов админки Joomla. " .*(/ads| " чинит неисправности. ;)
Правило Ч.2 в "Черном списке" выглядит так:
/ad(s|v)|\.adnet\.ru|banview|banner|adriver|\dcount|bnr|bans\.|/sale|/pagead

В URL рекламы часто содержится конструкция: /adv , т.к. это сокращение от англ. advertisement , поэтому лучше было добавить визуальный редактор в Исключения к этому правилу или "Белый список"!


Название: Re: Дефолтные списки HandyCache
Отправлено: cepera_ang от 22 Апрель 2007, 20:42:21
Кстати многие странички попадают под правила если содержат слова advanced (например расширенный поиск на любом поисковике), adsl - неужели есть реклама с таким сочетанием? Я в регекспах не силен, но думаю чуть-чуть подправить надо чтобы такие сочетания не блокировались.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Апрель 2007, 20:58:52
Кстати многие странички попадают под правила если содержат слова advanced (например расширенный поиск на любом поисковике), adsl - неужели есть реклама с таким сочетанием?

Можно в исключения к правилу добавить: advanced|adsl


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 11 Июнь 2007, 15:30:41
 IMHO, дефолтное правило
#5#~#True#~#img[0-9]+\.(exs\.cx|echo\.cx|imageshack\.us)#~#\1#~#False#~#True
из списка "Преобразование URL" надо разширить:
#5#~#True#~#img[0-9]+\.(exs\.cx|echo\.cx|imageshack\.us|paintedover\.com|picsplace\.to|picoodle\.com)#~#\1#~#False#~#True
А то на днях заглянул в кеш, а там безобразия вида img*.paintedover.com (и etc) штук 500!


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июнь 2007, 18:40:53
IMHO, дефолтное правило
#5#~#True#~#img[0-9]+\.(exs\.cx|echo\.cx|imageshack\.us)#~#\1#~#False#~#True
из списка "Преобразование URL" надо разширить:

Сколько не расширяй это правило, все равно найдутся сайты, которые под него не попадут!

Поэтому пару месяцев назад я модифицировал у себя это правило так:
#5#~#True#~#^(i(mg|mages?)?|galler(ies|y)|tbn|www)\d+\.(?!.{2,4}/)#~##~#False#~#True

Это правило отсекает на любых сайтах домен третьего или выше уровня, начинающийся на i, img, image, images, galleries, gallery, tbn, www  + цифры.
Ложных срабатываний я пока не заметил...


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 11 Июнь 2007, 20:35:46
Пожалуй пора обсудить, что следует изменить/дополнить в дефолтных списках готовящейся версии.
Например, нынешние списки не фильтруют рекламу Бегуна и Яндекс-Директ:

#4#~#True#~#(an|bs)\.yandex\.ru#~##~#
Мне пока попадались два префикса: bs и an, но может кто-то сталкивался и с другими?

#4#~#True#~#autocontext\.begun\.ru#~##~#
Возможно имеет смысл запретить весь домен бегуна включая поддомены - в отличие от Яндекса, кроме рекламы на Бегуне ловить нечего.  :russian:


Название: Re: Дефолтные списки HandyCache
Отправлено: NothingAnother от 11 Июнь 2007, 20:56:37
Возможно имеет смысл запретить весь домен бегуна включая поддомены - в отличие от Яндекса, кроме рекламы на Бегуне ловить нечего
У меня, так давно запрещён...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июнь 2007, 21:09:44
Многое можно позаимствовать в замечательных, на мой взгляд, и проверенных временем списках NapA (если автор не против).
К примеру, нынешние откровенно слабые правила 1 и 2 списка "Переадресация" заменить на
#5#~#True#~#.+redir(ect)?\.(php|cgi)\?.*?http#~#http#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 11 Июнь 2007, 21:29:16
Многое можно позаимствовать в замечательных, на мой взгляд, и проверенных временем списках NapA (если автор не против).
1. "Многое" - это не определенно.
2. На форуме руборда я предлагал NapA обосноваться у нас на форуме: обкатывать новые правила и оказывать по ним консультации здесь - он скромно отказался.  ???
3. Речь не идет о том, чтобы напихать в дефолтные списки все что только можно (а списки NapA зело велики) - нужно исходить из соображений разумного минимализма: включать/править только правила действительно общеупотребимые (которые с высокой долей вероятности будут востребованы большинством).
4. "К примеру" - только? Или есть еще "примеры"?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июнь 2007, 21:46:34
Многое можно позаимствовать в замечательных, на мой взгляд, и проверенных временем списках NapA (если автор не против).

Списки NapA - это отдельная песня! Некоторые его правила довольно агрессивны и часто создают проблемы пользователям, блокируя лишнее, о чем регулярно появляются сообщения на ру-борде и в гостевой на его сайте! Хорошо хоть ошибки часто правятся...

HC себе позволить такого не может, т.к. дистрибутив обновляется редко! Поэтому дефолтные списки HC должны быть максимально выверены и избавлены от ложных срабатываний!


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июнь 2007, 21:47:04
Речь не идет о том, чтобы напихать в дефолтные списки все что только можно (а списки мумрика зело велики) - нужно исходить из соображений разумного минимализма: включать/править только правила действительно общеупотребимые (которые с высокой долей вероятности будут востребованы большинством).
В общем и целом - разумеется. Только нынешний Черный список НС тоже содержит много частностей. И они его, имхо, не портят. Надо всем нам глянуть на количество срабатываний тех или иных правил (как в дефолтных списках, так и в списках NapA). Наиболее частые внести в дефолтный список, неудачные - исключить.
Списки NapA - это отдельная песня! Некоторые его правила довольно агрессивны и часто создают проблемы пользователям, блокируя лишнее, о чем регулярно появляются сообщения на ру-борде и в гостевой на его сайте! Хорошо хоть ошибки часто правятся...

HC себе позволить такого не может, т.к. дистрибутив обновляется редко! Поэтому дефолтные списки HC должны быть максимально выверены и избавлены от ложных срабатываний!
Согласен.
"К примеру" - только? Или есть еще "примеры"?
Есть.
В списках "Только из кэша"/"Не обновлять"
#4#~#True#~#[/=](get|view)?(.*_)?(images?|img|pic)(preview)?[.&]#~##~#
Под это правило попадает значительное количество рисунков, не определенных расширением файла. (правило 3 дефолтного списка Т можно при этом убрать).

В списке "Переадресация" правила декодирования правильно будет реализовать в предложенном DenZzz (http://handycache.ru/component/option,com_smf/Itemid,10/topic,488.msg4430/#msg4430) виде.


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 11 Июнь 2007, 22:31:00
Пожалуй пора обсудить, что следует изменить/дополнить в дефолтных списках готовящейся версии.

Почему бы не дополнить дефолтные списки, правилами из шапки топика "Написание правил по заявкам"?, добавив правила для касперского, аваста и т.п.
 IMHO, 9 пользователям из 10 не понадобится, а кому-то одному не придётся лишний раз заморачиватся, ведь дефолтные списки нужны для того, чтобы поставить НС изабыть о нём. (с точки зрения домохозяйки :) )


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 11 Июнь 2007, 22:46:36
IMHO, 9 пользователям из 10 не понадобится, а кому-то одному не придётся лишний раз заморачиватся
Пожалуй, хотелось бы иметь в дефолтных списках правила исходя из обратного расчета: 9 понадобится, и только одному нет.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июнь 2007, 23:11:44
Думаю хорошо, если списки будут максимально всеобъемлющими. Иначе ими мало кто реально будет пользоваться. Дефолтный Черный список пропускает огромное количество рекламы, счетчиков, tracker-ов и пр. Боюсь, я не променяю на него Черный список от NapA, которым режется 99% ненужного мне контента, в т.ч. редко встречающегося. Есть мнение, что так же поступит большое число пользователей.
А чтоб сделать списки всеобъемлющими, надо много труда вложить. Быстро, имхо, это сделать не получится.
Rick
Может, повторно предложить автору взять его списки за основу? И вместе с ним их публично развивать?


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 11 Июнь 2007, 23:39:25
Думаю хорошо, если списки будут максимально всеобъемлющими.
Для большинства новых пользователей правила и так как китайская грамота. Если бы было поле "комментарий" разъясняющее что делает то или иное правило, новый пользователь мог бы не вникая в само правило включать/отключать строки правил по своим нуждам отталкиваясь от описания правила.
Сейчас же обилие правил непонятных какое-что-для чего создаст только еще бОльшие проблемы в освоении программы. Поэтому и не нужно/вредно пытаться впихнуть в списки правила по принципу "а вдруг пригодятся?" - новичок и так не в состоянии включить/выключить то, что ему нужно: он просто не понимает, что какое правило означает и нафига вообще нужно. Считаю, что на данный момент нужно исходить из таких исходных данных.

Дефолтный Черный список пропускает огромное количество рекламы, счетчиков, tracker-ов и пр. Боюсь, я не променяю на него Черный список от NapA, которым режется 99% ненужного мне контента, в т.ч. редко встречающегося.
Требуется отобрать (возможно модифицировать) наиболее употребимые правила.

Есть мнение, что так же поступит большое число пользователей.
Возможно. Но они будут знать что они делают. Или хотя бы знать что они сами что-то делали.



Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 12 Июнь 2007, 11:48:35
Почему бы не дополнить дефолтные списки, правилами из шапки топика "Написание правил по заявкам"?, добавив правила для касперского, аваста и т.п.

Поддерживаю!
И еще не хватает дефолтных списков mediator.lst и ww.lst для серверов посредников.
Пусть там будут уже прописаны несколько. Кстати, кроме WebWarper есть еще такие?

И колонки для комментариев тоже очень не хватает.
Конечно предлагали лепить их прямо в правило. Но это некрасиво и неудобно.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 12 Июнь 2007, 12:24:07
К дефолтному Черному списку есть пара замечаний:
  - режет слово "reclamation"
  - в правиле "+*/ad?.*" что такое "+*"?
  - \dcount|adriver проверяется в двух разных правилах
  - online\.mirabilis - изображение статуса ICQ далеко не все захотят отключать

Неплохо б, чтобы правила группировались. К примеру, пишем отключенное правило "---------------- Реклама ------------------", а после него все правила, относящиеся к блокированию рекламы, и т.д. Группы могут быть следующими: реклама, счетчики, статус online, информеры, трэкеры, порно, чаты, разное.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 12 Июнь 2007, 15:26:48
Неплохо б, имхо, выглядела в НС кнопка "Обновить списки" (+ возможность автоматического обновления), по нажатию которой загружались бы новые списки из указанного адреса (локального, сетевого, интернета). Тогда б и ошибки в дефолтных списках легко править было, что давало б возможность развивать эти списки постоянно и с меньшей оглядкой на безупречность, а не от версии к версии.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 12 Июнь 2007, 21:36:07
Многое можно позаимствовать в замечательных, на мой взгляд, и проверенных временем списках NapA (если автор не против).
Да я не против. Более того, я даже сам могу сделать облегченный вариант своих списков, в котором будут только проверенные временем и кучей пользователей правила. В дальнейшем, если MAI не против, можно будет их сделать дефолтными :)


Название: Re: Дефолтные списки HandyCache
Отправлено: Rick от 12 Июнь 2007, 22:55:23
Неплохо б, имхо, выглядела в НС кнопка "Обновить списки"
Это есть в ToDo. И есть в планах. Но не в ближайшей версии.

Да я не против. Более того, я даже сам могу сделать облегченный вариант своих списков, в котором будут только проверенные временем и кучей пользователей правила.
Да, было бы интересно взглянуть и обсудить их пока для этого есть время.


Название: Re: Дефолтные списки HandyCache
Отправлено: mai62 от 13 Июнь 2007, 00:10:57
Если прийдете к общему мнению по поводу нового состава дефолтных списков, поменяю.
Считаю, что дефолтные списки должны быть такими, чтобы не вызывали лишних вопросов у пользователя-новичка даже в ущерб эффективности.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 03:34:21
Вот наваял списки. Некоторые правила отключил, которые далеко не всем нужны. Из черного списка удалил спорные и раритетные правила, которые редко встречаются. Оставил блокировку счетчиков, рекламы, трекеров и прочих нежелательных для посещения сайтов. В архив положил файл proxy.lst с правилом для Cproxy, может еще какие-нибудь прокси туда можно вписать? Или вообще он ненужен? Вобщем, высказываемся какие правила включить/отключить, удалить/добавить и т.д.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 14 Июнь 2007, 09:22:51
Вобщем, высказываемся какие правила включить/отключить, удалить/добавить и т.д.

Начнем с "Черного списка"...

У тебя есть статистика срабатывания правил?
В дефолтных списках упор нужно делать на универсальность! Поэтому, ИМХО, не стоит включать в него редкие узконаправленные правила типа:
absolutepoker\.com/processing/imp\.asp
accord\.netgravity\.com
и т.д., т.к. большинству пользователей они никогда не пригодятся!

P.S. По синтаксису и дублям напишу позже...


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 14 Июнь 2007, 11:31:24
Вобщем, высказываемся какие правила включить/отключить, удалить/добавить и т.д.

Правило из списка "Не обновлять"
#5#~#True#~#\.(jsp|rdf|rss|xml)#~##~##~#0:05
не срабатывает для лент новостей вида
Код:
http://operafan.net/component/option,com_rss/feed,ATOM0.3/no_html,1/
http://www.opera-ac.com/index.php?option=com_rss&feed=RSS2.0&no_html=1
http://handycache.ru/component/option,com_rss/feed,RSS2.0/no_html,1/
возможное решение:
#5#~#True#~#\.(jsp|rdf|rss|xml)|.*option(=|,)com_rss.*#~##~##~#0:05


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 15:45:41
Цитировать
В дефолтных списках упор нужно делать на универсальность! Поэтому, ИМХО, не стоит включать в него редкие узконаправленные правила типа:
Согласен. Подобные тоже удалю.

Цитировать
возможное решение:
#5#~#True#~#\.(jsp|rdf|rss|xml)|.*option(=|,)com_rss.*#~##~##~#0:05
Может лучше так: #5#~#True#~#\.(jsp|rdf|rss|xml)|[=,]com_rss[/&]#~##~##~#0:05


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 14 Июнь 2007, 16:37:18
Может лучше так: #5#~#True#~#\.(jsp|rdf|rss|xml)|[=,]com_rss[/&]#~##~##~#0:05
может и лучше, я в RegExp не особо силен.

у части правил из списка не обновлять временной интервал задан 5минут.
а у правила .* - 10минут, вседствии чего по прошествии пяти минут все URL подпадают под него и всё равно не обновляются. надо както сбалансировать временные промежутки.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 16:59:34
Цитировать
у правила .* - 10минут
Это правило по умолчанию отключено, думаю, что перед тем как включить это правило юзер задумается для чего оно вообще надо. Сделал 5 минут.

Переваял черный список. Оставил только то, что очень часто встречается.


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 14 Июнь 2007, 17:12:32
Это правило по умолчанию отключено, думаю, что перед тем как включить это правило юзер задумается для чего оно вообще надо. Сделал 5 минут.

Переваял черный список. Оставил только то, что очень часто встречается.
1.согласен.

2. в чёрный список неплохо бы добавить парочку правил для overklockers.ru (ввиду его популярности в рунете)
так как стандартные правила не полностью блокируют рекламу на нём.
примерно так:
#4#~#True#~#(overclockers\.ru)/(adx.js|adjs.php|adclick.php|adview.php)#~##~#
#4#~#True#~#(overclockers\.ru/partners)/(.*)#~##~#


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 17:43:14
Цитировать
#4#~#True#~#(overclockers\.ru)/(adx.js|adjs.php|adclick.php|adview.php)#~##~#
Это правило я не стал добавлять, а расширил правило №8 ЧС.

Цитировать
#4#~#True#~#(overclockers\.ru/partners)/(.*)#~##~#
Я даже и незнаю стоит ли добавлять его? Есть у меня правило для /partners/, но оно может блокировать и что-то нужное, поэтому из этих списков я его удалил. А добавлять именно overclockers\.ru/partners/, наверное, не стоит.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 14 Июнь 2007, 20:04:41
NapA
Порылся в чулане и нашел пару своих универсальных правил для Черного списка.
По слову "banner":
(^|[/._])(ban(view|er)?|banner(bank|house|link|s|system|tex)?|bnrs?|rotabanner\d*|cookie_ban|([ablmtv]|ek|lit|ng|pr|soft)?bn)[-/._?]
По слову "ad":
(^|[/.])(ad([svx]?\d*|banner|bureau\.net|click|cycle|engage|frame|fox|js|land|log|name|net|river|serv(er)?\d*|ver(t(s|ise(rs)?|ising|izer)?)?)|(abn|active|page|text|view)ad\d*)[/.?]
По статусу ICQ:
(^|/)online(\.(gif|php|dll|asechka\.ru.*))?\?
По слову "counter":
(^|[/.])((hits)?count|(cy|my|tns-)?counter|_?cntg?)[/.?]

Все эти комбинации выстраданы практикой и гарантированно встречались в повседневности. Может, учтешь чего, если полностью не перекрывается твоим списком.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 20:21:14
Цитировать
Может, учтешь чего, если полностью не перекрывается твоим списком.
Практически все уже присутствует в моем чс. А чего нет, то обязательно добавлю.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 14 Июнь 2007, 20:54:15
Переваял черный список. Оставил только то, что очень часто встречается.

Отлично!
Кстати, твой ЧС сейчас полностью перекрывает существующий дефолтный?

Теперь по синтаксису:

Например, в твоей редакции 1-е правило ЧС никогда не сработает на URL: http://topcounter.site.ru . Проверь с отбрасыванием http://...

Скобки в начале и конце первых правил:
(/|-|_) - не охватывает начало строки, точку и т.д.
(/|-|=|\?)  - не охватывает точку, знак подчеркивания и т.д.

Поэтому предлагаю заменить эти скобки на более простую конструкцию: (\b|_) , которая учитывает все возможные знаки, кроме букв и цифр.

А (/|-|_|=|\.|\?|\d+) - лучше заменить на [^a-z]


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 22:04:49
Цитировать
Например, в твоей редакции 1-е правило ЧС никогда не сработает на URL
Правильно, для этого и нужно правило № 29, хотя их можно и объеденить.

Цитировать
(/|-|_) - не охватывает начало строки, точку и т.д.
Потому что не везде нужны точки, тире и т.д. Где-то и этого достаточно. Спорить не буду, сделал по-твоему, но могут быть ложные срабатывания.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 14 Июнь 2007, 22:29:15
Правильно, для этого и нужно правило № 29, хотя их можно и объеденить.

29-е на http://topcounter.site.ru/ и т.п. не срабатывает!
После модификации 1-е правило полностью перекроет 29-е. Ложных срабатывания от (\b|_) лично я не замечал!


Вообще, было бы неплохо, если бы кто-то прогнал потом ЧС по своим логам монитора за продолжительный период времени на предмет поиска ложных срабатываний...
Помнится, у popkov-а были большие логи... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: Qua от 14 Июнь 2007, 22:32:59
К слову, некоторая статистика по кол-ву попаданий:
Черный список у меня - 580 правил
Сработало хотя бы раз - 177 правил
Всего срабатываний - около 90 тысяч раз, причем 70 тысяч приходятся всего на первые полтора десятка правил...
Это я к тому, что "золотые правила" можно вычленить и путем сравнения статистики их срабатываний. Хотя они несколько субъективны и очень индивидуальны, но все же давайте смотреть какие правила у нас работают чаще.

Мой ТОП-10

#4#~#True#~#.*top\.list\.ru/counter\?#~#id=(1005829|682573);#~#
#4#~#True#~#.*i\.ru-board\.com/(images/remake\d*|temp/.+)\.gif$#~##~#
#4#~#True#~#.*(\.|/|-|_)+((\?)?partner(s)?|(a-|cy|my|n)+count(er(s)?(\?)?|s)?|(awm)?recip(\d|s)?|(double)?cl(ick(hype)?|x)+|(f|master|mega(_)?|rota|view)?ban((n)?er(-|\d+|bank|c|city|connect|host|s|id)?|_show|n|redir|rec|s|view)?|(pay)?pop(ieen|me|s|(_)?test|under|up(_|s)?)+|(php)?ad(_type|bot|brite|cl(ick|x)+|dweb|flight|frame|image(s)?|link|net|onspot|revolver|runner|s(erv)?|tomi|v|ver(t|tising)?|view)+|re(c|ck|k)+(l(ama)?)?)(\.|/|_|\?|=)+#~#(.*pandasoftware\.com/partners/.+\.aspx$|.*virus-radar\.com/(banner_(tir|top(1|5))_enu\.html$|(banner_virus_total_ir|static_banner_bkg)_enu\.(gif|png)$))#~#
#4#~#True#~#.*counter\.yadro\.ru/#~##~#
#4#~#True#~#.*/.*(88(_|-|x)+31|100(_|-|x)+60|100(_|-|x)+400|120(_|-|x)+600|468(_|-|x)+(60|80)).*\.(gif|jp(e)?g|png|swf)$#~##~#
#4#~#True#~#.*counter\.rambler\.ru/.+\?#~##~#
#4#~#True#~#.*ajax\.js$#~##~#
#4#~#True#~#.*u\d+\.\d+\.spylog\.com/cnt\?#~#cid=717646&#~#
#4#~#True#~#.*ad\.adriver\.ru/cgi-bin/.+\.cgi\?#~##~#
#4#~#True#~#.*google-analytics\.com/urchin\.js$#~##~#


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 14 Июнь 2007, 22:48:56
Цитировать
29-е на http://topcounter.site.ru/ и т.п. не срабатывает!
После модификации сработает :)
Цитировать
После модификации 1-е правило полностью перекроет 29-е
Дык я согласен. Уже изменил его.

Qua, рад, что мой древний список тебе пригодился, да еще и эффективным оказался. :)


Название: Re: Дефолтные списки HandyCache
Отправлено: Qua от 15 Июнь 2007, 01:43:25
Цитата: NapA
Qua, рад, что мой древний список тебе пригодился, да еще и эффективным оказался. :)
Я и нового жду с нетерпением. Кинь в личку или приложи лучше к постику - пусть люди радуются :P


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 15 Июнь 2007, 03:05:40
Цитировать
Я и нового жду с нетерпением. Кинь в личку или приложи лучше к постику - пусть люди радуются
А чего ждешь? Заходи ко мне на сайт да и качай. Я же постоянно обновляю.


Название: Re: Дефолтные списки HandyCache
Отправлено: Qua от 15 Июнь 2007, 06:02:59
А чего ждешь? Заходи ко мне на сайт да и качай. Я же постоянно обновляю.
Действительно, кто не в курсе свежие списки для HandyCache от NapA тут (http://mumurik.narod.ru/hc.html).
По крайней мере для меня они как дефолтные (типа это не оффтоп :P)
Есть даже RSS лента новостей (http://mumurik.narod.ru/rss/hc.xml) об их обновлении... :o


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 15 Июнь 2007, 08:33:19
NapA

Добавь в ЧС вот эти два правила:
#4#~#True#~#hit(box|exchange|list|scount|sites?|\?)#~##~#
#4#~#True#~#(hot|smart|spy|war)log\.#~##~#

А эти тогда можно убрать:
True#~#hits\.spylog\.com/cookie_transfer\?#~##~##~#0
True#~#spylog\.com/js/.+\.js#~##~##~#0
True#~#warlog\.info#~##~##~#0
True#~#hitbox\.com#~##~##~#0
True#~#hitscount\.com/usersonline\.php#~##~##~#0



Вот из этих двух правил лучше сделать одно, т.к. они во многом пересекаются:
True#~#(/|_|\.)(\d*|ad|b|f(lash)?|g(et)?|jade|kv|load|master|mega_?|mein|my|photo|res|rota(tion)?|show|view|\?.*)?ban(n?er.*|\d+|_show|n|redir|rec|s|view)?(/|-|_|=|\.|\?)#~##~##~#0
True#~#^(ad|biz|rota|ukr)?banners?(link)?\d*(\..*)?\..*/#~##~##~#0



Не очень нравятся правила для ру-борда, которые режут даже статичный логотип форума:
True#~#forum\.ru-board\.com/board/(temp/.+|images/elka)\.(gif|jpe?g|swf)#~##~##~#0
True#~#i\.ru-board\.com/(images/(remake\d*|ru-board(_ny_new|\d*))|temp/.+)\.gif#~##~##~#0

Лучше вместо них использовать проверенное годами:
#4#~#True#~#(forum|i\d?)\.ru-board\.com/(board/)?temp/#~#\.css$#~#



Правило:
True#~#(/|-|_)(double)?cl(ick(hype)?|x)(/|-|_|=|\?)#~##~##~#0
после модификации (\b|_) перекроет:
True#~#^(double)?click(\..*)?\..*/#~##~##~#0



ИМХО, лучше не сортировать ЧС по алфавиту, а сгруппировать правила по категориям, как уже предлагали выше:
Неплохо б, чтобы правила группировались. К примеру, пишем отключенное правило "---------------- Реклама ------------------", а после него все правила, относящиеся к блокированию рекламы, и т.д. Группы могут быть следующими: реклама, счетчики, статус online, информеры, трэкеры, порно, чаты, разное.
т.к. похожие правила могут начинаться с разных букв, а искать их потом придется по всему списку, что не удобно...


Название: Re: Дефолтные списки HandyCache
Отправлено: aleax от 15 Июнь 2007, 10:21:07
NapA
Правило из списка "Преоюразование URL"
#5#~#True#~#(ftp://)?(avs\d|download(s\d)?|dnl.{4})\.(kaspersky-labs|newaol)\.com#~#dnl.kaspersky-labs.com#~#False#~#True
не срабатывает на http://dnl-eu10.kaspersky-labs.com/bases/av/avc/i386/av-i386-0607g.xml.dif


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 15 Июнь 2007, 11:34:58
Правило из списка "Преоюразование URL"
#5#~#True#~#(ftp://)?(avs\d|download(s\d)?|dnl.{4})\.(kaspersky-labs|newaol)\.com#~#dnl.kaspersky-labs.com#~#False#~#True
не срабатывает на http://dnl-eu10.kaspersky-labs.com/bases/av/avc/i386/av-i386-0607g.xml.dif

Исправь так:
#5#~#True#~#(ftp://)?(avs\d|download(s\d)?|dnl.+)\.(kaspersky-labs|newaol)\.com#~#dnl.kaspersky-labs.com#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 15 Июнь 2007, 14:15:02
DenZzz, ОК правила исправлю. А вот насчет группировки правил, думаю стоит с этим вопросом обратиться к MAI. Может быть он сделает создание/удаление, сворачивание/раскрытие групп в списках.

Правило из списка "Преоюразование URL"
не срабатывает на 

Это не мое правило, я его тут взял. Добавил как оно есть. Вобщем, исправил, как DenZzz написал.


Название: Re: Дефолтные списки HandyCache
Отправлено: мэк от 15 Июнь 2007, 14:59:29
если, в конце концов, созреют новые дефолтные списки,то подумайте ещё вот над чем:
            При изменении списка "Преоюразование URL" некоторая часть кэша станет нечитаемой, пока не обновится. Поэтому, вопрос, что делать со старой частью кэша, удалять или как-то преобразовывать вручную?


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 15 Июнь 2007, 19:01:10
Списку "Переадресация" предлагаю придать следующий вид (с учетом изменений в грядущей версии, по-другому обрабатывающих необязательные правила, следующие после обязательных):
Код:
True#~#.+redir(ect)?\.(php|cgi)\?.*?(http[^;&]*).*#~#\3#~#False#~#True#~#0
True#~#.*?regnum\.ru/go(to)?/\?(\d+:)+#~##~#False#~#True#~#0
True#~#(?<=regnum\.ru)/go/\?\d+:#~##~#False#~#True#~#0
True#~#(?<=samsung\.ru)/_goto\.html\?uri=#~##~#False#~#True#~#0
......
любые иные правила
......
True#~#^[^?]*%#~#\0#~#False#~#True#~#0
True#~#%2f#~#/#~#True#~#False#~#0
True#~#%3a#~#:#~#True#~#False#~#0
True#~#%3f#~#?#~#True#~#False#~#0
......
остальные декодирующие правила
......
True#~#%25#~#%#~#True#~#False#~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: Qua от 15 Июнь 2007, 22:07:46
Вопрос который я не мог не задать  ;)  mai62 и уважаемым бета-тестерам:

Как размер списков влияет на производительность HandyCache?
Есть рекомендации к оптимальному количеству правил?

В Черном Списке с сегодняшнего дня у меня 1400 правил. Чем это чревато?

З.Ы. Не повторяются - проверял; насчет перекрываний - не уверен... :oops:


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 15 Июнь 2007, 22:34:27
Qua, увеличится только время загрузки программы. Подробнее здесь (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,1/#FAQ23)
Мое мнение: лучше списки поменьше, да лучше :) Конечно, не в ущерб эффективности.
Цитировать
Чем это чревато?
Наверняка найдутся повторяющиеся правила, которые не будут срабатывать.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 16 Июнь 2007, 08:54:54
О добавлении поля "Комментарий" перенес в отдельную тему (http://handycache.ru/component/option,com_smf/Itemid,10/topic,651.0/) в "Новых предложениях".


Название: Re: Дефолтные списки HandyCache
Отправлено: Qua от 16 Июнь 2007, 12:26:09
Мое мнение: лучше списки поменьше, да лучше :) Конечно, не в ущерб эффективности.Наверняка найдутся повторяющиеся правила, которые не будут срабатывать.
Для этого (сокращения списка) я и пользуюсь сортировкой по количеству срабатываний. Выживут только самые полезные :)
Просто хочется избавится от дублирований с черными списками в других программах. Только один из Макстонов показывает "всего блокировано 84 578 всплывающих окон и баннеров". Есть и специальноые проги только для блокировки контента, плюс файрволл. Хорошо бы функцию блокировки оставить только HandyCache. Отсюда и такая "перестраховка". Лишь бы боком (для HC) не вышло.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 16 Июнь 2007, 13:19:59
Цитировать
Только один из Макстонов показывает "всего блокировано 84 578 всплывающих окон и баннеров"
Можешь отключить фильтр баннеров в Макстоне, он по-другому блокирует (после загрузки страницы убирает рекламу) Фактически, реклама и счетчики все-равно загружаются. И фаерволл (у меня аутпост) перед блокировкой все-равно отправляет запросы.
Цитировать
Отсюда и такая "перестраховка". Лишь бы боком (для HC) не вышло.
А чего перестраховываться? НС все правильно блокирует, никаких запросов не делает перед блокировкой. Лично у меня только он и режет рекламу. Оставь только НС для блокировки. Трафик сэкономишь.

Всё, заканчиваем оффтопить. :)


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 11:58:35
Вот, переделал черный список. Прогнал почти весь свой кэш через него. Кое-что подправил, где-то что-то изменил. Смотрим и высказываемся.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 14:34:05
NapA
К правилу 7 Черного списка:
  - adult к рекламе, наверное, не относится, это ближе к порно. Даст много ложных срабатываний;
  - учти, плиз, приведенные выше правила (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.msg5324/#msg5324). В частности, к рассматриваемому правилу 7 относятся префиксы "abn|active|page|text|view" и постфиксы "bureau\.net|engage|name|verts|vertise|vertisers|vertizer";
  - "adv" вызывает ложные срабатывания (возможно, благодаря английскому слову adavnced). Примеры:
http://www.kafemoskva.ru/img/adv_head.jpg
http://www.slac.stanford.edu/spires/includes/main_adv.css
http://calend.ru/img/site2/adv-bg.gif
http://css.yandex.ru/css/_yandex-adv-search.css
Есть еще очень много примеров. Все это в исключения, думаю, запихивать не резон.

Остальные правила (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.msg5324/#msg5324) похоже тоже не учтены.  :(


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 15:10:03
Михаил
adult - удалил.
abn|active|page|text|view - добавил.
engage|name - добавил.
verts|vertise|vertisers|vertizer - из этих какие-то уже были, остальные добавил.
bureau\.net - уточни, пожалуйста, какой тут адрес: ad.bureau.net или adbureau.net? Если ad.bureau.net, то постфикс bureau\.net ненужен.

Все остальное должно блокироваться.

Цитировать
"adv" вызывает ложные срабатывания
Так ты предлагаешь исключить"adv" из ЧС?


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 17:44:39
Так ты предлагаешь исключить"adv" из ЧС?
Да тоже б нежелательно - не получить бы пачку рекламы взамен. Может, блокировать [/.]adv[/.]
При таком варианте ложных срабатываний у себя не нашел. Может, кто еще посмотрит по логам...

bureau\.net - уточни, пожалуйста, какой тут адрес: ad.bureau.net или adbureau.net? Если ad.bureau.net, то постфикс bureau\.net ненужен.
Есть трэкинг-кука такая adbureau.net. По моим логам все ее появления имели вид:
\w+\.adbureau\.net
Примеры:
http://dnsstuff.adbureau.net/...
http://etype.adbureau.net/...
http://nbc.adbureau.net/...
Про нее: http://www.pestpatrol.com/spywarecenter/pest.aspx?id=453107434


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 18:00:09
Цитировать
Может, блокировать [/.]adv[/.]
ОК, давай так попробуем.
Трэкинг-куку добавил))


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 20:04:01
Все остальное должно блокироваться.
Правилом 1 не сблокируются: ([abm]|ek|lit|ng|pr)bn
Добавь, плиз.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 20:12:23
Да я уже добавил, только не написал об этом.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 20:34:29
Можешь отключить фильтр баннеров в Макстоне, он по-другому блокирует (после загрузки страницы убирает рекламу) Фактически, реклама и счетчики все-равно загружаются.

Штатный Ad-Охотник Макстона блокирует рекламу до запроса! Сорри за оффтоп... ;)

Цитировать
Может, блокировать [/.]adv[/.]

ИМХО, лучше просто adv[-_] в исключение к 7-му правилу...


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 21:04:44
Цитировать
Проверьте по своим логам..
Все это будет блокироваться правилом № 7. Нет необходимости расширять правило [/.]adv[/.].


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 21:14:53
Нет необходимости расширять правило [/.]adv[/.].

А у вас нет в логах рекламы содержащей: adv1, adv= и т.п. Вам повезло...
Тогда хоть так надо расширить: [/.]adv[/.?=\d]
Добавлено: 17 Июня 2007, 22:12:31


Еще вот нашел в антирекламных базах Агнис:
123adv.com
123adv.it
?adv=
adv-games.com
popup-freesex-adv.biz
trade-adv.biz
trade-adv.com
trade-adv.net


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 21:16:07
У меня такое не встречается.
И вообще imho лучше оставить adv как было. Не думаю, что будет много ложных срабатываний.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 21:23:17
А вот даже "advanced" в рекламе:
advancedfinder.com
advancedfixer.com
advancedhunt.com
advancedsexualpleasure.com
advancedtrafficnetwork.com
advancedwebpromotions.com


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 21:41:32
NapA
Ничего хорошего ни разу не видел на сайтах от (/|_|-|\.)*\??partners?\d*(\.|/|_|\?|=) (правило 12 в твоем расширенном ЧС). У меня очень много срабатываний этого правила. Ложных не отмечал. И достаточно универсальное опять же. Имхо, полезно, включить в дефолтный ЧС:
(\b|_)partners?[^a-z]


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 22:00:58
И вообще imho лучше оставить adv как было. Не думаю, что будет много ложных срабатываний.

Предлагаю ограничиться просто adv([-_]|anced) в исключении к 7-му.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 22:06:16
Михаил, в расширенном ЧС оно уже такое (\b|_)partners?[^a-z]. А не стал включать его в этот список, потому как существуют ложные срабатывания (их мало, но они есть).
Например:
hp.ru/partner/
nod32club\.com/partner/

DenZzz, ну хорошо. Давай так.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 22:08:36
Предлагаю ограничиться просто adv([-_]|anced) в исключении к 7-му.
advanced и сейчас не пролазит.
А не стал включать его в этот список, потому как существуют ложные срабатывания (их мало, но они есть).
Например:
hp.ru/partner/
nod32club\.com/partner/
По крайней мере два приведенных тобой - ???
Может, их настолько мало, что удастся запихать в исключения? Если нет, то блокировать хотя б URLы, начинающиеся с partners? Их тоже немало.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 22:15:29
Что-то мы только черный список обсуждаем. А как насчет остальных?

Михаил, ну их еще есть. Я не все помню.

Хорошо, добавлю такое (\b)partners?\.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 22:30:20
advanced и сейчас не пролазит.

Так я говорю в "Исключение" к 7-му, чтобы пролазил... Или его еще какое правило режет...

Хорошо, добавлю такое (\b)partners?\.

Я, вообще, все это добро режу по слову "partner", но в дефолтный список так писать не рекомендовал бы... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июнь 2007, 23:05:19
Цитировать
но в дефолтный список так писать не рекомендовал бы...
А я вообще не хотел бы это правило добавлять. Мы ведь составляем всего-лишь дефолтный черный список (типа для начинающих).


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Июнь 2007, 23:17:28
Что-то мы только черный список обсуждаем. А как насчет остальных?
Переадресацию я где-то выше предложил. Плюс в твоей гостевой пару добавок.
Преобразование URL. Где-то DenZzz приводил свое правило для сессий. Хорошо бы учесть все варианты того правила плюс ses|ses_id|sessid и планку, имхо, поднять с 5 до 13 символов.
Запись в кэш наверное самый обсужденный из всех списков на форуме (в соответствующем топике число просмотров одно из наибольших) :)

Да... Забыл спросить. Почему в ЧС такая "любовь" к новостному сайту redtram.com? На нем почему-то гасится очень многое, в т.ч. картинки. Надобно пересмотреть. Сам не могу, т.к. причины пока непонятны. Глянь, плиз.

Добавлено:
здесь (http://handycache.ru/component/option,com_smf/Itemid,10/topic,488.msg4372/#msg4372) то самое правило для отсечения номеров сессий. Надо, имхо, разумно объединить с твоим.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июнь 2007, 23:27:59
Так, про другие списки...

"Запись в кэш":
лучше возьми дефолтный из первого поста этой темы! Там есть 3 отключенных правила для образца на случай, если кто-то ради экономии места на диске будет использовать их, отключив общее .*

"Не обновлять":
- к расширениям файлов добавь везде (\?|$) , где нет и вместо "$".
- отключенные 5-минутные правила кроме .* , ИМХО, можно убрать - кому надо, включат .* , которое их все перекрывает...
- добавь слово "posting" в исключение к .*
- убери малораспространенные правила:
Цитировать
True#~#gooddays\.ru/img/news/\d+_\d+#~##~##~##~#0
True#~#librus\.ru/cover/\d+#~##~##~##~#0
True#~#research\.sputtv\.com/media\.php#~##~##~##~#0
True#~#rossport\.ru/xml/o/image\[@id=\d+\]/@image#~##~##~##~#0
True#~#russian-mafia\.org/forum/index\.php\?act=downloads&do=imgss&id=\d+#~##~##~##~#0
True#~#vivaton\.ru/.*/pics/#~##~##~##~#0
True#~#w3\.org/(.+/)?icons/#~##~##~##~#0
- добавь для образца:
#5#~#True#~#wiki(books|(p|m)edia)\.org/w(iki)?/.*(\.|=)(css|js)(&|$)#~##~##~#720:00
#5#~#True#~#forum\.ru-board\.com/topic\.cgi\?#~##~##~#-168:00
Добавлено: 18 Июня 2007, 00:20:36

"Только из кэша":
- к расширениям файлов добавь везде (\?|$) , где нет и вместо "$".
- убери "редкие" см. выше...


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 18 Июнь 2007, 01:10:18
"Преобразование URL"
- Тут нужно по возможности сохранить максимальную совместиность с прежним дефолтным списком, чтобы пользователи не потеряли свой кэш, т.к. автоматического конвертора у нас нет! Новые "глобальные" правила лучше добавлять отключенными, чтобы пользователь сам решал включать или нет...
- Вместо 1-го вставь 2 таких в указанном порядке:
#5#~#True#~#(?<=[?&])(session(_sid)?|(phpses)?s(id)?)=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False
ИМХО, длина СИДа в 7 символов - самое то! Где-то видел такой короткий... 13 много...
- 2-е и 3-е лучше заменить на модифицированное предпоследнее:
#5#~#True#~#^(i(mg|mages?)?|galler(ies|y)|(f|ph)otos?|pi(cs?|x)|tbn|www)\d+\.(?!.{2,4}/)#~##~#False#~#True
иначе картинки с популярного imageshack.us и т.п. в кэше окажутся недоступными!
- 5-е правило не совсем верно режет RND, когда он в середине URL, поэтому переделал его так:
#5#~#True#~#(?=[?&]((random(_nocache)?|(nc)?rnd)=[^&]+))(.\1$|(.)\1&)#~#\6#~#False#~#True
- Убрать правило для Яндекса, т.к. оно плодит в кэше пустые каталоги с одной иконкой:
True#~#favicon\.yandex\.net/favicon/(www\.)?(.*)#~#\2/favicon.ico#~#False#~#True#~#0
- Убрать редкие:
True#~#(lib\.aldebaran\.ru/)(.*)(confrm\.js|fictionbook\.css|spacer\.gif)#~#\1\3#~#False#~#True#~#0
False#~#.+/((style_)?emoticons|s|smili?ey?s)/(.*/)?(icon_)?(.+\.(gif|png))$#~#smile_icons/\5#~#False#~#True#~#0
- Добавь в конец списка вот эти три:
#5#~#True#~#"#~#%22#~#True#~#True
#5#~#True#~#<#~#%3C#~#True#~#True
#5#~#True#~#>#~#%3E#~#True#~#True
они фиксят невозможность записи в кэш этих символов.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 18 Июнь 2007, 01:30:24
- Вместо 1-го вставь 2 таких в указанном порядке:
#5#~#True#~#(?<=[?&])(session(_sid)?|(phpses)?s(id)?)=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False
Не учитываются ses|ses_id|sessid. Надо дополнить.
Цитировать
ИМХО, длина СИДа в 7 символов - самое то! Где-то видел такой короткий... 13 много...
Они все дли-и-и-инные, больше 15 символов обычно. Почему 13? - есть часто используемый параметр разрешения экрана, который почти всегда обзывается "s" (видимо от "screen"). Типичное значение: s=1280x1024x32 - 12 символов. Его, правда, можно в исключения запихать. Но, имхо, короткие сид'ы чреваты ложными срабатываниями. Также, судя по логам, в сид'ах активно используются все буквы латинского алфавита, что изменит в правиле [-a-f\d] на [-\w].

Еще можно подумать над правилом, обрубающим пустые параметры.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 18 Июнь 2007, 02:37:30
Не учитываются ses|ses_id|sessid. Надо дополнить.

Тогда так:
#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False


Цитировать
Они все дли-и-и-инные, больше 15 символов обычно.

Далеко не все:
http://hit7.hotlog.ru/cgi-bin/hotlog/count?0.560877196257934&s=1002927&im=33&r=&pg=...
http://bodypro.ru/includes/statistic.php?stat=count&s=1587928017&r=&h=...
и т.д.

Цитировать
Почему 13? - есть часто используемый параметр разрешения экрана, который почти всегда обзывается "s" (видимо от "screen"). Типичное значение: s=1280x1024x32 - 12 символов.

Под мое правило это не попадает из-за "х".

Цитировать
Также, судя по логам, в сид'ах активно используются все буквы латинского алфавита.

Есть реальные примеры?

Цитировать
Еще можно подумать над правилом, обрубающим пустые параметры.

В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...

Добавлено: 18 Июня 2007, 03:32:17



"Переадресация"
- Поправь, как предлагал Михаил на предыдущей странице.
- Не забывай, что порядок "необязательных" правил имеет смысл! Сейчас два последних правила в списке у тебя не на своем месте...


"Белый список"
- 1-е правило убрать, т.к. не обновлять /topic нет необходимости. Даже есть специальное правило для необновления старых тем ру-борда.
А "posting" есть в исключении к .* в "Не обновлять".
- Убрать правила для онлайн статусов icq и mirabilis. Их загрузка на медленном канале отнимает много времени! Кстати, правило в "Черном списке" для их глушения я бы включил...
- Добавь следующее правило, т.к. из-за переадресации M$ часто циклится:
#10#~#True#~#microsoft\.com/#~##~##~#True#~#False#~#False#~#False#~#True#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 18 Июнь 2007, 10:49:42
Есть реальные примеры?
http://www.kavkazweb.net/tc.cgi?sid=111239134610572aRes0CdeE8IvX0VSpNEE&n_cnt=2
http://www.astronomy.ru/forum/index.php?PHPSESSID=hsiao8t1j1lajf5bdi316cg942&board=23.0
http://file.aaanet.ru/ajax/ajax_backend.php?PHPSESSID=cceo1bj8sj27kerk8hq05vtg50&mode=file_rate&file_id=67276&JsHttpRequest=11815751940041-script
http://operafan.net/forum/index.php?PHPSESSID=01rm33hbi83dnbmun8k69gdi64&amp;&action=keepalive;1179949593865

В логах есть и такой пример с параметром "screen" (будет ложное срабатывание):
http://counting.kmindex.ru/1.gif?uid=42551&r=http%3A//bizdirect.h14.ru/%3Fc%3D93&s=102476832&0.14676869963295758


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 18 Июнь 2007, 12:36:00
Понятно. А если так сделать:

#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=[^&]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False

Что касается параметров экрана - может, резать их к чертям собачьим? Это чем-то чревато?

Увеличение длины СИДов в правиле исключит из обработки короткие СИДы, которые я приводил! Это не желательно! Так может резать эти параметры экрана? Есть примеры, где это будет реально создавать проблемы?


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 18 Июнь 2007, 12:47:41
Что касается параметров экрана - может, резать их к чертям собачьим? Это чем-то чревато?
Не знаю, что он реально делает, этот параметр. И прочесть ума не приложу где.
Цитировать
В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...
Нет. Сделать правило, режущее параметры типа s=1234567&xxx=&...

PS Не подскажешь, что с сайтом? Слишком уж тормозить все стало.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 18 Июнь 2007, 13:20:44
Не знаю, что он реально делает, этот параметр.

Да какая-нибудь команда серверу на размер баннера или просто сбор статистики...
Ты, например, часто меняешь разрешение экрана во время интернет-серфинга?
Давай просто вырежем этот параметр из пути к файлу в кэше - беды не будет!

Добавлено: 18 Июня 2007, 13:59:43

Цитировать
В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...
Нет. Сделать правило, режущее параметры типа s=1234567&xxx=&...

Т.е. пустые и нулевые параметры? Помнится Кирилл такое правило предлагал:
#5#~#True#~#(?<=[?&])(?>[^=?&]+)=0?(&|$)#~##~#True#~#True
Его можно отдельно добавить внизу списка...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 18 Июнь 2007, 22:10:18
NapA
Для правила списка Переадресация, касающегося redir(ect)? можно добавить расширение "asp".
Примеры:
http://realtor.com/Redir/Redir.asp?target=http://www.4best-health.com/best-price-for-didrex.html
http://www.securitylab.ru/tools/_services/download/redirect.asp?href=http://www.securitylab.ru/tools/47900.html
http://www.pmprofy.ru/redir.asp?from=ToOrig37&id=http://www.pmprofy.ru/content/rus/temp/1126-article.asp

Также неплохо б учесть вариант вообще без расширения:
http://swicki.eurekster.com/redir?url=http%3A%2F%2Fwww.v-w-d.com%2Fredir.asp%3Fm%3Dpushthebutton%26target%3D%2Fdefault.asp%3Fgoto%3D%2Fvwdguest%2Fmatch5.asp&w=grab+a+grand&tit=eLottery+free+go+to+win+%C2%A31000%21&rt=&egid=44a08160-0635-49e3-b1b0-8021d9a85b55
http://www.yandex.ru/redir?url=http://mpix.ru/product_info.php%3Fproducts_id%3D284%3Ffrom%3Dyandexmarket&uid=191551111276319722&categid=1268&price=1115.6&hyper_cat_id=91156&ext=0&pp=7&cp=10&shop_id=1119&dtype=market

И с расширением html:
http://search.hp.com/gwdkdan/redirect.html?url=http://pharmaprice.yourfreehostway.com/cials

Ну и в завершение go:
http://www.chubba.com/cgi-bin/redirect.go?url=http://www.connecti.com/~texarch


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 19 Июнь 2007, 08:34:02
Расширений у редиректов много и каждый раз добавлять новое - это тупиковый путь!
Предлагаю переделать правило для переадресации редиректов так:
#5#~#True#~#.+redir(ect)?(\.\w{2,4})?\?.*?(http[^;&]*).*#~#\3#~#False#~#True
По моим логам ложных срабатываний нет.

Для дефолтного списка "Переадресация", думаю, достаточно будет этих правил:

Код:
HandyCache_list_Format_4
True#~#.+redir(ect)?(\.\w{2,4})?\?.*?(http[^;&]*).*#~#\3#~#False#~#True#~#0
True#~#.*?regnum\.ru/go(to)?/\?(\d+:)+#~##~#False#~#True#~#0
True#~#(?<=regnum\.ru)/go/\?\d+:#~##~#False#~#True#~#0
True#~#(?<=samsung\.ru)/_goto\.html\?uri=#~##~#False#~#True#~#0
True#~#^[^?]*%(2[5f]|3[af])#~#\0#~#False#~#True#~#0
True#~#%3a#~#:#~#True#~#False#~#0
True#~#%2f#~#/#~#True#~#False#~#0
True#~#%3f#~#?#~#True#~#False#~#0
True#~#%25#~#%#~#True#~#False#~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 19 Июнь 2007, 10:49:45
NapA
1. Чтоб уж добить редиректы: почему в БС запрещается переадресация yandex\.ru/redir\?
У меня отлично редиректит, например:
http://yandex.ru/redir?dtype=shop&uid=30182111764166471&categid=43&price=10901.61&url=http%3A//www.verba.ru/cgi/price/price.pl%3Fgroup%3D342%26id%3D35832%26cmd%3Dshow_tech_info&ext=&pp=1000&cp=10&shop_id=639&pof=1506
Посмотри, плиз, может ложные срабатывания были? Если нет, то поправь, пожалуйста, БС.

2. В БС все правила для ICQ можно объединить в одно - так же как в ЧС.

DenZzz
Редиректом является еще /rd\.(php|pl)\?
Писалось об этом в гостевой у NapA. Имхо, надо тоже добавить.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 19 Июнь 2007, 13:18:51
Редиректом является еще /rd\.(php|pl)\?

Вообще, вариантов много! Вот еще пара экземпляров:
http://www.cnews.ru/cgi-bin/redirect_cnews.cgi?http://top.rbc.ru/incidents/19/06/2007/106785.shtml
http://r.gismeteo.ru/rdr2.php?sh+http://www.gazeta.ru/export/gismeteo.shtml

А если так сделать:
#5#~#True#~#.+/(redir(ect)?|rd)(\w*\.\w{2,4})?\?.*?(http[^;&]*).*#~#\4#~#False#~#True
Проверь по своим логам на ложные срабатывания...


Название: Re: Дефолтные списки HandyCache
Отправлено: rubel от 19 Июнь 2007, 14:59:47
DenZzz
Вот ты везде говоришь что в списке Не обновлять нужно на конце ставить $.
Но ведь часто попадаются файлы вида http://testsbox.ru/autotest.js?bs=10
Эта с сайта http://ifolder.ru/
Я гуляю по страницам сайта и каждый раз тогда эта шняга будет загружаться заново?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 19 Июнь 2007, 16:38:10
DenZzz
Вот ты везде говоришь что в списке Не обновлять нужно на конце ставить $.

Я везде говорю (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.msg5426/#msg5426) добавить к расширениям файлов (\?|$) , где нет и ВМЕСТО $ !!!
Не нужно передергивать мои слова!
  >:(


Название: Re: Дефолтные списки HandyCache
Отправлено: rubel от 19 Июнь 2007, 17:54:40
DenZzz
Теперь понял, у меня везде записано просто \.(js|css)
А что даёт добавление  (\?|$) ?
Цитировать
Не нужно передергивать мои слова!
Злопамятный ты,однако.А ведь мы земляки,оба из Самары. :)



Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 19 Июнь 2007, 20:01:21
Обидно, имхо, будет, если НС не сможет по умолчанию отсекать сессии на собственном форуме (ну и в довесок на всех форумах с этим же движком):

http://handycache.ru/forum/index.php?action=quotefast;quote=4370;sesc=c5a4f39aca9b4fec9330f960ae5e9dcd;xml

http://handycache.ru/component/option,com_smf/Itemid,10/action,post2/start,0/msg,4374/sesc,0f8ce0295cb4a2d7c590b9770ee246ed/board,1/

Для этого можно доработать правило:
(?<=[?&;/])(php)?s(esc?)?(sion)?_?s?(id)?[=,][-\w]{7,}($|[&;/])

Хотя для таких URL-ов скорее надо запрещать запись в кэш (что уже частично реализовано в БС).

Прогнал такое правило через логи. Ложные срабатывания:
s=journal
s=240x400, s=1024*768, s=102476832 и т.п. (т.е. screen size)
Выход - сделать более 7 минимальный размер либо, скажем, для размера от 7 до 13 требовать наличия только цифр, а для бОльших допускать и буквы.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 19 Июнь 2007, 21:07:02
А что даёт добавление  (\?|$) ?

Исключает ложные срабатывания на середину URL, например:
http://www.troika.ru/cm_index_rus.jsp - это вовсе не скрипт, а динамическая страница
http://forum.bmp.net.ua  - попадает под правило \.bmp , хотя это не картинка, а форум
и т.д.

Цитировать
Злопамятный ты,однако.

Нет, просто не люблю, когда меня упрекают в том, чего я никогда не делал! :)
Добавлено: 19 Июня 2007, 21:47:04

Обидно, имхо, будет, если НС не сможет по умолчанию отсекать сессии на собственном форуме (ну и в довесок на всех форумах с этим же движком):

http://handycache.ru/forum/index.php?action=quotefast;quote=4370;sesc=c5a4f39aca9b4fec9330f960ae5e9dcd;xml

http://handycache.ru/component/option,com_smf/Itemid,10/action,post2/start,0/msg,4374/sesc,0f8ce0295cb4a2d7c590b9770ee246ed/board,1/

Подобные ссылки у меня вообще в "Белом списке" с запретом на кэширование!
Первая - вставка быстрой цитаты из конкретного поста
Вторая - отправка поста POST-методом

Зачем их хранить? Будешь отправлять посты в оффлайне? ;)
Добавлено: 19 Июня 2007, 22:01:49

Вот мои правила для БС:

#10#~#True#~#^handycache\.ru/forum/index\.php\?action=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False

#10#~#True#~#^handycache\.ru/component/option,com_smf/Itemid,\d+/action,#~##~##~#True#~#True#~#False#~#False#~#False#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 19 Июнь 2007, 22:29:54
Зачем их хранить? Будешь отправлять посты в оффлайне? ;)
Чего тему развиваешь? Вроде я так в заключение и написал:
Цитировать
Хотя для таких URL-ов скорее надо запрещать запись в кэш (что уже частично реализовано в БС).
http://ferrydust.com/textpattern/css.php?s=journal
в качестве ложного срабатывания остается по-любому (если не считать screen size'ы)

Приведенные правила для handycache.ru неплохо б, имхо, обобщить для всех форумов/сайтов с этим движком.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 19 Июнь 2007, 23:14:22
Чего тему развиваешь? Вроде я так в заключение и написал

Что ж тогда не удалил свое правило...

либо, скажем, для размера от 7 до 13 требовать наличия только цифр, а для бОльших допускать и буквы.

#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=(\d{7,}|[^&]{13,})($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False

Сейчас нашел в логах СИД короче 7 символов, правда в рекламе:
http://feed1.altastat.com/ad?board=1550&sid=1976


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 20 Июнь 2007, 02:05:21
DenZzz
Для универсальности (есть достаточно много сайтов с этим же движком) правила во всех списках, касающиеся сайта (форума) handycache.ru можно, имхо, распространить на остальные сайты, откинув в начале правил ^handycache.ru

К примеру, твои два правила БС лучше заменить на:

#10#~#True#~#/forum/index\.php\?.*\baction=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Оно пройдет и для многих форумов, использующих другие движки.

#10#~#True#~#/component/option,com_smf/Itemid,\d+/action,#~##~##~#True#~#True#~#False#~#False#~#False#~#False

Были, по-моему, правила с handycache.ru и в других списках.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 20 Июнь 2007, 10:31:07
Из первого правила для БС для универсальности лучше, наверное, исключить даже /forum:

#10#~#True#~#/index\.php\?.*\baction=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False

Были, по-моему, правила с handycache.ru и в других списках.
В списке Т и Н:
handycache\.ru/forum/index\.php\?.*(avatar|image)$
заменить чем-нибудь типа
/index\.php\?.*(avatar|image)|/avatars?/index\.php\?

В Преобразовании URL
True#~#(handycache\.ru/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
на
True#~#(/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
Хотя, честно сказать, это правило мне не совсем понятно.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 20 Июнь 2007, 11:45:00
заменить чем-нибудь типа
/index\.php\?.*(avatar|image)|/avatars?/index\.php\?

Конструкция /avatars?/index\.php\? гипотетическая или есть реальные форумы, на которых она будет работать? В моих логах такого не нашлось...

Цитировать
Из первого правила для БС для универсальности лучше, наверное, исключить даже /forum

Опять же есть реальные примеры без /forum ?

Цитировать
True#~#(/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
Хотя, честно сказать, это правило мне не совсем понятно.

Прочти здесь... (http://handycache.ru/component/option,com_smf/Itemid,10/topic,359.msg3151/#msg3151)


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 20 Июнь 2007, 12:19:01
Конструкция /avatars?/index\.php\? гипотетическая или есть реальные форумы, на которых она будет работать? В моих логах такого не нашлось...
Есть в логах такой
http://s9.invisionfree.com/avatars/index.php?act=idx
Поленился его поначалу открыть, теперь посмотрел - он отношения к теме не имеет. Наверное, не нужен этот довесок в правиле.

Цитировать
Опять же есть реальные примеры без /forum ?
http://andyr.mrezha.ru/smf/index.php?PHPSESSID=e50d1c569f26d2752149a6a0ae5e8de4&action=quotefast;quote=...
http://www.gunduzgece.com/index.php?action=quotefast;quote=...
http://thedambook.com/smf/index.php?amp;action=quotefast;quote=...
И еще 18 шт.

У этих action= довольно большой набор вариантов значений. Их можно творчески перебрать на предмет возможного присоединения некоторых к keepalive|quotefast|post. Может, Rick, более плотно общающийся с форумным движком, поможет.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 20 Июнь 2007, 12:58:48
У этих action= довольно большой набор вариантов значений. Их можно творчески перебрать на предмет возможного присоединения некоторых к keepalive|quotefast|post.

ИМХО, кроме action=dlattach остальные можно резать...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 20 Июнь 2007, 15:28:57
ИМХО, кроме action=dlattach остальные можно резать...
Х.з., какие могут попасться.
К примеру,
http://photo.gala.net/index.php?action=view&id=120274842 - писать в кэш надо
http://gov.kaliningrad.ru/index.php?action=gk&sa=view&gk=1070 - тоже надо
http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=472 - и здесь.
Лучше, имхо, вписать в правило только доподлинно известные.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 20 Июнь 2007, 21:48:22
В логах есть еще много примеров с act=post (видать, разновидность action=post):
http://www.ww2.ru/forum/index.php?act=Post&CODE=00&f=2

http://spartanband.net/forums/index.php?s=d2c5ccf1f7d621c91c0a495ac5e92e9d&act=Post&CODE=06&f=3&t=81&p=828

http://vulgo.ru/index.php?act=post&do=reply_post&f=4&t=439

http://www.kagul.ru/forum/index.php?act=post&do=reply_post&f=16&t=477

Итого правило в БС для предотвращения записи в кэш форумного "мусора" примет вид:
#10#~#True#~#/index\.php\?.*\bact(ion)?=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 21 Июнь 2007, 15:39:48
Вот мои сборщики мусора из URL:
1. Вырезка пустых и нулевых параметров
#5#~#True#~#(?<=[?&])[^=?&]++=0?(&|$)#~##~#True#~#True
2. Вырезка сессий по значению (длинные числа, в т.ч. шестнадцатиричные)
#5#~#True#~#(?<=[?&])[^=?&]++=[^&%]*?(?>[0-9a-f.+\-]{11,})[^&]*+&?#~##~#True#~#True
3. Вырезка параметров по имени
#5#~#True#~#(?<=[?&])(auth_token|updated|searchid|SID|PHPSESSID|SESSID|rndnum|rnd|highlight|postdays|postorder|in|inn|from|out|site|click|fid|adduser|aduser|ac|refererID|referrer|RC|SHT|SIT|vsrs_id|wid|ref|wm|wm_login|wmid|oppopup|sub|trade|hitID|adid|rid|dcwid|AID|uid|adv|partner|siteid|ref_id|acc_id|adtype|partner_idpid|Webmaster|WebmasterID|resellerid|af|refCode|cl|pt|pd_info|to|lay|LID|fid|bid|source_id|acct_id|adID|kid|bfmid|likref|aff|link_id|rs|wm_refer|refer|count|gcsid|refby|linkfrom|afl|revid|refid|site_id|fp|rvs|ACC|adv_id|ad|aff_id|referer|LinkId|hit|revs|random|linkin_id|refs|nats|subprogram_id|pps)=[^&]*+&?#~##~#True#~#True
4. Вырезка цифр из доменного имени
#5#~#True#~#((^|(?<=\.))((?>[a-z]+)))(?>\d+)\.#~#\1.#~#False#~#True

Правила 1-3 работают стабильно и хорошо себя зарекомендовали. 4 пока активно тестируется.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Июнь 2007, 07:47:55
Вот мои сборщики мусора из URL:

В чем смысл двойных квантификаторов: ++ , *+ ?

Цитировать
2. Вырезка сессий по значению (длинные числа, в т.ч. шестнадцатиричные)

В сессиях бывают и просто буквы (не шестнадцатеричные)! Обсуждалось на предыдущих страницах...

Цитировать
4. Вырезка цифр из доменного имени

Это правило срабатывает и для доменов 2-го уровня, что не желательно! Часто эти цифры имеют не случайное значение и не меняются для данного сайта. Да и восстановить потом исходный URL этого сайта, например, в Историке будет невозможно...


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 22 Июнь 2007, 09:18:56
DenZZZ
Цитировать
В чем смысл двойных квантификаторов: ++ , *+ ?
Это "сверхжадные" варианты обычных квантификаторов - захватывают по максимуму, даже если это приводит к несовпадению следующей части шаблона.
(X)*+ эквивалентно (?>(X)*)
Работает намного быстрее, чем просто * и +, в записи прозрачнее и лаконичнее, чем (?>)
Цитировать
В сессиях бывают и просто буквы (не шестнадцатеричные)! Обсуждалось на предыдущих страницах...
Я пробовал вырезать просто длинные параметры - увы, ломает ряд сайтов. В результате предпочел правило, которое режет не все (но многое :) ), зато ничего не ломает.
Вообще в сочетании с вырезкой сессий по имени параметра - работает на ура, сессий в кеше давно уже не видел.
Вообще, ВСЕ примеры Михаила с просто буквами были срезаны моим правилом 3 ;)
Цитировать
Это правило срабатывает и для доменов 2-го уровня, что не желательно! Часто эти цифры имеют не случайное значение и не меняются для данного сайта. Да и восстановить потом исходный URL этого сайта, например, в Историке будет невозможно...
Потому и тестируется ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Июнь 2007, 10:53:16
К "пустому", имхо, можно отнести и значение параметра, равное "undefined":
-http://www.wzor.net/js/awstats_misc_tracker.js?screen=1024x768&cdi=32&java=true&shk=undefined&fla=undefined&rp=undefined&mov=undefined&wma=undefined&pdf=undefined&uid=awsuser_id1174243732049r4843&sid=awssession_id1177954405294r5129

-http://counter.hitslink.com/statistics.asp?v=1&s=100&acct=Myopera&an=Opera&sr=&ck=17&rf=&sl=undefined&av=9.20%20%28Windows%20NT%205.1%3B%20U%3B%20ru%29&l=ru&pf=Win32&pg=/desktopteam/blog/&cd=32&rs=1024%20x%20768&tz=-240&je=true&tks=1178094322472

Кирилл
Параметр "0" не обязательно является "пустым".
Взятый навскидку URL рисует разные картинки при v=0 и без оного:
http://file.aaanet.ru/tools/vote_img.php?v=0

В правиле 3 не обрубается [?&], если они остались на конце URL. Оставшийся знак вопроса может дать совсем иную страницу:
http://hunter.shop.by/shcart/?step=0
Обратного (когда другую страницу даст убранный знак вопроса) пока не встречал.

Есть уверенность, что каждый из параметров, перечисленных в правиле 3, можно отнести к "лишним"?


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 22 Июнь 2007, 11:28:32
5. Еще одно правило для ликвидации мусора - режет хитропопые нечисловые сессии по признаку последовательности буквы-цифры-буквы-цифры (на самом деле не только буквы, а вообще любые символы, которые не должны быть в обычной ситуации вперемешку с цифрами).
#5#~#True#~#(?<=[?&])([^=?&]++=)?[^&]*?[^-\d&%+.=*/()]++\d++[^-\d&%+.=*/()]++\d++[^&]*+&?#~##~#True#~#True

Михаил
Разные ответы с параметром и без него не страшны. Хуже, когда эти ссылки реально генерятся в обоих вариантах и дают разный результат. Мне пока такие не попадались.
Амперсанды сразу после удаленного параметра отсекаются всегда.
Концевые амперсанды и знаки вопроса после удаления всех параметров режутся отдельным правилом ближе к концу списка - так проще.
Цитировать
Есть гарантия, что каждый из параметров, перечисленных в правиле 3, можно отнести к "лишним"?
Несколько месяцев тестирования дома и на работе в локалке на 12 пользователей.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Июнь 2007, 11:44:36
Концевые амперсанды и знаки вопроса после удаления всех параметров режутся отдельным правилом ближе к концу списка - так проще.Несколько месяцев тестирования дома и на работе в локалке на 12 пользователей.
Да, так и нужно. Ты его не привел - отсюда и вопрос возник.
Цитировать
Разные ответы с параметром и без него не страшны. Хуже, когда эти ссылки реально генерятся в обоих вариантах и дают разный результат. Мне пока такие не попадались.
Они имеют место быть по смыслу: параметр может присутствовать и иметь значение, может отсутствовать. Значение "0" при этом, имхо, ничуть не "хуже" любого другого числа.


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 22 Июнь 2007, 12:04:34
Михаил
В принципе любое необратимое преобразование перед кешированием некорректно.
Но на практике мы имеем сессии, домены с числами и т.д. и т.п.
Нулевое значение числового параметра по моему опыту - известное умолчание. Более того, непроинициализированные параметры - дырка в безопасности. Так что удаление нулей опасно для тех и только для тех сайтов, которые сознательно используют ссылки с нулем и без него как разные. Вот примеры таких сайтов и нужны :)
Цитировать
Да, так и нужно. Ты его не привел - отсюда и вопрос возник.
Оно у меня давно хвосты подчищает, еще с первого моего появления здесь :)


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Июнь 2007, 12:36:51
5. Еще одно правило для ликвидации мусора - режет хитропопые нечисловые сессии по признаку последовательности буквы-цифры-буквы-цифры (на самом деле не только буквы, а вообще любые символы, которые не должны быть в обычной ситуации вперемешку с цифрами).
Приведи примеры, чтоб легче было представить, о чем речь идет.
Нулевое значение числового параметра по моему опыту - известное умолчание. Более того, непроинициализированные параметры - дырка в безопасности.
Шутишь?  :) Если б каждый параметр инициализировался явно, длина URL успешно конкурировала бы с длиной обозначаемого им файла. Параметры, не инициализированные явно (это не означает, что они вообще не инициализированы) - и есть основной случай умолчания. Значение "0", имхо, к умолчанию относится в гораздо меньшей степени. Это конкретное число, которое может означать что угодно.
В твоем же правиле "0" подразумевается всегда эквивалентным значению по умолчанию.


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 22 Июнь 2007, 12:54:21
Михаил
Не шучу.
В том же PHP параметры передаются как обычные переменные.
А теперь дырочка - если ты будешь использовать переменную, не предполагая ее в качестве параметра и не инициализируешь ее, то ее сможет инициализировать хакер, подставив свое значение в параметр.
Цитировать
Значение "0", имхо, к умолчанию относится в гораздо меньшей степени. Это конкретное число, которое может означать что угодно.
А по факту неуказанные параметры-числа в серверных скриптах инициализируются нулем :)
Разница будет только для тех сайтов, которые разбирают URL по старинке, ручками плюс отличают неуказанный параметр от нулевого. Вдобавок для них неуказание нулевого параметра - осмысленная корректная ситуация. Тогда и только тогда нельзя будет выбрасывать параметры с нулевым значением.
Тот же undefined в качестве строки по умолчанию менее надежен.
Цитировать
Приведи примеры, чтоб легче было представить, о чем речь идет.
Все твои примеры с прошлой страницы успешно обрабатываются этим правилом.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Июнь 2007, 14:06:25
Все твои примеры с прошлой страницы успешно обрабатываются этим правилом.

А мои - нет: ;)
http://count.rbc.ru/banner.gif?sid=banner_news.20070618115734.62592&lid=banner_news&id=62592&rnd=606267
http://count.rbc.ru/banner.gif?sid=cnews_top.default.20070619122712.29598&lid=cnews_top&id=29598&rnd=718832
и т.д.

А еще оно режет параметры экрана s=1024x768x32 , с чем мы боролись на предыдущей странице...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Июнь 2007, 21:33:32
Кирилл
Попал только что на http://us.codejunkies.com/codes.asp?c=US&cr=USD&cs=$&r=0&l=1&p=7
увидел параметр "r=0" и захотел ради интереса глянуть, что же будет без него. Загрузилось соершенно другое. Правило с удалением нулевых значений по-прежнему вызывает сомнения.
Так что удаление нулей опасно для тех и только для тех сайтов, которые сознательно используют ссылки с нулем и без него как разные.
Давай чтоб понять получше хотя б посмотрим на то, для каких сайтов это правило, не просто безопасно, а необходимо. Приведи, плиз, примеры сайтов, которые "сознательно используют ссылки с нулем и без него" как одинаковые. "Вот примеры таких сайтов и нужны" в первую очередь. :)


Название: Re: Дефолтные списки HandyCache
Отправлено: Кирилл от 23 Июнь 2007, 07:39:10
DenZZZ
Цитировать
А мои - нет:
А твои - и не должно: их успешно режет мое правило 2 ;) Как оооооочень длинные числа.
Не стоит пытаться побороть все сессии одним правилом: в моем наборе таких правил уже три. И они проще и эффективнее чем одно, выполняющее все их функции.
Кстати, в твоих примерах мой набор грохнет заодно и параметр rnd - по имени.
Цитировать
А еще оно режет параметры экрана s=1024x768x32 , с чем мы боролись на предыдущей странице...
Вот с этим я бороться не стал.
Михаил
Цитировать
Приведи, плиз, примеры сайтов, которые "сознательно используют ссылки с нулем и без него" как одинаковые.
Любой форум :)
Цитировать
Попал только что на http://us.codejunkies.com/codes.asp?c=US&cr=USD&cs=$&r=0&l=1&p=7
увидел параметр "r=0" и захотел ради интереса глянуть, что же будет без него. Загрузилось соершенно другое. Правило с удалением нулевых значений по-прежнему вызывает сомнения.
Согласен. В список по умолчанию нулевые параметры сейчас включать не стоит.


Название: Re: Дефолтные списки HandyCache
Отправлено: Villi от 28 Июнь 2007, 09:14:14
Дайте пожалуйста мне правило, чтобы НС не загружал флешки, а то я в университете установил НС, а там такого правила нету :(


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 28 Июнь 2007, 09:44:34
Дайте пожалуйста мне правило, чтобы НС не загружал флешки

#4#~#True#~#\.(flv|swf)(\?|$)#~##~#


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 29 Июнь 2007, 18:10:55
Еще одно правило для Переадресации - охватывает все новостные сайты Google (ru,com,de,az,...):
#5#~#True#~#.*news.google\.\w+/news/url\?.*url=([^;&]*).*#~#\1#~#False#~#True

Соответственно изменить необходимо правило проверки наличия нераскодированных символов:
#5#~#True#~#^[^?]*%(2[56f]|3[adf])#~#\0#~#False#~#True

И добавить три декодирующих правила, которые все вместе теперь будут выглядеть так:
#5#~#True#~#%2f#~#/#~#True#~#False
#5#~#True#~#%3a#~#:#~#True#~#False
#5#~#True#~#%3f#~#?#~#True#~#False
#5#~#True#~#%3d#~#=#~#True#~#False
#5#~#True#~#%26#~#&#~#True#~#False
#5#~#True#~#%25#~#%#~#True#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 01 Июль 2007, 16:27:15
Нежданно-негаданно обнаружил, что пустые параметры в URL тоже выполняют какую-то функцию: из URL-а
http://google.com/pagead/adclick?sa=L&ai=&adurl=http://www.google.com
выкинул "ai=&"
и ответ "200 ОК" превратился в "400 Bad Request".
Может, погорячились мы с их удалением при преобразовании URL?
Кто знает точно, какова их роль?

Теперь еще про переадресацию:
http://pagead2.googlesyndication.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
http://pagead.googlesyndication.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
http://www.googlesyndication.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
http://googlesyndication.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
http://google.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
http://code.google.com/pagead/(iclk|adclick)?sa=L&ai=&adurl=http://handycache.ru
        и все др. домены google и googlesyndication
Все это примеры гугловской переадресации, которые можно уложить в примерно такое универсальное правило:
#5#~#True#~#.*google(syndication)?\.\w{2,4}/pagead/(iclk|adclick)?(.*&)?sa=L&(.*&)?ai=&(.*&)?adurl=([^&]*).*#~#\6#~#False#~#True
Пусть ускорятся и те, кто не хочет отказываться от гугловской рекламы.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 01 Июль 2007, 17:52:16
И снова список "Переадресация". На этот раз смотрим на другой популярный поисковик Yahoo:
http://us.ard.yahoo.com/*http://handycache.ru
http://us.ard.yahoo.com/SIG=12jjt2npt/M=533106.8794185.10129908.7714426/D=yahoo_top/S=2716149:SM3/_ylt=ApEw9DLF7tjRDBk0_7EtmP71cSkA/Y=YAHOO/EXP=1160004448/*http://handycache.ru
http://rds.yahoo.com/_ylt=/**http://handycache.ru
http://rds.yahoo.com/search/submit/(travel|free|mobile_free|mrss_free|PI|p4p|product|yexpress|ystd|...)/*-http://handycache.ru
http://rds.yahoo.com/search/submit/ystdblahblahblahasdfjklhwkljfhakldfhasdf/*http://handycache.ru/
http://rds.yahoo.com/*http://handycache.ru/
http://rds.yahoo.com/**http://handycache.ru
http://de.ard.yahoo.com/SIG=12lnn77nh/M=200084491.201287525.202593797.200702075/D=finfr/S=97107386:FB2/Y=FR/EXP=1163448820/A=200544671/R=0/SIG=113es77l7/*http://handycache.ru
Универсальное правило будет примерно таким:
#5#~#True#~#.*yahoo\.com/(.*/)?\*[*-]?#~##~#False#~#True

Теперь возвращаемся к Гуглу:
http://(www|maps|eval|sketchup|browsersync|desktop|toolbar|earth|picasa|toolbarqueries|...).google.(com|ru|co.uk|...)/(url|local_url)?q=http://handycache.ru
Все это переадресует нас на Handycache.ru.
Получим тоже достаточно общее правило:
#5#~#True#~#.*google\.[^?/]+/(local_)?url\?q=http#~#http#~#False#~#True

Теперь обратимся к последнему варианту основного правила для редиректов:
#5#~#True#~#.+/(redir(ect)?|rd)(\w*\.\w{2,4})?\?.*?(http[^;&]*).*#~#\4#~#False#~#True
Выявились такие пока необрабатываемые им cлучаи:
http://animaldiversity.ummz.umich.edu/local/redirect.php/http://yandex.ru
http://www.topix.net/redir/loc=prss-myway/http%3A%2F%2Fhandycache.ru
http://www.cibera.de/ibero/servlet/servlets.Redir/lang=de/domain=ibero?resid=4735&url=http%3A%2F%2Fhandycache.ru
http://www.walmart.com/third_party_redirector.gsp?vendor=LIQUID_AUDIO&service=CATALOG_SERVICE&url=http%3A%2F%2Fhandycache.ru
http://www.walmart.com/third_party_redirector.gsp?url=https%3A%2F%2Fwww.google.com&vendor=GE&service=CREDITAPP
http://www.usa.visa.com/track/dyredir.jsp?rDirl=http://handycache.ru
http://www109.americanexpress.com/rightp/ads_redirect.jsp?location=http://handycache.ru
http://www.aol.com/ams/clickThruRedirect.adp?1073762100,2147779757x2147568413,http://handycache.ru
http://www.pbs.org/teachersource/previews/redir/http://handycache.ru
http://www.indiapress.org/directory/redirect/r.php?a=http://handycache.ru
http://www.searchguild.com/redir/o.php?out=http://handycache.ru
http://jdl.sun.com/webapps/getjava/BrowserRedirect?host=http://handycache.ru
https://www.godaddy.com/gdshop/redirect/go.asp?se=%2B&app%5Fhdr=&ci=6629&url=http://handycache.ru
http://www.microsoft.com/windows2000/SelectBox-redir.aspx?s=http://handycache.ru
Надобно и их в это правило подвязать. Кто возьмется?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 02 Июль 2007, 13:27:14
Все это примеры гугловской переадресации, которые можно уложить в примерно такое универсальное правило:
#5#~#True#~#.*google(syndication)?\.\w{2,4}/pagead/(iclk|adclick)?(.*&)?sa=L&(.*&)?ai=&(.*&)?adurl=([^&]*).*#~#\6#~#False#~#True

Не знаю, где ты взял такие URL-ы, но твое правило не работает на гугловской рекламе, например, нашего сайта!

http://pagead2.googlesyndication.com/pagead/adclick?sa=L&ai=BqECiL7-IRsHXC4KC0-bla-bla-bla&num=2&adurl=http://stl.p.a1.traceworks.com/walkto/%3FSTLCMPID%3D-bla-bla-bla&client=ca-pub-5855005891756540&nm=10&nh=1&jca=8719

http://www.googleadservices.com/pagead/adclick?sa=L&ai=BXiv35cCIRvS5C6bmSfbt-bla-bla-bla&num=1&adurl=http://www.google.com/toolbar/ie7/intl/ru/&client=ca-pub-5855005891756540&nm=3&nh=1&jca=2194

Цитировать
Пусть ускорятся и те, кто не хочет отказываться от гугловской рекламы.

Во-первых, ускорение в несколько миллисекунд на 1 клик погоды не делает!

Во-вторых, Гугл платит только за переход по рекламным ссылкам! Это один из способов поддержки проекта/сайта, разместившего рекламу! А раз пользователь хочет ее видеть, то пусть от этого будет польза не только ему, но и сайту/проекту, где размещена эта реклама!

В-третьих, не нужно пытаться объять необъятное! Дефолтный список должен содержать небольшое количество популярных и одновременно "безвредных" для ВСЕХ пользователей правил!


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 02 Июль 2007, 14:35:02
Не знаю, где ты взял такие URL-ы, но твое правило не работает на гугловской рекламе, например, нашего сайта!
потому что параметр "ai=" в приведенных тобой URL-ах непустой. Мне попадались только пустые. Если учесть это - сработает.
#5#~#True#~#.*google(syndication)?\.\w{2,4}/pagead/(iclk|adclick)\?(.*&)?sa=L&(.*&)?ai=.*&adurl=([^&]*).*#~#\5#~#False#~#True
А googleadservices вообще не учитывалось. Можно добавить.
Цитировать
Во-первых, ускорение в несколько миллисекунд на 1 клик погоды не делает!
Тогда надобно убрать весь нынешний дефолтный список А как не делающий погоды?
Между тем часто задержка весьма ощутима даже на глаз.
Цитировать
Во-вторых, Гугл платит только за переход по рекламным ссылкам! Это один из способов поддержки проекта/сайта, разместившего рекламу! А раз пользователь хочет ее видеть, то пусть от этого будет польза не только ему, но и сайту/проекту, где размещена эта реклама!
Решать пользователю. Как насчет безжалостно обрубаемых ЧС счетчиков? Почему забота о сайтах такая выборочная?
Цитировать
В-третьих, не нужно пытаться объять необъятное! Дефолтный список должен содержать небольшое количество популярных и одновременно "безвредных" для ВСЕХ пользователей правил!
Согласен. Только вот вреда это правило принесет не больше других. Другое дело, что оно может оказаться реально невостребованным ввиду блокирования этих URL-ов Черным списком у большинства пользователей. По этой причине не настаиваю на обязательном включении в дефолтный список А. Если кому нужно, пусть имеет ввиду эти редиректы. Либо в дефолтном списке можно его по умолчанию отключенным сделать.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 04 Июль 2007, 08:59:16
NapA, пора выходить на финишную прямую. Не мог бы ты выложить итоговый вариант дефолтных списков с учетом высказанных предложений и принципа "не навреди". :) Надо посмотреть, что получилось...


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 07 Июль 2007, 04:16:23
Извиняюсь за задержку, отдыхал немного...
Вот, выкладываю очередной вариант списков. Если что-то не добавил (или добавил, но не то) прошу не пинать, а указать пальцем :) После отдыха голова не хочет работать.

Всех с победой Сочи!


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 09 Июль 2007, 16:29:07
Вот, выкладываю очередной вариант списков. Если что-то не добавил (или добавил, но не то) прошу не пинать, а указать пальцем


Черный список:

Правило №3:
True#~#(\b|\.|_)(\d*|cy|form|fs|hits?|img|live|load|log|m[my]|n(ew)?|r|sex|stats?|the|tops?|vip|xxx)?c(ou)?nt[gr]?((e[вr]|ing)?s?)?[^a-z]#~#countr(ies|y)#~##~#0
\. можно убрать, т.к. точка входит в \b
Русскую букву "в" надо заменить на латинскую "d"


И группировку правил по категориям блокируемого все-таки лучше сделать, т.к. это пока единственный доступный способ указать назначение правила. Так будет удобнее для новичков...



Запись в кэш:

Поставь правило .* с последней позиции на первую, так виднее.



Не обновлять:

Добавь для образца правило с отрицательным критерием свежести:
#5#~#True#~#forum\.ru-board\.com/topic\.cgi\?#~##~##~#-168:00
чтобы было видно, что критерий может быть отрицательным.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 09 Июль 2007, 16:44:46
DenZzz

Черный список:
Точку ставил, потому что правило не срабатывало на каком-то url, с точкой заработало. Хотя "точка" граница слова... Вобщем, точку убрал.
Букву "в" заменил.

Запись в кэш:
ОК.

Не обновлять:
ОК.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 10 Июль 2007, 13:33:46
Сделал сортировку правил в ЧС по группам.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Июль 2007, 15:48:13
NapA

Сделал сортировку правил в ЧС по группам.

Отлично!

Еще несколько заметок по другим спискам:


Не обновлять:

Первое правило предлагаю расширить так:
True#~#[/=?&](get|view)?(.*_)?(avatar|images?|img|pic(s|ture|x)?|screenshot)(_?id|preview)?(/?$|=|&|\.(php|pl))#~##~##~##~#0
и можно убрать перекрываемые им правила:
True#~#handycache\.ru/forum/index\.php\?.*(avatar|image)$#~##~##~##~#0
True#~#my\.opera\.com/.*/(avatar|picture|img)\.pl#~##~##~##~#0



Только из  кэша:

Сделать аналогично описаному выше...



Белый список:

Правило:
True#~#handycache\.ru/forum/index\.php\?action=(keepalive|post|quotefast)#~##~##~#False#~#True#~#False#~#False#~#False#~#False#~#0
исправить, как предлагал Михаил:
True#~#/index\.php\?.*\bact(ion)?=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False#~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 10 Июль 2007, 16:09:02
ОК, сделал. А как насчет групп в ЧС? Может добавить группу "Трекеры" или удалить какие-нибудь?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Июль 2007, 22:47:19
А как насчет групп в ЧС?

Переименуй "Все остальное" в "Прочее".

Цитировать
Может добавить группу "Трекеры"

Из 1 правила? Можно пока перенести его в "Прочее"...



И еще, правило: True#~#/ushki(/.+\??)?(\.|code\.html)?#~##~##~#0 можно убрать,
т.к. оно перекрывается правилом: True#~#(\b|_)u(ka|shki)[^a-z]#~##~##~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 10 Июль 2007, 23:08:47
Цитировать
Переименуй "Все остальное" в "Прочее".
ОК.
Цитировать
Из 1 правила?
Из-за двух. utm еще :)


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Июль 2007, 23:30:53
Из-за двух. utm еще

Ну, тогда добавь новую группу... Тогда уж и "Online-статусы" выдели, чтобы новички не искали... :)


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2007, 00:26:04
urchin.js - это как и utm тоже компонента Urchin Tracker'а. Эти два правила можно даже в одно объединить.
/(aw)?stats?\w*\.js - это тоже к трекерам относится.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2007, 02:32:46
Правила в ЧС:
True#~#log\.trafic\.ro#~##~##~#0
True#~#pro\.traffer\.ru#~##~##~#0
True#~#ru-traffic\.com#~##~##~#0
полностью перекрываются правилом №9, которое лучше подправить так:
#4#~#True#~#(\b|_)(my|ua)?traff?(er|ic)?[^a-z]#~#tcompressor\.ru/#~#


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2007, 15:02:26
С правилом 8 ЧС (click) будет много ложных срабатываний. Многие сайты формируют ссылки (не обязательно рекламные) через click. Например, сейчас переход по любому из результатов поиска на mail.ru невозможен (http://go.mail.ru/click?url=...&title=...); это, кстати, еще один редирект, который можно учесть в Переадресации. Есть много других примеров.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2007, 15:18:09
С правилом 8 ЧС (click) будет много ложных срабатываний.

Зато сейчас под него попадает более 50 рекламных ссылок из набора Агнис!


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 11 Июль 2007, 15:52:06
Адрес go.mail.ru пока забил в исключение.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2007, 15:59:14
Кстати, в рекламных фильтрах Агнис я насчитал 273 правила, содержащего слово "click" в абсолютно разных частях URL...
Собственно, поэтому в своем ЧС я агрессивно режу все ссылки с "click", стоящем в любом месте URL!
Так что, правило NapA даже более "мягкое"... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 11 Июль 2007, 16:26:04
Цитировать
Так что, правило NapA даже более "мягкое"...
Принцип "не навреди".


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2007, 19:04:43
http://top100.rambler.ru/click?gr=47&p=3&i=714201&t=0&_URL=http://demiart.ru/forum/
С Рамблера можно переходить по ссылкам почти исключительно через click.
http://openoffice.blogs.com/photos/uncategorized/2007/06/01/click3.jpg
http://www.lover.ee/templates/new/skins/original/images/search/click.jpg
http://forum.ichip.ru/style_images/1/click2enlarge.gif
http://orgija.org/click_count-ds4;40-0c90cfe/click_count.php?http://dreamvideo.org/?categoryID=%22%F0%E0%E7%ED%FB%E5
http://www.nigma.ru/index_menu.php?action=click_menu&menu_element=search_plugins_opera&r=hp.sr.opera.plug.

Можно еще много примеров, но, думаю, хватит.
Click в названии URL в большинстве случаев подразумевает просто клик мышью на некоем элементе. Почему он должен быть именно рекламным? Если есть Click'и, ведущие к рекламе, то и надо, имхо, именно их прописывать в ЧС (если они не носят других признаков рекламы - ad, banner и пр.), но не обобщать это на все.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 11 Июль 2007, 19:36:09
Может быть отключить это правило? Кому надо - включит.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2007, 20:53:14
Если есть Click'и, ведущие к рекламе, то и надо, имхо, именно их прописывать в ЧС (если они не носят других признаков рекламы - ad, banner и пр.), но не обобщать это на все.

В одном только списке Агнис таких несколько сотен! Все прописывать в ЧС? :o
А сколько полезных click'ов ты можешь привести? Не проще их в исключения добавить?...
Добавлено: 11 Июля 2007, 21:46:34

Цитировать
http://openoffice.blogs.com/photos/uncategorized/2007/06/01/click3.jpg
http://www.lover.ee/templates/new/skins/original/images/search/click.jpg
http://forum.ichip.ru/style_images/1/click2enlarge.gif

Это просто кнопки, отсутствие которых мало кто заметит...

Цитировать
http://orgija.org/click_count-ds4;40-0c90cfe/click_count.php?http://dreamvideo.org/?categoryID=%22%F0%E0%E7%ED%FB%E5

А это счетчик, который все равно вырежет другое правило!


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2007, 21:41:32
В одном только списке Агнис таких несколько сотен! Все прописывать в ЧС? :o
И у всех этих сотен отсутствуют другие именно рекламные признаки: ad, bn, count, banner и пр.?
Цитировать
А сколько полезных click'ов ты можешь привести? Не проще их в исключения добавить?...
Очень много - больше 30 только по моим логам.
Цитировать
А это счетчик, который все равно вырежет другое правило!
И хорошо бы, да это одновременно и редирект на прописанный адрес. Но если б даже просто счетчик - у него присутствует основной признак - "count". "Сlick" сам по себе в общем случае не обозначает тип стоящего за ним контента.
Именно поэтому молчаливое отнесение его к рекламе не обосновано и даст множество ложных срабатываний.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2007, 22:07:45
И у всех этих сотен отсутствуют другие именно рекламные признаки: ad, bn, count, banner и пр.?

У большинства нет признаков, попадающих под другие правила! Вот, несколько фильтров Агнис:
.click.
.clicks.
/cgi-bin/click?
/cgi/newclick.cgi
/click-
/click.
/click/
/clickover.
/clicks-
/clicks.
/clicks/
и т.д.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2007, 22:34:29
http://news.bbc.co.uk/1/hi/programmes/click_online/default.stm
http://www.kinokadr.ru/films/c/click/
http://read.cs.ucla.edu/click/
http://www.3dnews.ru/peripheral/logitech-click/
http://www.linkstore.ru/click/
http://click.in.ua/
http://www.hhmi.org/biointeractive/click/index.html
www.click2houston.com/
Задумал веб-мастер, чтоб пользователь щелкал в определенных местах его сайта - пишет "клик". Пишет статью/сайт про мышку - снова "клик". Ну далеко не всегда реклама это. У меня подавляющее большинство именно рекламных срабатываний "клик" попадает одновременно под другие правила ЧС. Посмотри по своему логу.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 12 Июль 2007, 08:35:00
Ну далеко не всегда реклама это. У меня подавляющее большинство именно рекламных срабатываний "клик" попадает одновременно под другие правила ЧС. Посмотри по своему логу.

Смотрел, по-разному бывает! Агнис свои списки тоже по реальным URL составлял!

В общем, чтобы долго не спорить, можно сделать это правило отключенным - на откуп пользователю...

Само правило предлагаю расширить так:
#4#~#False#~#(\b|_)(ad|double|fast)?cl(i?ck(er|s)?(hype)?|x)[^a-z]#~##~#


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 12 Июль 2007, 10:46:43
Может быть подобные правила с возможными ложными срабатываниями стоит отнести в отдельную группу?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 12 Июль 2007, 13:49:38
Может быть подобные правила с возможными ложными срабатываниями стоит отнести в отдельную группу?

Не, тогда там окажутся многие универсальные правила!
У универсальности основные "плюсы" - это компактность и "широта охвата", что чревато возможными ложными срабатываниями... 


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 12 Июль 2007, 14:16:45
DenZzz, я имею ввиду спорные правила. Например: click, partners, informers может еще что-то. Все они будут отключены и пусть пользователи сами решают включать их или нет. Все мы понимаем, что дефолтный ЧС не должен резать всю рекламу и должен иметь как можно меньше ложных срабатываний. Михаил привел очень много не рекламных ссылок, которые режутся правилом click. Если юзер не сможет зайти на один из этих сайтов, то у него может сложиться неправильное впечатление об этой программе.

Цитировать
что чревато возможными ложными срабатываниями
Конечно, адресов всяких разных море. Встречаются и не рекламные страницы с названием banner. В любом случае будут ложные срабатывания, согласен.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 12 Июль 2007, 14:35:28
DenZzz, я имею ввиду спорные правила.

Отдельная группа для них, имхо, ни к чему. Для одного пользователя они будут полезными, а для другого могут оказаться вредными совсем другие правила! 


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 16 Июль 2007, 18:34:13
NapA, видимо, предложений по дефолтным спискам больше не будет. Можно постить окончательный вариант...


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июль 2007, 09:12:35
Итак, окончательный вариант списков.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июль 2007, 11:16:45
NapA

В "Преобразовании URL" 3-е правило ты зря так подправил - теперь оно на i30.photobucket.com, i18.tinypic.com и т.п. не срабатывает! Лучше как-то так:
True#~#^(galler(ies|y)|im?a?g?e?s?|(f|ph)ot(ki|os?)|pi(cs?|x)|tbn|www)\d+\.(?!.{2,4}/)#~##~#False#~#True#~#0
чтобы охватить все варианты: i, im, img, image, images


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июль 2007, 11:38:58
DenZzz, давай тогда уж так:
True#~#^(galler(ies|y)|im?a?(ge?s?)?|(f|ph)ot(ki|os?)|pi(cs?|x)|tbn|www)\d+\.(?!.{2,4}/)#~##~#False#~#True#~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 17 Июль 2007, 11:51:54
DenZzz, давай тогда уж так:

По функциональности они почти равнозначны, но с точки зрения производительности и использования системных ресурсов лишние круглые скобки в регулярных выражениях не есть гуд...

Хотя, пусть будет твой вариант, а то вдруг попадутся ложные срабатывания типа imas, imes и т.п. ...


Название: Re: Дефолтные списки HandyCache
Отправлено: mai62 от 17 Июль 2007, 12:56:33
Вижу вы подходите к завершению этой многотрудной работы. Как будет готово, дайте отмашку.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 17 Июль 2007, 14:12:45
Еще один окончательный вариант списков :)


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 20 Август 2007, 19:55:39
В белом списке у меня почему то нет ни одного правила,хотя должны быть,скажите пожалуйста можно это как то исправить ? я уже и списки скачивал с вашего сайта и прогу перегружал ну ни че ни помогает!?! и в проге стоит галка разрешен у белого списка все ра вно нет правил и все тут?!?


Название: Re: Дефолтные списки HandyCache
Отправлено: cepera_ang от 21 Август 2007, 04:22:08
ДОЛЖНЫ быть? А какие/зачем?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 21 Август 2007, 08:48:42
я уже и списки скачивал с вашего сайта и прогу перегружал ну ни че ни помогает!?!

Надо выгружать HC ДО копирования списков в его папку!
Т.е. сначала выгрузить HC, потом скопировать в его папку новые списки из скачанного выше архива и загрузить HC.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 21 Август 2007, 10:28:08
К списку "Преобразование урл":
Правило
#5#~#True#~#(?=[?&]((random(_(nocache|num))?|(nc)?rnd)=[^&]+))(.\1$|(.)\1&)#~#\7#~#False#~#True
можно оптимизировать до
#5#~#True#~#(([?&])(random(_n(ocache|um))?|(nc|rs)?rnd)=[^&]*)&|(?1)$#~#\2#~#False#~#True
одновременно добавив распознавание rsrnd

Правило
#5#~#True#~#(.*):\d+(?!443)(/.*)#~#\1\2#~#False#~#True
имхо, не будет работать как задумано. Надо
#5#~#True#~#:(?!443/)\d+/#~#/#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 21 Август 2007, 20:28:35
Михаил, правила изменил. Учту их еще в моих списках. (http://i.ru-board.com/s/wink.gif)


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 21 Август 2007, 20:45:20
NapA
Сорри, пришлось изменить чуть правило с rnd. В PCRE оно работает несколько иначе нежели в Перле.
Вместо .*? будет [^&]*
Присмотрись к посту выше, там я внес изменения через полчаса.

А ты свои списки разве не забросил? Не видно было ни откликов на последние посты, ни изменений...


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 21 Август 2007, 21:00:41
Цитировать
Присмотрись к посту выше, там я внес изменения через полчаса.
Исправил.
Цитировать
А ты свои списки разве не забросил? Не видно было ни откликов на последние посты, ни изменений...
Как ты мог такое подумать??? Если нет ответа в гостевой, то это не значит что я это не учитываю. А изменения были 4 дня тому назад.....


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 21 Август 2007, 21:33:34
Надо выгружать HC ДО копирования списков в его папку!
Т.е. сначала выгрузить HC, потом скопировать в его папку новые списки из скачанного выше архива и загрузить HC.
здравствуйте вот выгрузил Handy,загрузил списки,загрузил Handy вообще ниче нет ни белого ,ни черного -ничего!!! что мне делать?помогите плиз


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 21 Август 2007, 21:54:02
romantk, а ты после того как загрузил списки и перед тем как загрузил Handy что-нибудь еще делал? Например, распаковал архив в папку с установленной программой?


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 21 Август 2007, 22:12:26
мои действия:скачал списки,выгрузил Handy, с рабочего стола!!! открыл архив со списками,открыл папку с прогой Handy,скопировал из архива списки и вставил в папку с прогой Handy,закрыл папку с Handy,загрузил прогу Handy...нет ни одного правила ни в одном списке


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 21 Август 2007, 23:19:52
нет ни одного правила ни в одном списке

Какой версией HC пользуешься?


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 21 Август 2007, 23:25:15
версией 0,98b1


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 21 Август 2007, 23:38:32
romantk, приложи к посту свои файлы *.LST из папки HC.


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 21 Август 2007, 23:49:45
вот они (еле вставил)


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 21 Август 2007, 23:55:52
Все списки дефолтные. Есть дикое подозрение, что ты запускаешь HandyCache из другой директории, не из той, в которой меняешь списки.


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 22 Август 2007, 00:02:57
я запускаю программу из той директории куда и установил(диск такой то-программы файлов-Handy cache,просто я удалил все списки из проги вообще,потом запустил прогу опять и появились правила в списках...и опять же кроме белого,если я,опять скачиваю у вас с сайта списки то опять ничего небудет,ни одного правила


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Август 2007, 00:09:43
romantk

Посмотрел твои списки: формат верен и соответствует версии 0.98b1, но только это не списки NapA, а старые дефолтные списки, прошитые в самом HC! HC их автоматически восстанавливает, когда не находит файлы списков в своей директории! Кстати, "Белый список" там и не должен быть заполнен!

Приложи скрин-шот окна HC с открытым, например, "Черным списком" после копирования списков из архива NapA...


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 22 Август 2007, 00:15:33
romantk, появилось еще одно дикое подозрение, что НС не выгружается.
После выгрузки НС проверь в диспетчере задач, что программа выгружена, а затем меняй списки. Запусти НС, делай скриншот черного списка и шли сюда.


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 22 Август 2007, 00:42:57
файл не отправляется он весит 132kb ,а у вас на сайте ограничения по весу вложения,может через icq ? или скажите куда я скину скрин
Добавлено: 22 Августа 2007, 00:38:38

я опять скачал списки выгрузил прогу  (проверил в диспетчере что процесс не запущен)                                        вставил из архива списки в прогу и запустил прогу появились правила даже в списке белом:),что же это было?


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 22 Август 2007, 00:49:08
Ну если все получилось, то и скрин не нужен.
А было это, скорее всего, то, что я писал выше. То есть НС не выгружался. У меня очень часто с этой версией такое было (и не только у меня).


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 22 Август 2007, 00:52:55
но теперь полетел батник нажимаю на ссылку скачать что либо у вас с сайта ,а вместо скачивания файла открывается страница с символами(наверное сегодня не мой день:))
Добавлено: 22 Августа 2007, 00:51:46

ясно
Добавлено: 22 Августа 2007, 00:52:19

Ну если все получилось, то и скрин не нужен.
А было это, скорее всего, то, что я писал выше. То есть НС не выгружался. У меня очень часто с этой версией такое было (и не только у меня).
ясно


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Август 2007, 00:54:18
Выгружать НС на самом деле необязательно. После копирования списков в каталог НС достаточно правой педалью мыши клацнуть на значке в трее и выбрать "Перезагрузить списки".
А вот с выгрузкой у НС действительно проблемы - очень уж много времени порой занимает.


Название: Re: Дефолтные списки HandyCache
Отправлено: romantk от 22 Август 2007, 01:04:10
самое трудное по моему после перебивки винды  вставлять кеш (который раньше сохранил и заархивил) очень уж долго процесс идет,а если еще чет делать на компе то вообще может быть ошибка
Добавлено: 22 Августа 2007, 01:02:08

спасибо всем кто помогал мне


Название: Re: Дефолтные списки HandyCache
Отправлено: Fernand от 22 Сентябрь 2007, 11:31:37
Подскажите, что делает это правило в белом списке
True#~#\.(7z|ac3|ace|avi|avz|cab|chm|djvu?|doc|exe|flv|gz|hlp|iso|ja[dr]|m2\w|md5|mov|mp3|mpe?g|msi|nup|ogg|pdf|rar|ref|rpm|tar|tgz|ver|wmv|z(ip)?)(\?|$)#~##~##~#False#~#True#~#False#~#False#~#False#~#False#~#0


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Сентябрь 2007, 11:51:16
Подскажите, что делает это правило в белом списке

Запрещает кэширование файлов, указанных форматов.


Название: Re: Дефолтные списки HandyCache
Отправлено: Fernand от 22 Сентябрь 2007, 12:13:26
То есть, если я правильно понимаю, - исключения в "запись в кэш" делает то же самое?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 22 Сентябрь 2007, 13:10:36
Исключения в "запись в кэш" делает то же самое?

Да.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 22 Сентябрь 2007, 18:19:28
NapA
Набирает обороты основанный на XML графический формат SVG (http://ru.wikipedia.org/wiki/SVG). Имхо, полезно учесть "svgz?" в правиле 4 списка Т и соответствующем ему правиле-дубликате в списке Н.


Название: Re: Дефолтные списки HandyCache
Отправлено: NapA от 22 Сентябрь 2007, 18:44:17
ОК, учел.


Название: Re: Дефолтные списки HandyCache
Отправлено: igorved от 24 Октябрь 2007, 10:04:32
после использования list.rar (списки ) перестали показываться картинки вложения в письмах на mail.ru
и вот такую ссылку не обрабатывает, говорит, что файл отсутствует
http://win.mail.ru/cgi-bin/login?noclear=1&page=readmsg%2fBabylog_8000plus_001.jpg%3fmode%3dattachment%26channel%3d%26id%3d11931374030000015976%253b0%253b2


Название: Re: Дефолтные списки HandyCache
Отправлено: igorved от 24 Октябрь 2007, 15:43:00
причем на другой машине работает нормально. При отключении перенаправления заработало и на той. Количество попаданий нулевое для всех перенаправлений.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 24 Октябрь 2007, 17:06:28
после использования list.rar (списки ) перестали показываться картинки вложения в письмах на mail.ru

Отключи список "Только из кэша"!
Добавлено: 24 Октября 2007, 18:05:03

При отключении перенаправления заработало и на той. Количество попаданий нулевое для всех перенаправлений.

Что ты называешь "перенаправлением"?


Название: Re: Дефолтные списки HandyCache
Отправлено: igorved от 25 Октябрь 2007, 09:27:47
перепутал перенаправление с переадресацией.
когда отключил только из кэша и включил переадресацию опять перестало показывать картинки
Добавлено: 25 Октября 2007, 09:21:28

проблема была в файлах с пробелами в названии


Название: Дефолтное правило в "Переадресации" не работает почему-то
Отправлено: Qwert900 от 03 Ноябрь 2007, 13:32:09
Не отсекается лишнее вот в этой ссылке:
http://www.informer.ru/cgi-bin/redirect.cgi?url=http://www.utro.ru/news/2007/11/03/692118.shtml&src_url=utro_informer_sport.js

Правила в списке переадресация у меня такие:
#5#~#True#~#(.)+go=http#~#http#~#False#~#True
#5#~#True#~#(.)+url=http#~#http#~#False#~#True
#5#~#True#~#http%3a%2f%2f#~#http://#~#False#~#False
#5#~#True#~#%2f#~#/#~#True#~#False
#5#~#True#~#%3f#~#?#~#True#~#False
#5#~#True#~#(&src)(.+)#~#/#~#False#~#True

Вроде 2-е и последнее должны срабатывать, а что-то не срабатывают...


Название: Re: Дефолтное правило в "Переадресации" не р
Отправлено: Михаил от 03 Ноябрь 2007, 13:46:53
Должны работать. Что монитор в колонке "Правила" пишет?


Название: Re: Дефолтное правило в "Переадресации" не работает почему-то
Отправлено: Qwert900 от 03 Ноябрь 2007, 19:15:58
А ничего не пишет, зависает и всё!

Сейчас попробовал - всё нормально. Странно, то работает, то нет...
Посмотрю как дальше будет...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 07 Ноябрь 2007, 23:07:09
Имхо, неплохо б пару распространенных серверов-посредников в дефолтный список запихнуть. Один - сжимающий, другой - анонимайзер.


Название: Re: Дефолтные списки HandyCache
Отправлено: vavaka от 10 Ноябрь 2007, 13:00:52
2-е правило черного списка не пускает на расширенный поиск яндекса, а 1-е не пускало где-то на ру-борде. Может не надо так жестко?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Ноябрь 2007, 13:23:04
2-е правило черного списка не пускает на расширенный поиск яндекса, а 1-е не пускало где-то на ру-борде. Может не надо так жестко?

Ты говоришь о списках из первого поста? Скачай более свежие на 10-й странице!
И на будущее - пиши точный URL и проблемное правило...



Имхо, неплохо б пару распространенных серверов-посредников в дефолтный список запихнуть. Один - сжимающий, другой - анонимайзер.

Без файл-списков - это бессмысленно! А файл-списки надо настраивать под свои нужды индивидуально!


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 10 Ноябрь 2007, 13:42:59
Без файл-списков - это бессмысленно! А файл-списки надо настраивать под свои нужды индивидуально!
С файлами-списками. Вбить туда правило "#." ради примера. Чтоб начинающему/ленивому пользователю не пришлось шерстить документацию НС или сеть в поисках того, какие опции сервиса-посредника надо указать, вбивать все это ручками и т.п. Чтоб осталось только добавить при необходимости в файл-список свои сайты, включить нужную галку в уже готовом дефолтном списке серверов-посредников, и трафик начнет сжиматься/скрываться.

PS Ну а с указанных по умолчанию сжимающего и скрывающего сервисов начать требовать свою справедливо заслуженную долю за привлечение юзеров. :)


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Ноябрь 2007, 14:14:53
Вбить туда правило "#." ради примера.

Это будет означать сжимать/скрывать "все", что чревато осложнениями на многих сайтах - от невозможности авторизоваться и отправить пост до полного отказа в доступе!

В общем, пользователь получит больше вреда, чем пользы, от такого "примера"!
Все равно без чтения документации и тонкой настройки никак не обойтись!


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 10 Ноябрь 2007, 14:31:00
Это будет означать сжимать/скрывать "все", что чревато осложнениями на многих сайтах - от невозможности авторизоваться и отправить пост до полного отказа в доступе!

В общем, пользователь получит больше вреда, чем пользы, от такого "примера"!
Все равно без чтения документации и тонкой настройки никак не обойтись!
Хм... Так со списком "Только из кэша" по умолчанию пользователь не получит никаких картинок, и что теперь? По твоей логике, этот список должен быть по умолчанию пустым? А с Черным не сможет увидеть рекламу и зайти на некоторые рекламные сайты... Давай тоже опустошим?
Для чего есть опции "Отключить", "Временно отключить клавишей" как не для того, чтоб уметь отключать уже готовый список в ненужных случаях? А количество "многих сайтов", для которых сжатие/скрытие не проходит, неудержимо стремится на самом деле к нулю.
Дать пользователю живой пример, а также возможность сразу включить и работать без дополнительных телодвижений - это, имхо, обязательно нужно сделать.


Название: Re: Дефолтные списки HandyCache
Отправлено: vavaka от 10 Ноябрь 2007, 14:39:32
Ты говоришь о списках из первого поста? Скачай более свежие на 10-й странице!
Спасибо, помогло. А нет-ли черного списка для порно-сайтов?


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 10 Ноябрь 2007, 15:14:19
А нет-ли черного списка для порно-сайтов?
Не встречал.
У меня есть довольно сырое правило, работающее по ключевым словам:
#4#~#True#~#adult|amateur|[^a-z]anal[^y]|babe|blowjob|bondage|boob|celebrities|cumshot|dildo|dick|donne|[^a-z]ero|fetish|fuck|gay|girls|hardcore|lesbian|naughty|nude|pant(ies|y)|porn|pussy|sex(?!chang)|sluts|suck|teen|virgin|xxx#~##~#
и не сырое, но и не универсальное:
#4#~#True#~#^fhg\.|[^?]+/fhg/#~##~#
Сделаны и тестируются по результатам анализа пользовательского трафика в сети на работе :) Полностью все порно не блокируют, но хоть как-то портят жизнь любителям порно за казенный счет. Лучше, чем ничего.
Попробуй, если хочешь, с осторожностью.
А если у кого есть побольше, я б и сам с благодарностью принял набор анти-порно-правил.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Ноябрь 2007, 15:24:54
А количество "многих сайтов", для которых сжатие/скрытие не проходит, неудержимо стремится на самом деле к нулю.

У WebWarper-а всегда были проблемы с авторизацией и отправкой постов! Они не "стремятся к нулю" - они есть и будут! Поэтому для безпроблемного сжатия "всего без разбору" лучше использовать сжимающие прокси, а-ля Toonel и т.п.
Их же можно использовать и для анонимного серфинга...

Цитировать
Так со списком "Только из кэша" по умолчанию пользователь не получит никаких картинок, и что теперь? По твоей логике, этот список должен быть по умолчанию пустым? А с Черным не сможет увидеть рекламу и зайти на некоторые рекламные сайты... Давай тоже опустошим?

Не смешивай разные категории! Дефолтные списки содержат выверенные точечные правила, подходящие большинству пользователей!
Ты же не предлагаешь добавить правило .* в "Черный список", хотя у него тоже есть горячие клавиши отключения...
И включая, к примеру, "Только из кэша" пользователь уже из названия может понять для чего это нужно и чем чревато!

А бездумно включив "Серверы-посредники" с твоим правилом #. пользователь практически гарантированно получает проблемы с отправкой постов на всех форумах! Хорошо, если он быстро догадается, что причина его проблем в этой галке, а не в самом HC !
Сейчас для включения этой опции от него хоть требуется осмысливание ее назначения и настройка через чтение Документации и ФАКа, а не одномоментная бездумная простановка галки...


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Ноябрь 2007, 18:39:11
Имхо, будет полезным научить НС декодировать кириллицу при записи УРЛ в кэш.


Название: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: dv67 от 21 Ноябрь 2007, 21:57:35
Доброго времени суток Вам!
Хотелось бы подробнее почитать о назначении(их расшифровку простым для обычного юзеря языком) правил в списках "Не обновлять","Только из кэша",уставленных при инсталяции НС.Я в компьютерах не очень силен,а прога очень нравится,но дело в том что экономия у меня никогда не заходит за отметку 30%. А разобраться со списками самому очень хочется.Скачивал дефолтные списки-вроде бы все хорошо,но бывают некоторые нюансы-то своего вопроса на форуме не вижу,то страницу не могу открыть.


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: DenZzz от 21 Ноябрь 2007, 22:18:20
Хотелось бы подробнее почитать о назначении(их расшифровку простым для обычного юзеря языком) правил в списках "Не обновлять","Только из кэша",уставленных при инсталяции НС.

Почитай тему про "Дефолтные списки (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.0/)" - там многие правила расшифрованы с примерами.
Со списками "Не обновлять" и "Только из кэша" все просто - в большинстве правил просто перечислены расширения файлов, на которые эти правила срабатывают.
В Мониторе HC пишет какие правила сработали на каждом URL - понаблюдай, сам все поймешь!
Почитай мануал по RegExp, тогда узнаешь, как эти правила работают и как их составлять самому!


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: dv67 от 22 Ноябрь 2007, 09:40:41
Большое спасибо за помощь.Немного разобрался-но все же там написано для спецов,а хотелось бы к примеру так:
правило  \.(ipg|jpeg|pnj|jif|bmp|ipg|imj)$ запрещает загрузку картинок  на сайте...
правило *.css|*.js делает следущее...
Устанавливая разные значения эксперементальным путем добился экономии 87%.Но это все наугад, а хотелось ясности.Извиняюсь за назойливость!


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: Сергей от 22 Ноябрь 2007, 10:13:37
Метод тыка тут плохо работает. Потом замучаешься искать из-за чего глюки.
Лучше включи моск и почитай документацию. Все сразу станет ясно.

А комментарии к правилам давно просят. Но их по прежнему нет.


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: alier от 22 Ноябрь 2007, 10:34:30
я сам тока начал разбераться но вот пример
Цитировать
*\.(js|css)
* - это значит что строка может содержать от 0 до n символов
\. - это значит точка как текстовый знак (иначе точка расценивается как спец знак, оператор).
(js|css) - это условие ИЛИ, т.е. если встретится js или css в строке то оно сработает.
В итоге имеем что все ссылки заканчивающиеся на расширение .js и .css будут отработаны
js - это Java скрипт css не знаю но тоже скрипт.
условия можно писать в сроку и для других расширений и комбинировать
Цитировать
(.)*\.(htm|html|shtml|js|css|gif|jpg|png)
т.е. все расширения перечисленные в скобках если будут найдены в сроке(ссылке), включат правило и оно отработает в соответствующем разделе.


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: DenZzz от 22 Ноябрь 2007, 11:55:17
Немного разобрался-но все же там написано для спецов,а хотелось бы к примеру так:

А для чего это тебе? Доверься "спецам" и не "экспериментируй", пока не создал проблем на свою голову! А если хочешь сам во всем разобраться, то потрудись сначала почитать мануалы по синтаксису RegExp!

Цитировать
правило  \.(ipg|jpeg|pnj|jif|bmp|ipg|imj)$ запрещает загрузку картинок  на сайте...
правило *.css|*.js делает следущее...

Скачай новые дефолтные списки (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.0/)! Первое твое правило неполное, а второе вообще не корректно!



* - это значит что строка может содержать от 0 до n символов

И не просто символов! Это означает, что символ или подвыражение в скобках, стоящее перед квантификатором * , может повторяться от 0 до n раз!

Цитировать
\. - это значит точка как текстовый знак (иначе точка расценивается как спец знак, оператор).

Без \ точка расценивается как "любой символ".

Цитировать
(js|css) - это условие ИЛИ, т.е. если встретится js или css в строке то оно сработает.
В итоге имеем что все ссылки заканчивающиеся на расширение .js и .css будут отработаны

В таком написании js и css будут искаться не только в конце строки, а в любой ее части!
Чтобы ограничить поиск в выражение вводится обозначение конца строки $ , а лучше даже: (\?|$) , т.е. символ "?" или конец строки.

Цитировать
js - это Java скрипт css не знаю но тоже скрипт.

css - это каскадные таблицы стилей, отвечающие за дизайн сайта.


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: alier от 22 Ноябрь 2007, 12:05:12
Вам +   :good:
Поддержка супер!


Название: Re: Расшифровка правил в списках"Не обновлять","Только из кэша"
Отправлено: dv67 от 22 Ноябрь 2007, 12:07:58
css - это каскадные таблицы стилей, отвечающие за дизайн сайта.
js - это Java скрипт.
Вот это в "десятку".Большое спасибо-больше не буду надоедать и доверяюсь спецам!


Название: Re: Дефолтные списки HandyCache
Отправлено: sliffkin от 28 Ноябрь 2007, 13:12:00
Помогите пожалуйста!!! При обращении к некоторым страницам броузер выдает вот это:
Not found
HandyCache: File http://websurf.ru/bonus.php?next=5c33923a263ce0d754f92157d3bdbab8 not found in cache.
Из-за чего это и как это прекратить?


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 28 Ноябрь 2007, 15:37:11
Скорее всего сработало правило списка Только из кэша
Посмотри в мониторе какое именно правило и отключи его в списке.
Добавлено: 28 Ноября 2007, 15:41:10

Почему бы не добавить в дефолтные правила преобразование кодов русских юникодных букв в читабельный формат? Вроде же никому это не помешает?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 28 Ноябрь 2007, 16:40:18
Почему бы не добавить в дефолтные правила преобразование кодов русских юникодных букв в читабельный формат? Вроде же никому это не помешает?

Те, что предлагал Михаил на прошлой странице?

Можно, но только в отключенном виде, иначе старые пользователи рискуют утратить немалую часть своего кэша! В идеале, для внесения изменений в "Преобразование URL" нужен конвертер!


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 28 Ноябрь 2007, 17:00:39
Старые пользователи и не увидят новых правил, пока ручками не внесут их.
А конвертер просто необходим как воздух. Трудно без него.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 28 Ноябрь 2007, 17:29:27
Старые пользователи и не увидят новых правил, пока ручками не внесут их.

Могут просто не задумываясь скопировать новые списки, например, с нашего форума! Потом станут возмущаться...


Название: Re: Дефолтные списки HandyCache
Отправлено: hello от 04 Декабрь 2007, 09:26:36
Привет, я новичок, не могли бы вы поделиться своими сборками черного списка, чтобы резались баннеры, у меня стоит компьютер в сети, на котором НС стоит, и его можно нагрузить впринципе, ну большой такой списочек.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 04 Декабрь 2007, 09:51:56
Посмотри списки NapA:  http://mumurik.narod.ru/hc.html#handycache


Название: Re: Дефолтные списки HandyCache
Отправлено: hello от 04 Декабрь 2007, 09:58:10
ого большое спасибо, выключил прогу, загрузил списки, включил прогу, всё появилось.
правда один разок программа зависла, но сейчас все ок работает.


Название: Re: Дефолтные списки HandyCache
Отправлено: hello от 16 Декабрь 2007, 22:17:49
Пожалуйста не могли бы вы дать мне настройку для того чтобы кешировались файлы FLV, JS - видео флеш и Js - джава скрипты, а то постоянно грузить одно и тоже неохота и трафик денег стоит.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 16 Декабрь 2007, 22:40:36
Пожалуйста не могли бы вы дать мне настройку для того чтобы кешировались файлы FLV, JS - видео флеш и Js - джава скрипты

Во-первых, написание правил по заявкам в соседней теме!

Во-вторых, такое правило есть даже в дефолтных списках! Какие проблемы?


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 09 Февраль 2008, 18:10:48
Fernand
Ты бы это в новые предложения запостил лучше. Мысль хорошая. А еще я бы добавил кнопку сохранения всех списков. Чтобы не перезагружать программу лишний раз для этого.

DenZzz
Я тут попробовал использовать дефолтные списки. Черный список уж очень агрессивный получился. Много безобидных URL блокирует. Замаешься исключения прописывать.
Было бы неплохо вести документацию к спискам. С примерами URL которые блокируются.
А то там такая каша. Трудно понять где ошибка.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 10 Февраль 2008, 08:22:53
Я тут попробовал использовать дефолтные списки. Черный список уж очень агрессивный получился. Много безобидных URL блокирует. Замаешься исключения прописывать.

Это побочная сторона универсальности правил. Попытка охватить много разновидностей рекламых URL в компактных списках чревата редкими ложными срабатываниями. Радует то, что "по делу" правила срабатывают гораздо чаще...
Вообще, дефолтные списки в их текущем виде существуют уже почти полгода, а небольшое число возмущений в этом топике видимо свидетельствует о том, что многих они устраивают...

Цитировать
Трудно понять где ошибка.

Для этого есть Монитор и Тренажер! Первый показывает, какое правило сработало. Второй - на какую часть URL и в каких скобках...
Привести все примеры рекламных URL, на которые только могут сработать правила, нереально в силу их универсальности и бесконечного числа вариантов...


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 10 Февраль 2008, 09:50:17
Вообще, дефолтные списки в их текущем виде существуют уже почти полгода, а небольшое число возмущений в этом топике видимо свидетельствует о том, что многих они устраивают...
Не факт. Многие просто продолжают пользоваться своими старыми списками.

К сожалению, тренажером пользоваться сейчас неудобно.
Вот была бы в сообщении браузера  Blocked.... дополнительная ссылка Подробности.....
Нажимали бы ее и получали информацию о том, какое правило сработало и на каком фрагменте.


Название: Re: Дефолтные списки HandyCache
Отправлено: ded от 04 Март 2008, 11:56:34
На сайтах http://www.softlenta.com/ru/Software и http://4gb.ru/category/software при нажатии на кнопку "перейти на новость" правило Ч.83 блокорует загрузку страниц. Как можно его исправить? В целом новая версия очень нравится. Большое спасибо авторам!


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 04 Март 2008, 13:16:53
Как можно его исправить?

Добавь в "Исключение" к правилу:  (4gb\.ru|softlenta\.com)/hit
Правило часто срабатывает "по делу"...


Название: Re: Дефолтные списки HandyCache
Отправлено: ded от 04 Март 2008, 15:33:00
Добавь в "Исключение" к правилу:  (4gb\.ru|softlenta\.com)/hit
Правило часто срабатывает "по делу"...

Спасибо, помогло.


Название: Re: Дефолтные списки HandyCache
Отправлено: ded от 03 Май 2008, 17:47:00
Дефолтные списки в шапке темы отличаются от тех, что в HC RC1 1.0.0.21 (спрашиваю потому, что последняя дата их изменения 3 февраля, а дата выхода программы - 20 января)?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 03 Май 2008, 18:17:41
Дефолтные списки в шапке темы отличаются от тех, что в HC RC1 1.0.0.21 (спрашиваю потому, что последняя дата их изменения 3 февраля, а дата выхода программы - 20 января)?

Немного отличаются.


Название: Re: Дефолтные списки HandyCache
Отправлено: QJJ от 16 Май 2008, 11:17:28
Просьба. Большая просьба к знающим опытным прользователям и всем кто сможет помочь. В НС 21 версия по умолчанию загружены списки. Понять какое правило что обозначает сложно( за исключением нескольких,  которым дано описание в справке).  К примеру в "черном списке"  понять, что блокирует  правило 17 или 2 , простому пользователю темный лес, если конечно методом долгих проб и ошибок с постоянным монторингов росто не вычислить.  Теперь конкретно , моя просьба. 
Выложите расшифровку правил (установленных по умолчанию) в 21 версии. 
Интересует конкретно:
-белый список
-черный список!!!!!!! (хотя бы его)
-не обновлять
-только из кэша
-преобразование URL.
(к примеру:  ЧЕРНЫЙ СПИСОК .  1)блокирует рекламу с сайта такогото, или блокирует загрузку того то.   
                                              2) блокирует загрузку статистики того то того то флэш анимации  или чего там еще может быть .....и.т.д
ну что то в таков роде вполне будет понятно.) 

Можно и в фак кинуть или доюавить в справку  вдальнейшем.
Заранее ОГРОМНОЕ СПАСИБО ВСЕМ  кто  расшифрует. :thanks:
__________________________________
P.S.  ХОТЯ ПО НОМЕРАМ НЕ ПОЛУЧИТЬСЯ.( сортировка  у всех разная),  тут только: правило-расшифровка.


Название: Re: Дефолтные списки HandyCache
Отправлено: Byfuglien от 16 Май 2008, 11:29:15
2 QJJ
Так ведь давно, многократно и кучей народу высказывалась просьба к автору сделать возможность добавления комментария к каждому правилу. Посмотри здесь (http://handycache.ru/component/option,com_smf/Itemid,10/topic,651.0/). Но все это без объяснений игнорируется. :(


Название: Re: Дефолтные списки HandyCache
Отправлено: QJJ от 16 Май 2008, 11:36:36
О как :o  Жаль.   Но так как вопрос не только к автору, то может кто и выложит.  За что огромное   :thanks:


Название: Re: Дефолтные списки HandyCache
Отправлено: mai62 от 16 Май 2008, 12:17:22
Byfuglien
Цитировать
Так ведь давно, многократно и кучей народу высказывалась просьба к автору сделать возможность добавления комментария к каждому правилу. Посмотри здесь. Но все это без объяснений игнорируется.
Синтаксис регулярных выражений допускает использование комментариев внутри самого регулярного выражения. Никто не запрещает этим пользоваться. Например, так
Цитировать
(?#Все картинки).*\.(jpg|jpeg|png|gif|bmp|swf|ico)$


Название: Re: Дефолтные списки HandyCache
Отправлено: QJJ от 16 Май 2008, 12:34:20
с картинками разобрались  :), теперь я знаю что это правило обозначает в каталоге "не обновлять"- не обновлять все картинки ...ура!!!

ну почему бы вот так и не расшифровать все правила установленные по умолчанию в 21 версии???  просто списком кинуть в фак???

(.)*\.(js|css)- что оно обозначает?  что не будет обновляться?
(.)*\.(swf|ico)-что будет браться или не браться из кэша?

 Други!!!... кто рубит, кто знает, растолкуйте списки :oops:  пожалуйста.
 :thanks:
_________________________
Может в программе так и сделать?  Все что по умолчнию идет нормальным русским языком( формулы скрыты).
Пример: в списке не обновлять,  идет надпись " не обновлять картинки"- пользователь же ставит галку надо или нет.  В черном списке- "блокировать флэш анимацию"- пользователь ставит надо или нет.   А вот если кто желает чего больше  написать себе, то тот уже дописывает что душе угодно, значить человек  все и так понимает и может сам себе все прописать и написать,  пользователь которого устраивает средние показатели работы кэша пользуется тем что есть по умолчанию и не ломает голову : " а что обозначает сие правило в черном списке??? "  (count(\d|er|\.rbc)|hitbox|advertising|linkexchange|click\d|\dcount|adriver)  ?????? ( как пример), что блокируется???  что не грузиться???    В целом программа ..как идея понравилась , только слепое использование не дас того результата который мог бы быть.    Все равно спасибо, бум знать что и такое есть.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 16 Май 2008, 12:54:13
ну почему бы вот так и не расшифровать все правила установленные по умолчанию в 21 версии???  просто списком кинуть в фак???

А почему бы новичкам для начала не почитать хотя бы эту тему, где многие правила расшифрованы с примерами?!
В частности, про (js|css) было тщательно разжевано на предыдущей странице (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.msg8540/#msg8540)!  :rtfm:

P.S. А еще новичкам не помешало бы обновить свои доисторические списки! В 21 сборке списки другие! В частности, в "Черном списке" правила для удобства понимания были специально сгруппированы по их назначению!


Название: Re: Дефолтные списки HandyCache
Отправлено: mai62 от 16 Май 2008, 12:58:20
Цитировать
Может в программе так и сделать?  Все что по умолчнию идет нормальным русским языком
Думаю назначение очень немногих правил можно описать в двух-трех словах, чтобы было сразу понятно.


Название: Re: Дефолтные списки HandyCache
Отправлено: QJJ от 16 Май 2008, 13:10:46
А почему бы новичкам для начала не почитать хотя бы эту тему, где многие правила расшифрованы с примерами?!
В частности, про (js|css) было тщательно разжевано на предыдущей странице (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.msg8540/#msg8540)!  :rtfm:

P.S. А еще новичкам не помешало бы обновить свои доисторические списки! В 21 сборке списки другие! В частности, в "Черном списке" правила для удобства понимания были специально сгруппированы по их назначению!


Дефолтные списки в шапке темы  которые?

-------------------------------------
Установил, да списки другие у меня были, тут понятно да хоть что к какой группе в черных списках.
Спасибо , будем юзать дальше.


Название: Re: Дефолтные списки HandyCache
Отправлено: wiser от 30 Май 2008, 15:02:53
А почему в списках нет правила на блокирование "нежелательного" интернет ресурса путем блокирования указанного сайта?
Может кто напишет пример - заблокировать "http://loveplanet.ua"


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 30 Май 2008, 16:27:02
А почему в списках нет правила на блокирование "нежелательного" интернет ресурса путем блокирования указанного сайта?

Чего? Переведи...

Цитировать
Может кто напишет пример - заблокировать "http://loveplanet.ua"

Я ж отвечал тебе уже в соседней теме!  >:(
+loveplanet.ua


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 20 Июнь 2008, 16:48:45
Как безболезненно обновить дефолтные правила? Чтобы не удалить те, что созданны вручную.
Может завести два файла для каждого списка? В одном будут записаны правила зашитые в программу а в другом - те, что я сам добавил потом.


Название: Re: Дефолтные списки HandyCache
Отправлено: Denis от 20 Июнь 2008, 21:14:14
Вот это правило блокирует торрент трекеры что совсем даже ненадо делать.
#4#~#False#~#(\b|_)(a(cces)?s|open|sex)?track(er|ing)[^a-z]#~##~#

И чтобы на Япочте не блокировать автопроверку на новые письма (без обновления всей страницы пишет сколько новых писем пришло) надо добавить
#10#~#True#~#+export.yandex.ru/counters-mail-js.xml#~##~##~#True#~#True#~#True#~#True#~#True#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 21 Июнь 2008, 11:44:15
Может завести два файла для каждого списка? В одном будут записаны правила зашитые в программу а в другом - те, что я сам добавил потом.

Сейчас обсуждается перенос хранения настроек в БД. Там можно будет добавить отдельное поле для хранения признака "дефолтности".
Но как быть с порядком правил? В списках А, П и пока еще Б - он имеет значение!




Вот это правило блокирует торрент трекеры что совсем даже ненадо делать.

Кроме трекеров, оно много чего рекламного блокирует. Например:
http://richclick.ru/tracker.php?net=822&referrer=...
http://feeds.feedburner.com/~d/static/site-tracker.js
http://ext.host-tracker.com/uptime-img/?s=31&t=219198&m=00.09&p=Total

Цитировать
И чтобы на Япочте не блокировать автопроверку на новые письма (без обновления всей страницы пишет сколько новых писем пришло) надо добавить

ИМХО, почтовые программы удобнее веб-интерфейса... ;)


Название: Re: Дефолтные списки HandyCache
Отправлено: Denis от 21 Июнь 2008, 12:40:48
 :nea:


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 10 Июль 2008, 10:54:15
Многие сайты используют библиотечные скрипты сторонних разработчиков. Любой из таких скриптов используется на множестве различных сайтов и на каждом новом сайте приходится грузить его из сети.
Предлагаю правила списка Преобразование УРЛ для таких скриптов

Код:
#5#~#False#~#------------------- Б И Б Л И О Т Е Ч Н Ы Е   С К Р И П Т Ы -------------------#~##~#False#~#False
#5#~#True#~#^[^?]+/(browser_detect|dojo|drupal|effects|jquery|jshttprequest|lightbox|mm_menu|mootools|overlib|prototype|rico|sha1|silverlight|(flash|swf)object|scriptaculous|tw-sack|utilities)(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?.*)?$#~#common_scripts/\1.js#~#False#~#True
#5#~#True#~#^[^?]+/((curvy|nifty|rounded)[-_]?)?(corners)(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?.*)?$#~#common_scripts/\3.js#~#False#~#True
#5#~#True#~#^[^?]+/(md5)(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?.*)?$#~#common_scripts/\2.js#~#False#~#True
#5#~#True#~#^[^?]+(/vbulletin_\w+\.js(\?|$)).*#~#common_scripts\1#~#False#~#True

Число срабатываний (особенно первого правила) велико.


Название: Re: Дефолтные списки HandyCache
Отправлено: Oleg от 10 Июль 2008, 12:40:21
 Уменьшает количество папок.
Список Преобразование УРЛ.
#5#~#True#~#^www\d{0,3}\.#~##~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 10 Июль 2008, 19:43:31
Давно пора включить в дефолтный список преобразование URL такое правило
#5#~#True#~#^(.)#~#\1/\0#~#False#~#True
А лучше встроить в алгоритм URL2File. Как было в CoolProxy.
Это реально уменьшит количество папок в корне кэша.
Все пока упирается в отстутсвие утилиты по конвертации кэша. После включения правила придется вручную раскидать тысячи папок в уже существующем каталоге Cache.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2008, 10:19:51
Ввиду повсеместного использования картографических сервисов, дефолтные списки должны, имхо, содержать правила для Google Earth, Google Maps, Яндекс-Карты, Рамблер-Карты.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 11 Июль 2008, 14:46:22
Многие сайты используют библиотечные скрипты сторонних разработчиков. Любой из таких скриптов используется на множестве различных сайтов и на каждом новом сайте приходится грузить его из сети.

Скрипты-то, конечно, библиотечные, но на разных сайтах могут использоваться разные их версии - та, что нормально работает на одном сайте, может некорректно работать на другом!
Пробежался сейчас твоим первым правилом по своим логам - довольно часто встречаются одноименные скрипты разных размеров (версий). Есть гарантии полной взаимозаменяемости разных версий библиотечных скриптов?

Уменьшает количество папок.
Список Преобразование УРЛ.
#5#~#True#~#^www\d{0,3}\.#~##~#False#~#True

Это уже давно делает 3-е правило в дефолтном списке "Преобразование URL"!

Давно пора включить в дефолтный список преобразование URL такое правило
#5#~#True#~#^(.)#~#\1/\0#~#False#~#True

Для чего? Для более быстрого формирования списка папок при ручном ковырянии в кэше?
При таком правиле, например, yandex.ru попадет в папку "y", а img-fotki.yandex.ru в папку "i". Это удобно? Лично мне - нет!

Ввиду повсеместного использования картографических сервисов, дефолтные списки должны, имхо, содержать правила для Google Earth, Google Maps, Яндекс-Карты, Рамблер-Карты.

О каких списках речь и что конкретно будут делать эти правила? Лучше с примерами...


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 11 Июль 2008, 17:24:15
Для чего? Для более быстрого формирования списка папок при ручном ковырянии в кэше?
При таком правиле, например, yandex.ru попадет в папку "y", а img-fotki.yandex.ru в папку "i". Это удобно?

Так очень удобно. Не надо ждать несколько секунд чтобы открылась папка кэша.
В CoolProxy это называется компактный формат кэша. Думаю стоит провести опрос. Сомневаюсь, что только мне хочется сократить в сотни раз количество элементов в корневой папке кэша.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 11 Июль 2008, 19:50:42
Есть гарантии полной взаимозаменяемости разных версий библиотечных скриптов?
Примерно такие же как нынешние гарантии правильного срабатывания остальных правил дефолтных списков - основаны на практике использования. За примерно полгода работы этого правила засек одно "плохое" срабатывание (из-за несоответствия версии скрипта swfobject.js).


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 12 Июль 2008, 11:42:47
В принципе, правила библиотечных скриптов md5 и vbulletin тоже можно добавить в первое правило. Исторически я писал их позже и на период тестирования делал отдельными правилами. Итого может быть так:
#5#~#True#~#^[^?]+/(browser_detect|dojo|drupal|effects|jquery|jshttprequest|lightbox|md5|mm_menu|mootools|overlib|prototype|rico|sha1|silverlight|(flash|swf)object|scriptaculous|tw-sack|utilities|vbulletin_\w+)(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?.*)?$#~#common_scripts/\1.js#~#False#~#True

Если перед кем-то стоит вопрос о том, чтоб использовать везде самую последнюю версию таких скриптов, то это, пожалуй, можно делать с помощью правил в списке серверов-посредников, качая такой скрипт с оффсайта. Например,
#5#~#True#~#JS-Lib. Sha1#~#http://pajhome.org.uk/crypt/md5/sha1.js##~##~#^[^?]+/sha1(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?|$)
при вызове с какой-либо страницы скрипта sha1.js, НС полезет на оффсайт этого скрипта и возьмет оттуда самый свежий вариант.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 12 Июль 2008, 17:19:44
В CoolProxy это называется компактный формат кэша. Думаю стоит провести опрос.

На предмет чего? Добавлять это правило или нет? Как ты уже сам заметил, без конвертора кэша добавлять такое правило в дефолтный список нельзя, т.к. для неопытных пользователей это чревато полной потерей кэша! А те, кто в состоянии сделать ручную конвертацию, сами смогут добавить такое правило при необходимости.

Вообще, это предложение уже обсуждалось в теме "Алгоритм преобразования URL в имя файла в кэше (http://handycache.ru/component/option,com_smf/Itemid,10/topic,78.0/)", как и много чего еще, на что сейчас, вероятно, пока нет времени...

Примерно такие же как нынешние гарантии правильного срабатывания остальных правил дефолтных списков

Хм... Нынешние дефолтные правила не смешивают разные версии файлов с совершенно разных сайтов!

Если перед кем-то стоит вопрос о том, чтоб использовать везде самую последнюю версию таких скриптов

Вопрос стоит не в принципиальности использования самой последней версии скрипта, а в работоспособности той, что используется на каждом конкретном сайте! Последняя версия может работать там неправильно. Говоришь, заметил всего одно "плохое" срабатывание, а может, просто не обратил внимание, что скрипт не сработал...

Цитировать
это, пожалуй, можно делать с помощью правил в списке серверов-посредников, качая такой скрипт с оффсайта. Например,
#5#~#True#~#JS-Lib. Sha1#~#http://pajhome.org.uk/crypt/md5/sha1.js##~##~#^[^?]+/sha1(([-._]release)?[-._]v?[\d.]+)?(\.pack)?\.js(\?|$)

Такое правило в серверах-посредниках работать не будет! Префикс дописывается к исходному URL, а не заменяет его.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 12 Июль 2008, 18:07:10
Цитировать
Нынешние дефолтные правила не смешивают разные версии файлов с совершенно разных сайтов!
Не страшно. Причины возможной неправильности их срабатывания в другом, но они тоже есть. Какая пользователю разница, отчего неправильно работает правило: от не того номера версии файла или от неправильного определения типа контента.
Цитировать
может, просто не обратил внимание, что скрипт не сработал...
Чтобы стать для пользователя важным, "скрипт не сработал" должно находить материальное воплощение. Если к отображению страницы и работе с ней претензий нет, какая мне разница, сработал там скрипт или нет. Точно так же как существуют блокируемые нынешними списками УРЛы, которые рекламой не являются, но блокирование которых проходит так же незаметно и без последствий для пользователя. А вот если блокировано что-то важное, только тогда бьется тревога.
Чтобы разобраться в сомнениях, правило для библиотечных скриптов может погонять любой желающий. У меня гоняется около полугода, пока полет нормальный.
Цитировать
Префикс дописывается к исходному URL, а не заменяет его.
Это учитывается добавлением в конце префикса "#". Поэтому правило рабочее. Только так ли уж оно нужно? Хотя если брать во внимание, что в новых версиях зачастую сохраняется совместимость с прежними + правятся баги + добавляются фичи, такое правило тоже может представлять определенный интерес.

Еще хочу отметить, что если найдено (http://handycache.ru/forum/index.php?topic=31.msg12847#msg12847) ложное срабатывание дефолтного правила, то правило нужно изменять или добавлять исключение. Подход типа "пусть оно не работает с этим, зато работает со 100 другими", имхо, не идет на пользу. Должно работать со всеми, учитывать все обоснованные претензии пользователей.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 12 Июль 2008, 19:59:11
Подход типа "пусть оно не работает с этим, зато работает со 100 другими", имхо, не идет на пользу. Должно работать со всеми, учитывать все обоснованные претензии пользователей.

Увы, на практике это невыполнимо! Побочный эффект универсальности - всем сразу не угодить...


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 13 Июль 2008, 12:50:12
На предмет чего? Добавлять это правило или нет?
Не надо правило. Это должна быть галка в настройках. А конвертацию желательно должен уметь делать сам HC. Т.к. в данном случае операция примитивная. Сложно только ее руками сделать. Ни одна сторонняя программа по переименованию файлов этого не может.

А голосоваnm предлагаю по вопросу Согласны ли вы уменьшить число папок в корне кэша в сотни раз?


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 13 Июль 2008, 13:58:02
Долго и полезно в списке "Не обновлять" работают у меня два правила:

#5#~#True#~#^[^?]+[?/]\w*\d{4,}(\.(aspx?|[ds]?html?|txt))?/?$#~#^gismeteo\.ru/(weather/)?g?m?towns\d?/|/20[01]\d/|^soft\.softodrom\.ru/ap/|^inosmi\.ru/translation/#~##~#

#5#~#True#~#^[^?]+\?.*id=\d{4,}#~##~##~#

Первое насчитывает более 60 тыс. срабатываний и экономит кучу трафика. Но нашлись и противопоказания, забитые в исключения. Могут, наверное, найтись еще. Но уж больно полезное правило.
Второе сработало более 9 тыс. раз. Ложных срабатываний пока не встречал.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 13 Июль 2008, 14:25:44
Не надо правило. Это должна быть галка в настройках.

Насколько я помню, вариантов сортировки папок в кэше предлагалось аж три: v0lt (http://handycache.ru/component/option,com_smf/Itemid,10/topic,78.msg3203/#msg3203), popkov (http://handycache.ru/component/option,com_smf/Itemid,10/topic,78.msg3204/#msg3204) и Дем (http://handycache.ru/component/option,com_smf/Itemid,10/topic,78.msg3209/#msg3209).
И каждый из авторов отстаивал свой вариант и критиковал "чужой"!

Ты же предлагаешь уже четвертый вариант а-ля CoolProxy, причем хочешь встроить его прямо в HC.
Чем твой вариант лучше тех трех? Лично мне не нравится, что у тебя домены 3-го уровня одного сайта окажутся в совершенно разных папках! С этой точки зрения варианты v0lt-а и popkov-а импонируют мне больше... Но какой из них лучший?

Почитав "горячий" пост (http://handycache.ru/component/option,com_smf/Itemid,10/topic,78.msg3367/#msg3367) popkov-а, прихожу к выводу, что навязать всем пользователям только один вариант сортировки папок кэша нельзя и каждый должен решить для себя сам, какая структура кэша ему удобнее...



Ввиду повсеместного использования картографических сервисов, дефолтные списки должны, имхо, содержать правила для Google Earth, Google Maps, Яндекс-Карты, Рамблер-Карты.

Позже выложу скрипт для запросов, который не обновляет картинки с нестандартным расширением по типу файлов в кэше. Тестировал на Google Maps - работает нормально...


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 14 Июль 2008, 00:12:51
Вариант v0lt-а пожалуй самый лучший. Я не внимательно читал ту тему.
Идея использовать не первую букву URL а первую букву домена второго уровня очень удачна.

Цитировать
Пример: файлы с handycache.ru лежат в \_h_\handycache.ru\
файлы с forum.ru-board.com лежат в _r_\forum.ru-board.com\
домены начинающиеся на цифры лежать в _0_\

Только не совсем понимаю необходимость подчеркиваний. Несомненный плюс - минимум модификации текущей структуры кэша. Мы просто раскидываем папки в 27 групп. Причем папки относящиеся к одному сайту окажутся рядом.

Хотелось бы увидеть правило для преобразования URL.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 14 Июль 2008, 15:40:40
Для Яндекс-карт в Не обновлять когда-то вписал
#5#~#True#~#^base\d*\.maps\.yandex\.net/tiles/\d+/\?#~##~##~#
а в Преобразование УРЛ
#5#~#True#~#^base\d*\.(?=maps\.yandex\.net/tiles/\d+/\?)#~##~#False#~#True

Для Google Earth и Google Maps:
Не обновлять
#5#~#True#~#^kh(mdb)?\.google\.com/flatfile\?#~##~##~#
#5#~#True#~#^(cbk|kh|mt)m?\d*\.google\.\w+/\1\?#~##~##~#
#5#~#True#~#^(\w+\.)?google\..*\.km[lz]$#~##~##~#24:00
Преобразование УРЛ
#5#~#True#~#^(cbk|kh|mt|)m?\d*(\.google\.\w+/\1\?.*?)(&s=\w*)?$#~#\2#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 27 Июль 2008, 16:40:31
Идея использовать не первую букву URL а первую букву домена второго уровня очень удачна.
...
Хотелось бы увидеть правило для преобразования URL.

Для доменных имен:
#5#~#True#~#^([^/]+\.)?(\w)[^./]*\.[^./\d]+(:\d+)?/#~#\2/\0#~#False#~#True
Для IP:
#5#~#True#~#^\d+(\.\d+){3}(:\d+)?/#~#_IP/\0#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Wil от 28 Июль 2008, 12:31:03
лично у меня сортировка в кеше такая
#5#~#False#~#---------------IP в отдельную папку-----------------#~##~#False#~#False
#5#~#True#~#^(((\d{1,3})\.){3})\d{1,3}\/#~#_ip/\0#~#False#~#True
#5#~#False#~#---имена доменов(выше 2 ур) по папкам доменов----#~##~#False#~#False
#5#~#True#~#^(([^/]+)*)\.(\w*)\.(\w*)/#~#\3.\4/\0#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 28 Июль 2008, 14:04:33
#5#~#True#~#^(([^/]+)*)\.(\w*)\.(\w*)/#~#\3.\4/\0#~#False#~#True

Крайне прожорливая конструкция в плане использования системных ресурсов! Ни к чему без необходимости увлекаться лишними скобками! Можно же было тоже самое написать и проще:
#5#~#True#~#^[^/]+\.(\w+\.\w+)/#~#\1/\0#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Wil от 28 Июль 2008, 14:25:02
Крайне прожорливая конструкция в плане использования системных ресурсов! Ни к чему без необходимости увлекаться лишними скобками! Можно же было тоже самое написать и проще:
#5#~#True#~#^[^/]+\.(\w+\.\w+)/#~#\1/\0#~#False#~#True
спасибо


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 29 Июль 2008, 11:39:48
DenZzz Спасибо :)
Как бы теперь переконвертировать полегче существующий кеш.....


Название: Re: Дефолтные списки HandyCache
Отправлено: Сергей от 29 Июль 2008, 13:43:46
Кстати, а домен второго уровня может быть из одной буквы?
Просто правило не работает на адресах типа http://a.ru/

Проверил. Действительно. Таких адресов не бывает.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 29 Июль 2008, 21:15:23
Проверил. Действительно. Таких адресов не бывает.

Вообще-то, бывает. ;) Например: http://i.ua/

Правило выше пофиксил - заменил в одном месте "+" на "*" :
#5#~#True#~#^([^/]+\.)?(\w)[^./]*\.[^./\d]+(:\d+)?/#~#\2/\0#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Oleg от 02 Август 2008, 22:10:55
  
Код:
<a title="Перевод страницы сайта (с выдел.-текст) /
Translation of page of a website" href="javascript:var t=((window.getSelection&&window.getSelection())||(document.getSelection&&document.getSelection())||(document.selection&&document.selection.createRange&&document.selection.createRange().text));var e=(document.charset||document.characterSet);if(t!=''){location.href='http://translate.google.com/translate_t?hl='+(t.match(/[А-я].*/)?'en':'ru')+'&langpair=auto|'+(t.match(/[А-я].*/)?'en':'ru')+'&text='+encodeURIComponent(t)+'&tbb=1&ie='+e;}else{location.href='http://translate.google.com/translate?hl=ru&u='+location.href+'&tbb=1&ie='+e;}">кнопка</a>
для перевода на русский страницы или выделенного текста.
 Правило Преобразование URL для перевода Google.
Код:
#5#~#True#~#^(translate\.google(\.\w{2,3}){1,2}|(?:[0-9]{1,3}\.){3}[0-9]{1,3})(/translate(_\w)?\?.+)&usg=[\w-]+\b#~#translate.google.com\3#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Villi от 08 Август 2008, 06:04:04
У меня не работает правило №28 в черном списке НС: #4#~#True#~#an\.yandex\.ru/(?!code)#~##~#


Все равно загружается такой урл:
http://an.yandex.ru/code/10630?rnd=87742&direct-style=2&direct-limit=4&market-style=0

Почему?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 08 Август 2008, 07:18:37
Все равно загружается такой урл:
http://an.yandex.ru/code/10630?rnd=87742&direct-style=2&direct-limit=4&market-style=0

Потому что скобка (?!code) в правиле его исключает! Зачем, не знаю - правило не мое. Мое личное правило режет и такие URL без особых неудобств...



Название: Re: Дефолтные списки HandyCache
Отправлено: Villi от 08 Август 2008, 09:01:00
Так будет правильно?:
#4#~#True#~#an\.yandex\.ru/#~##~#


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 08 Август 2008, 09:30:24
Да.


Название: Re: Дефолтные списки HandyCache
Отправлено: Oleg от 25 Август 2008, 20:55:56
 Редактирование сообщения.
  
Код:
javascript:var t=((window.getSelection&&window.getSelection())||(document.getSelection&&document.getSelection())||(document.selection&&document.selection.createRange&&document.selection.createRange().text));var e=(document.charset||document.characterSet);if(t!=''){location.href='http://translate.google.com/translate_t?hl=ru&langpair=auto|'+(t.match(/[А-я].*/)?'en':'ru')+'&text='+encodeURIComponent(t)+'&tbb=1&ie='+e;}else{location.href='http://translate.google.com/translate?hl=ru&u='+escape(location.href)+'&tbb=1&ie='+e;}
для перевода на русский страницы или выделенного текста (ссылку можно запустить в адресной строке).
 Правило Преобразование URL для перевода Google и Babelfish (для начального использования).
Код:
#5#~#True#~#^(translate\.google(\.\w{2,3}){1,2}|(?:[0-9]{1,3}\.){3}[0-9]{1,3})(/translate(_\w)?\?)(.+&)?(u=(https?(:|%3a)(//|%2F%2F))?(www\d{0,3}\.)?)([^&]*).*#~#translate.google.com\3\11#~#False#~#True
Код:
#5#~#True#~#^(babelfish.yahoo.com|(?:[0-9]{1,3}\.){3}[0-9]{1,3}/babelfish)(/translate_url(_[\w-]+)?\?)(.+&)?((tr)?url=(https?(:|%3a)(//|%2F%2F))?(www\d{0,3}\.)?)([^&]*).*#~#babelfish.yahoo.com\2\11#~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Valeri614 от 27 Август 2008, 10:05:39
лично у меня сортировка в кеше такая
#5#~#False#~#---------------IP в отдельную папку-----------------#~##~#False#~#False
#5#~#True#~#^(((\d{1,3})\.){3})\d{1,3}\/#~#_ip/\0#~#False#~#True
#5#~#False#~#---имена доменов(выше 2 ур) по папкам доменов----#~##~#False#~#False
#5#~#True#~#^(([^/]+)*)\.(\w*)\.(\w*)/#~#\3.\4/\0#~#False#~#True

Крайне прожорливая конструкция в плане использования системных ресурсов! Ни к чему без необходимости увлекаться лишними скобками! Можно же было тоже самое написать и проще:
#5#~#True#~#^[^/]+\.(\w+\.\w+)/#~#\1/\0#~#False#~#True

а с первым - #5#~#True#~#^(((\d{1,3})\.){3})\d{1,3}\/#~#_ip/\0#~#False#~#True  - всё нормально
в плане использования системных ресурсов!

?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 27 Август 2008, 11:31:36
а с первым - #5#~#True#~#^(((\d{1,3})\.){3})\d{1,3}\/#~#_ip/\0#~#False#~#True  - всё нормально ?

Его тоже хорошо бы упростить:
#5#~#True#~#^(\d+\.){3}\d+/#~#_ip/\0#~#False#~#True


Название: Шарим mp3 в P2P с помощью HandyCache
Отправлено: ivan386 от 11 Сентябрь 2008, 00:09:44
На примере зайцев.

Кеш --> Преобразавание
Правило: dl\.zaycev\.net/[A-z0-9]+/[0-9]+/([0-9]+)/(.+)\.mp3
Замена: mp3collection/zaycev.net/\2(\1).mp3

Далее необходимо в P2P клиенте установить игнор на файлы с расширением .new
И расшарить папку из кеша с названием mp3collection.


Название: Re: Дефолтные списки HandyCache
Отправлено: HKLM от 21 Сентябрь 2008, 23:28:26
Есть ли изменения дефолтовых списков в новой версии RC2 1.0.0.103, по сравнению с предидущей версией?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 21 Сентябрь 2008, 23:34:44
Изменились только списки, связанные со скриптами: luaR.lst, lua.lst и mediator.lst


Название: Re: Дефолтные списки HandyCache
Отправлено: igyo от 23 Сентябрь 2008, 18:15:43
DenZzz, очень бы хотелось получить твои списки, и я думаю не мне одному. Выложи пожалуйста.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 23 Сентябрь 2008, 20:56:00
DenZzz, очень бы хотелось получить твои списки, и я думаю не мне одному.

Я уже говорил раньше, что мои списки мало отличаются от дефолтных, выложенных в первом посте.


Название: "Экспедиция" в гугл.
Отправлено: AndreyGor от 28 Сентябрь 2008, 18:06:21
Пишу любой запрос со словом "Экспедиция".
Получаю:
Blocked
Access to the requested URL http://www.google.ru/search?hl=ru&q=%D0%AD%D0%BA%D1%81%D0%BF%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D1%8F&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA+%D0%B2+Google&lr=&aq=f&oq was not allowed (rule #114)

Где  правило 114 это:
#4#~#True#~#(\b|_)(abn|active|ext|get|img|live|page|php|real|soft|text|view)?ad(block|bot|brite|bureau\.net|cl(ick(er|s)?|x)|cy(ber|cle)|dpost|dthis|dweb|engage|flight|fox|frames?|images?|js|land|link|log(ix)?|name|net|onspot|pics?|pop|revolver|river|runner|s(erv(er?|ing)?)?|to(logy|mi)|ult|v(er(net)?(t(arium|i[sz](e(rs?)?|ing)|s)?)?|s|iew)?|x)?[^a-z]#~#adv([-_]|anced)#~#

Help, please.  :(


Название: Re: "Экспедиция" в гугл.
Отправлено: DenZzz от 28 Сентябрь 2008, 21:45:50
Добавь в исключение того правила "%ad". В поле "Исключение" должно получиться так:  %ad|adv([-_]|anced)


Название: Re: Дефолтные списки HandyCache
Отправлено: wiser от 01 Октябрь 2008, 17:08:05
Теперь с выходом новой версии HandyCache RC2 1.0.0.103 UNSTABLE по старой "поддержки" уже не будет?
А есть ли возможность хотя бы списки "обновить"?


Название: Re: Дефолтные списки HandyCache
Отправлено: HKLM от 01 Октябрь 2008, 18:46:26
В списках почемуто не прописан pcre.lua который гдето здесь скачал. Прописал его в конец списка lua.lst и сделал все как написано в readme. Вопрос в том зачем нужен этот скрипт, что он делает? Может он уже устарел?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 01 Октябрь 2008, 19:19:35
Теперь с выходом новой версии HandyCache RC2 1.0.0.103 UNSTABLE по старой "поддержки" уже не будет?

По какой "старой"? И о какой "поддержке" вообще речь? Баги будут правиться в новой версии, как всегда и было...

Цитировать
А есть ли возможность хотя бы списки "обновить"?

Обновляй. Формат списков не менялся.

Добавлено: 01 Октября 2008, 20:16:08

В списках почемуто не прописан pcre.lua который гдето здесь скачал.

Не знаю, где ты его качал. Такого скрипта я не знаю. Знаю библиотеку pcre.dll, которую никуда прописывать не надо!


Название: Re: Дефолтные списки HandyCache
Отправлено: HKLM от 01 Октябрь 2008, 19:28:37
Не знаю, где ты его качал. Такого скрипта я не знаю. Знаю библиотеку pcre.dll, которую никуда прописывать не надо!
Это из hc_script.zip http://handycache.ru/component/option,com_remository/Itemid,2/func,select/id,3/
Там в написано, что это пример скрипта, но что он делает не сказано.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 01 Октябрь 2008, 19:32:37
Там же написано: "Пример использования библиотеки rex_pcre". Ничего полезного скрипт не делает! Удали его из lua.lst .


Название: Re: Дефолтные списки HandyCache
Отправлено: wiser от 08 Октябрь 2008, 14:28:38
Если я скачаю новую версию HandyCache RC2 1.0.0.103 UNSTABLE, вытащу оттуда списки и вставлю в свою "старую" HandyCache RC1 1.0.0.64 - работать будет? Лучше, хуже, без разницы?
У меня раньше при закрузке с депозита резалось всплывающее окно, судя по сообщениям это делал HandyCache RC1 1.0.0.64, сейчас вылазит сц......! Где чего подправить?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 08 Октябрь 2008, 15:06:17
Если я скачаю новую версию HandyCache RC2 1.0.0.103 UNSTABLE, вытащу оттуда списки и вставлю в свою "старую" HandyCache RC1 1.0.0.64 - работать будет?

Скрипты частично работать не будут! А остальные списки не менялись, можешь скачать их в первом посте этой темы.

Цитировать
У меня раньше при закрузке с депозита резалось всплывающее окно, судя по сообщениям это делал HandyCache RC1 1.0.0.64, сейчас вылазит сц......! Где чего подправить?

Добавь в "Черный список".


Название: Re: Дефолтные списки HandyCache
Отправлено: DenisVS от 20 Август 2009, 17:30:39
Меняются ли списки с выходом новых версий?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 20 Август 2009, 18:59:27
Редко.


Название: Re: Дефолтные списки HandyCache
Отправлено: mirny от 26 Октябрь 2009, 18:07:02
Правило для списка "Преобразование URL".

Отбрасывает стоящие в конце index.php, default.htm и прочее подобное. Срабатывает довольно часто. Экономит трафик.

#5#~#True#~#(?>/)(index|default)(\.([msx]?html?|php|[aj]sp[ax]?))?$#~##~#False#~#True


Название: Re: Дефолтные списки HandyCache
Отправлено: Nvydbk от 03 Ноябрь 2009, 13:19:50
Не отображаются картинки в гугловском сервисе поиска изображений. Вот, например -- http://images.google.ru/images?q=робот&btnG=Поиск+картинок (http://images.google.ru/images?q=робот&btnG=Поиск+картинок)
Нужно исключение для первого правила ЧС, #4#~#True#~#(\b)([abclmntv]|ek|lit|ng|pr|soft)?bn(rs?|nr)?[^a-z]#~#tbn\d+\.google\.com#~#, сделайте, а? Сам не смог поправить, в этих скриптах ни в зуб ногой...


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 03 Ноябрь 2009, 13:54:25
Нужно исключение для первого правила ЧС, #4#~#True#~#(\b)([abclmntv]|ek|lit|ng|pr|soft)?bn(rs?|nr)?[^a-z]#~#tbn\d+\.google\.com#~#, сделайте, а?

#4#~#True#~#(\b)([abclmntv]|ek|lit|ng|pr|soft)?bn(rs?|nr)?[^a-z]#~#tbn\d+\.google\.com|gstatic\.com/images\?#~#


Название: Re: Дефолтные списки HandyCache
Отправлено: Nvydbk от 03 Ноябрь 2009, 14:21:13
Спасибо! Теперь всё работает.


Название: Re: Дефолтные списки HandyCache
Отправлено: Unicum от 15 Декабрь 2009, 04:46:42
Почему бы не обновить дефолтные списки непосредственно в дистрибутиве программы (для "чайников")? Имеет ли смысл дополнять дефолтные списки HC списками Касперского или фильтрами Ad Muncher?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenisVS от 15 Декабрь 2009, 12:05:49
Уважаемые разработчики, обновление списков, как мне кажется, очень актуальный вопрос. Для того же AdBlock существуют несколько регулярно обновляемых подписок. А для HandyCache, столь замечательной во всём остальном программы, это происходит раз в пятилетку. И всё это время регулярно что-то не то блокируется либо пропускается лишнее. Неужели самому правила рисовать?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 15 Декабрь 2009, 12:45:22
Почему бы не обновить дефолтные списки непосредственно в дистрибутиве программы (для "чайников")?

Дефолтные списки "зашиты" в сам HandyCache.exe. Если запускать его в пустой папке, то списки создадутся автоматически.

Цитировать
Имеет ли смысл дополнять дефолтные списки HC списками Касперского или фильтрами Ad Muncher?

На твое усмотрение. Кстати, фильтры AdMuncher уже есть в расширении Content Master...

Для того же AdBlock существуют несколько регулярно обновляемых подписок.

Можно использовать эти списки в расширении Content Master. Они будут блокировать/вырезать рекламу вместе с дефолтными спискам HandyCache.

Цитировать
И всё это время регулярно что-то не то блокируется либо пропускается лишнее. Неужели самому правила рисовать?

Это самый надежный способ. ;) Трудно написать универсальные правила, которые подойдут абсолютно всем! Именно поэтому списки AdBlockPlus и AdMuncher содержат в основном правила, узконаправленные на конкретные сайты, что требует постоянного их обновления и добавления новых правил для новых сайтов.
В дефолтных списках HC мы пошли по другому пути - постарались несколькими универсальными правилами охватить типичные рекламные блоки без привязки к конкретным сайтам, что в силу своей универсальности избавляет от частых обновлений списков, но разумеется чревато возможными ложными срабатываниями.

В общем, кому нужны часто обновляемые списки - используйте расширение Content Master (http://handycache.ru/component/option,com_smf/Itemid,10/topic,2453.0/) со списками AdBlockPlus и AdMuncher...



Название: Re: Дефолтные списки HandyCache
Отправлено: VladMih от 28 Февраль 2010, 00:38:40
Скачал последнюю версию, установил в пустую папку, включил все списки и сначала картинки фильтровало, а сейчас все подряд картинки грузятся, хотя они и в "Только из кэша" и в "Чёрном".
Единственное что сделал - отсортировал чёрный список по количеству попаданий.
Может я и до этого что успел сотворить, но больше ничего не припоминаю.

Кстати, стартовый красивый порядок, когда правила по группам принадлежности, уже цивилизованными способами восстановить невозможно?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 28 Февраль 2010, 07:30:47
Кстати, стартовый красивый порядок, когда правила по группам принадлежности, уже цивилизованными способами восстановить невозможно?

Можно восстановить дефолтные списки. См. первый пост этой темы.


Название: Re: Дефолтные списки HandyCache
Отправлено: VladMih от 03 Апрель 2010, 17:16:00
Можно восстановить дефолтные списки. См. первый пост этой темы.
Я спрашивал о цивилизованном методе, а убить всю свою "тонкую" подстройку ради упорядочивания по разделам - это не совсем красивый ход...

Но пришлось, сделал и... все картинки грузятся, даже гифки все.
Давно пользуюсь, но всё забыл и сейчас заново придётся лезть разбираться
как исправить (убив кучу времени) то, что мне дефолтный список натворил.


Название: Re: Дефолтные списки HandyCache
Отправлено: BaDeN от 30 Июнь 2010, 17:58:51
#4#~#True#~#(\b)([abclmntv]|ek|lit|ng|pr|soft)?bn(rs?|nr)?[^a-z]#~#tbn\d+\.google\.com|gstatic\.com/images\?#~#

А у меня не работает.Что не так делаю?Скопировал,в Черном списке жму правой кнопкой в графе Исключения и выбираю "вставить правило из буфера".
Это по поводу не отображения картинок в поиске картинки гугля.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 30 Июнь 2010, 18:49:50
Что не так делаю? Скопировал,в Черном списке жму правой кнопкой в графе Исключения и выбираю "вставить правило из буфера".

Старое правило надо удалить.


Название: Re: Дефолтные списки HandyCache
Отправлено: BaDeN от 30 Июнь 2010, 23:07:47
DenZzz
Удалял,без толку.Ты можешь свой ЧС прикрепить?


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 01 Июль 2010, 01:27:40
Удалял,без толку.

А что написано в мониторе HC в колонке "Правила"? Вероятно, еще какое-то правило или расширение срабатывает.


Название: Re: Дефолтные списки HandyCache
Отправлено: BaDeN от 01 Июль 2010, 02:14:25
Пишет Т.1.И еще когда на миниатюру картинки жму чтобы она большая стала-тоже ошибка,в мониторе Т.5.


Название: Re: Дефолтные списки HandyCache
Отправлено: DenZzz от 01 Июль 2010, 07:15:54
Список "Только из кэша" отключи!


Название: Re: Дефолтные списки HandyCache
Отправлено: BaDeN от 01 Июль 2010, 20:17:38
DenZzz
Теперь все понятно.Благодарю.


Название: Re: Дефолтные списки HandyCache
Отправлено: ooZe от 26 Январь 2011, 17:04:38
т.к. vkontakte довольно таки популярный сервис, предлагаю добавить в дефолтные правила (преобразование url) следующее:

True#~#cs[0-9]+\.(vkontakte\.ru)(/u[0-9]+)(/audio|/video)#~#\1\3#~#False#~#True#~#0
True#~#cs[0-9]+\.(vkontakte\.ru)/(u|g)(\d+/)*#~#\1/\2/\3#~#False#~#True#~#0
True#~#[0-9]+\.gt[0-9]+\.(vkadre\.ru)#~#\1#~#False#~#True#~#0
True#~#v[0-9]+\.(vkadre\.ru)#~#\1#~#False#~#True#~#0
True#~#[0-9]+\.(vkadre\.ru)#~#\1#~#False#~#True#~#0
True#~#9(3|5)\.1(86|42)\.(236|194)\.[0-9]{1,3}#~#vkadre.ru#~#False#~#True#~#0

Таким образом количество директорий в корне кэша будет гораздо меньше. Думаю всем пользователям HandyCache эти правила пригодятся. Может быть стоит их как-то доработать, я пока в регулярках не силен.


Название: Re: Дефолтные списки HandyCache
Отправлено: AlexPTS от 04 Январь 2012, 13:50:54
Я так понял, что эти правила в файл URLtoCache.lst вносятся.

Можно ли в этом файле отступить несколько строк от основного блока и добавить комментарий перед написанием пользовательский правил? Какими символами однострочные комментарии указываются (и многострочные).


Название: Re: Дефолтные списки HandyCache
Отправлено: nick7inc от 07 Март 2013, 10:40:16
Не работает загрузка c яндекс-диска (disk.yandex.ru, пример (http://yadi.sk/d/aC3b48WN2Z-WI))  из-за правил переадресации.

Предлагаю внести в белый список:
Код:
#10#~#True#~#+disk.yandex.ru#~##~##~#False#~#False#~#False#~#False#~#True#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: LordMerlin от 07 Март 2013, 10:45:50
Всего из за 1 правила.
В него можно внести исключение.


Название: Re: Дефолтные списки HandyCache
Отправлено: olDjeka от 07 Март 2013, 18:40:10
Правила переадресации основаны на предложениях 2007 года (#1 (http://handycache.ru/forum/index.php?topic=31.60#msg5366), #2 (http://handycache.ru/forum/index.php?topic=31.80#msg5464), #3 (http://handycache.ru/forum/index.php?topic=31.120#msg5648)).
Последняя рекомендация о порядке правил (http://handycache.ru/forum/index.php?topic=337.820#msg18707) от 2009 года.

На сегодня, правила для декодирования символов в списке "Переадресация" лучше использовать только для определённых сайтов или отключить.


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 11 Декабрь 2013, 10:18:19
Не работает стандартное правило
Цитировать
#10#~#True#~#\.(mkv|mp4|7z|ac3|ace|avi|avz|cab|exe|gz|iso|ja[dr]|mov|mp3|mpe?g|msi|nup|ogg|rar|rpm|tar|tgz|wmv|z(ip)?)$#~##~##~#False#~#True#~#False#~#False#~#False#~#False
При закачке с обменников летитбит, дропбокс.....(качал с помощью Universal Share Downloader (USD))
Для примера
Ссылка
Цитировать
http://u899977.letitbit.net/download/78060.73e5a24906ef2a553691335ca0a8/Vremja.ljda.14.EPIDEMZ.NET.avi.html
В кэше превращается в
Цитировать
78.140.184.151\d\20244d23bcf59796bcfe54c40b87\Vremja.ljda.14.EPIDEMZ.NET.avi^\AC6219F6

Можно ли это победить красиво, бо как некрасиво я знаю(другая копия, другой каталог кэша с удалением....)


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 11 Декабрь 2013, 21:45:58
Не работает стандартное правило
При закачке с обменников летитбит, дропбокс.....(качал с помощью Universal Share Downloader (USD))
Для примера
...
Правило-то работает. Всё дело в том, что прямая ссылка, формируемая скриптом, в конкретном случае, целиком выглядит примерно так:

Код:
http://78.140.184.152/d/7be1556c71deb479d684294acb1d/Vremja.ljda.14.EPIDEMZ.NET.avi?e=1386868338&s=51200&p=UFMBDFIwURR8W1Z6BwcgWg%3D%3D&uuid=78060.73e5a24906ef2a553691335ca0a8&pin=899977let&ext=&ip=147.30.124.193&st=QP2XHq0k91U6aF4wiSvHRg

а правило (в данном случае для видеофайла - \.avi$) срабатывает только на ссылки оканчивающиеся расширением ".avi", в регулярках $ - символ окончания строки, после которого ничего нет, т.е. чтобы совпадение было найдено, ссылки должны выглядеть так:
_http://www.site.com/sample.avi
Победить можно, но только если изменить правило, либо добавить новое. Необходимо только выявить что-то общее в подобных ссылках и сделать привязку регулярки к этому общему. В общем, надо набрать статистику по прямым ссылкам, требуется уточнение как именно они выглядят.
Можно попробовать модифицировать правило БС так:
Код:
\.(mkv|mp4|7z|ac3|ace|avi|avz|cab|exe|gz|iso|ja[dr]|mov|mp3|mpe?g|msi|nup|ogg|rar|rpm|tar|tgz|wmv|z(ip)?).*$
но это слишком некрасиво и слишком высока вероятность ложного срабатывания...


Название: Re: Дефолтные списки HandyCache
Отправлено: olDjeka от 14 Декабрь 2013, 01:56:55
Не работает стандартное правило
Это правило как раз предназначено не для записи, а для предотвращения записи в кэш больших файлов (как правило, файлы с указанными расширениями больших размеров). И если оно сработает, то файл не запишется.
Если требуется запись таких файлов, то данное правило следует отключить.

Для унификации файлов можно попробовать отключить стандартное правило списка "Преобразование URL"
Цитировать
#5#~#True#~#(\.(css|js|gif|jpe?g|png|swf))\?.*#~#\1#~#False#~#True
затем вставить рядом и включить изменённое
Цитировать
#5#~#True#~#(\.(css|js|gif|jpe?g|png|swf|avi))\?.*#~#\1#~#False#~#True

В этом случае имя файла будет выглядеть примерно так
Код:
78.140.184.152\d\7be1556c71deb479d684294acb1d\Vremja.ljda.14.EPIDEMZ.NET.avi


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 14 Декабрь 2013, 13:42:26
olDjeka
Ну неужели я непонятно написал......
При закачке с обменников(определённых) эти файлы в кэше сохраняются, т.е. на них это правило не срабатывает.
YuS всё правильно написал....
В этом случае проще всего пускать через другую копию НС настроенную на другую папку, и чистить потом кэш.


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 14 Декабрь 2013, 14:21:32
В этом случае проще всего пускать через другую копию НС настроенную на другую папку, и чистить потом кэш.
Ну, это не совсем проще, всё таки ручная операция...
Чтобы минимизировать ложные срабатывания, если сделать привязку к символу "?" после расширения, то можно модифицировать правило так:

Код:
\.(mkv|mp4|7z|ac3|ace|avi|avz|cab|exe|gz|iso|ja[dr]|mov|mp3|mpe?g|msi|nup|ogg|rar|rpm|tar|tgz|wmv|z(ip)?)(\?)?(?(3).*?)$


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 14 Декабрь 2013, 18:47:18
Цитировать
Чтобы минимизировать ложные срабатывания, если сделать привязку к символу "?" после расширения, то можно модифицировать правило....

Это спасёт от летитбита, с дропбоксом там похоже по другому...

Цитировать
Ну, это не совсем проще, всё таки ручная операция...
Если качать ночью, скриптом перед запуском USDownloader, переключаем на другой каталог, который при загрузке чистим ;)
Да и ктому же это не всем надо, просто HC у меня выступает как авторизующий прокси для USDownloader.....


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 14 Декабрь 2013, 20:21:46
Это спасёт от летитбита, с дропбоксом там похоже по другому...
А что не так с дропбоксом? Там вроде ссылки оканчиваются именно расширением... хотя, не пользуюсь, всех тонкостей не знаю. Покажи несколько ссылок - сообразим чего-нибудь.

Если качать ночью, скриптом перед запуском USDownloader, переключаем на другой каталог, который при загрузке чистим ;)
Да и ктому же это не всем надо, просто HC у меня выступает как авторизующий прокси для USDownloader.....
Внешними средствами можно многое настроить. Только зачем плодить лишние сущности, когда можно просто запретить запись в кэш? :)
Последний вариант правила достаточно универсальный, он работает как с обычными ссылками, оканчивающимися расширением, так и со ссылками с параметрами, формируемыми скриптами. Причем этот вариант уже чуть красивее и лишнего захватывать не будет.


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 14 Декабрь 2013, 21:04:43
Цитировать
А что не так с дропбоксом? Там вроде ссылки оканчиваются именно расширением.
Тоже ссылка с вопросом...

Поэксперементирую с обновлённым правилом в понедельник и отпишусь....


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 17 Декабрь 2013, 15:06:10
С новым, правилом на летитбите сработало, файл в кэше не сохранился..
Осталось добавить првило чтоб с обменника вообще ничего в кэш не писалось.

Так правильно?

Цитировать
#10#~#True#~#*\.letitbit\.net/*#~##~##~#False#~#True#~#False#~#False#~#False#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 17 Декабрь 2013, 22:03:25
Осталось добавить првило чтоб с обменника вообще ничего в кэш не писалось.
Так правильно?

Код:
#10#~#True#~#letitbit\.net#~##~##~#False#~#True#~#False#~#False#~#False#~#False


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 17 Декабрь 2013, 22:22:39
А то что перед letitbit стоит конструкция типа u899977. ? Оно учитывает?


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 18 Декабрь 2013, 01:07:10
учитывает


Название: Re: Дефолтные списки HandyCache
Отправлено: DVall от 19 Декабрь 2013, 10:31:22
Спасибо, погонял пока всё работает....


Название: Re: Дефолтные списки HandyCache
Отправлено: olDjeka от 17 Февраль 2014, 02:57:14
можно оптимизировать до
#5#~#True#~#(([?&])(random(_n(ocache|um))?|(nc|rs)?rnd)=[^&]*)&|(?1)$#~#\2#~#False#~#True
Выражение [?&] стало понятно когда выяснил, что заключение символа в квадратные скобки также выполняет и роль экранирования.
Но как работает выражение (?1) не пойму (? как квантификатор не работает, да и какой в этом смысл для данного правила). Найти описание или примеры для него не удалось.
Михаил, если не затруднит, объясните пожайлуста. Буду благодарен и за ссылку на описание и/или примеры, пусть даже не на русском.


Название: Re: Дефолтные списки HandyCache
Отправлено: Михаил от 17 Февраль 2014, 08:17:54
http://vcs.pcre.org/viewvc/code/trunk/doc/html/pcrepattern.html?view=co#SEC24


Название: Re: Дефолтные списки HandyCache
Отправлено: YuS от 25 Май 2014, 15:53:21
Есть вопрос по дефолтному списку "Переадресация". Почему в нем отсутствует столбец "Исключение"?

Срабатывает обязательное, дефолтное правило:
Код:
#5#~#True#~#^[^?]*%(2[56f]|3[adf])#~#\0#~#False#~#True

на URL такого вида:
Код:
https://downloader.disk.yandex.ru/disk/35c21db19f49d5ddbbc42b5fd54427b0/5381c95c/K8V88MaFXr-VsTELpmIjvRalx8ifbi_ZDlSs_y3v9Qi5pqRyrg73nclWu92VtRtxq_J6bpmRyOJonT3VoXnDag==?uid=73796560&filename=040813_OmskNN5.rar&disposition=attachment&hash=&limit=0&content_type=application%2Fx-rar&fsize=41978574&hid=e83a7a7633141699bee7488ad226df85&media_type=compressed

и далее, соответственно, следующим правилом происходит замена "%2F" на "/" и новый URL не позволяет скачат то, что хотелось...
Так вот актуальны ли нынче эти дефолтные списки переадресации или их можно со спокойной душой отключить?


Название: Re: Дефолтные списки HandyCache
Отправлено: Zork от 21 Июнь 2015, 12:58:16
Галочка "Не показывать соединения в "в разделе "Только из кеша" не работает. Проверенно на нескольких компьютерах.


Название: Re: Дефолтные списки HandyCache
Отправлено: mai62 от 21 Июнь 2015, 21:21:14
Действительно, не работает. Спасибо, исправлю в следующей версии.