+  HandyCache форум
|-+  Главная категория» Общие вопросы» Дефолтные списки HandyCache
Имя пользователя:
Пароль:
Страниц: 1 ... 3 4 [5] 6 7 ... 18   Вниз
  Отправить эту тему    Печать  
Автор Тема: Дефолтные списки HandyCache  (Прочитано 301261 раз)
0 Пользователей и 1 Гость смотрят эту тему.
NapA
Beta tester
*****

Репутация: +5/-0
Offline Offline

Сообщений: 53



WWW
« Ответ #80 : 17 Июнь 2007, 21:16:07 »

У меня такое не встречается.
И вообще imho лучше оставить adv как было. Не думаю, что будет много ложных срабатываний.
Сообщить модератору   Записан

DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #81 : 17 Июнь 2007, 21:23:17 »

А вот даже "advanced" в рекламе:
advancedfinder.com
advancedfixer.com
advancedhunt.com
advancedsexualpleasure.com
advancedtrafficnetwork.com
advancedwebpromotions.com
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #82 : 17 Июнь 2007, 21:41:32 »

NapA
Ничего хорошего ни разу не видел на сайтах от (/|_|-|\.)*\??partners?\d*(\.|/|_|\?|=) (правило 12 в твоем расширенном ЧС). У меня очень много срабатываний этого правила. Ложных не отмечал. И достаточно универсальное опять же. Имхо, полезно, включить в дефолтный ЧС:
(\b|_)partners?[^a-z]
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #83 : 17 Июнь 2007, 22:00:58 »

И вообще imho лучше оставить adv как было. Не думаю, что будет много ложных срабатываний.

Предлагаю ограничиться просто adv([-_]|anced) в исключении к 7-му.
Сообщить модератору   Записан
NapA
Beta tester
*****

Репутация: +5/-0
Offline Offline

Сообщений: 53



WWW
« Ответ #84 : 17 Июнь 2007, 22:06:16 »

Михаил, в расширенном ЧС оно уже такое (\b|_)partners?[^a-z]. А не стал включать его в этот список, потому как существуют ложные срабатывания (их мало, но они есть).
Например:
hp.ru/partner/
nod32club\.com/partner/

DenZzz, ну хорошо. Давай так.
Сообщить модератору   Записан

Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #85 : 17 Июнь 2007, 22:08:36 »

Предлагаю ограничиться просто adv([-_]|anced) в исключении к 7-му.
advanced и сейчас не пролазит.
А не стал включать его в этот список, потому как существуют ложные срабатывания (их мало, но они есть).
Например:
hp.ru/partner/
nod32club\.com/partner/
По крайней мере два приведенных тобой - Непонимаю
Может, их настолько мало, что удастся запихать в исключения? Если нет, то блокировать хотя б URLы, начинающиеся с partners? Их тоже немало.
« Последнее редактирование: 17 Июнь 2007, 22:14:16 от Михаил » Сообщить модератору   Записан
NapA
Beta tester
*****

Репутация: +5/-0
Offline Offline

Сообщений: 53



WWW
« Ответ #86 : 17 Июнь 2007, 22:15:29 »

Что-то мы только черный список обсуждаем. А как насчет остальных?

Михаил, ну их еще есть. Я не все помню.

Хорошо, добавлю такое (\b)partners?\.
« Последнее редактирование: 17 Июнь 2007, 22:20:30 от NapA » Сообщить модератору   Записан

DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #87 : 17 Июнь 2007, 22:30:20 »

advanced и сейчас не пролазит.

Так я говорю в "Исключение" к 7-му, чтобы пролазил... Или его еще какое правило режет...

Хорошо, добавлю такое (\b)partners?\.

Я, вообще, все это добро режу по слову "partner", но в дефолтный список так писать не рекомендовал бы... Подмигивающий
Сообщить модератору   Записан
NapA
Beta tester
*****

Репутация: +5/-0
Offline Offline

Сообщений: 53



WWW
« Ответ #88 : 17 Июнь 2007, 23:05:19 »

Цитировать
но в дефолтный список так писать не рекомендовал бы...
А я вообще не хотел бы это правило добавлять. Мы ведь составляем всего-лишь дефолтный черный список (типа для начинающих).
Сообщить модератору   Записан

Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #89 : 17 Июнь 2007, 23:17:28 »

Что-то мы только черный список обсуждаем. А как насчет остальных?
Переадресацию я где-то выше предложил. Плюс в твоей гостевой пару добавок.
Преобразование URL. Где-то DenZzz приводил свое правило для сессий. Хорошо бы учесть все варианты того правила плюс ses|ses_id|sessid и планку, имхо, поднять с 5 до 13 символов.
Запись в кэш наверное самый обсужденный из всех списков на форуме (в соответствующем топике число просмотров одно из наибольших) Улыбка

Да... Забыл спросить. Почему в ЧС такая "любовь" к новостному сайту redtram.com? На нем почему-то гасится очень многое, в т.ч. картинки. Надобно пересмотреть. Сам не могу, т.к. причины пока непонятны. Глянь, плиз.

Добавлено:
здесь то самое правило для отсечения номеров сессий. Надо, имхо, разумно объединить с твоим.
« Последнее редактирование: 17 Июнь 2007, 23:30:34 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #90 : 17 Июнь 2007, 23:27:59 »

Так, про другие списки...

"Запись в кэш":
лучше возьми дефолтный из первого поста этой темы! Там есть 3 отключенных правила для образца на случай, если кто-то ради экономии места на диске будет использовать их, отключив общее .*

"Не обновлять":
- к расширениям файлов добавь везде (\?|$) , где нет и вместо "$".
- отключенные 5-минутные правила кроме .* , ИМХО, можно убрать - кому надо, включат .* , которое их все перекрывает...
- добавь слово "posting" в исключение к .*
- убери малораспространенные правила:
Цитировать
True#~#gooddays\.ru/img/news/\d+_\d+#~##~##~##~#0
True#~#librus\.ru/cover/\d+#~##~##~##~#0
True#~#research\.sputtv\.com/media\.php#~##~##~##~#0
True#~#rossport\.ru/xml/o/image\[@id=\d+\]/@image#~##~##~##~#0
True#~#russian-mafia\.org/forum/index\.php\?act=downloads&do=imgss&id=\d+#~##~##~##~#0
True#~#vivaton\.ru/.*/pics/#~##~##~##~#0
True#~#w3\.org/(.+/)?icons/#~##~##~##~#0
- добавь для образца:
#5#~#True#~#wiki(books|(p|m)edia)\.org/w(iki)?/.*(\.|=)(css|js)(&|$)#~##~##~#720:00
#5#~#True#~#forum\.ru-board\.com/topic\.cgi\?#~##~##~#-168:00

Добавлено: 18 Июня 2007, 00:20:36

"Только из кэша":
- к расширениям файлов добавь везде (\?|$) , где нет и вместо "$".
- убери "редкие" см. выше...
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #91 : 18 Июнь 2007, 01:10:18 »

"Преобразование URL"
- Тут нужно по возможности сохранить максимальную совместиность с прежним дефолтным списком, чтобы пользователи не потеряли свой кэш, т.к. автоматического конвертора у нас нет! Новые "глобальные" правила лучше добавлять отключенными, чтобы пользователь сам решал включать или нет...
- Вместо 1-го вставь 2 таких в указанном порядке:
#5#~#True#~#(?<=[?&])(session(_sid)?|(phpses)?s(id)?)=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False

ИМХО, длина СИДа в 7 символов - самое то! Где-то видел такой короткий... 13 много...
- 2-е и 3-е лучше заменить на модифицированное предпоследнее:
#5#~#True#~#^(i(mg|mages?)?|galler(ies|y)|(f|ph)otos?|pi(cs?|x)|tbn|www)\d+\.(?!.{2,4}/)#~##~#False#~#True
иначе картинки с популярного imageshack.us и т.п. в кэше окажутся недоступными!
- 5-е правило не совсем верно режет RND, когда он в середине URL, поэтому переделал его так:
#5#~#True#~#(?=[?&]((random(_nocache)?|(nc)?rnd)=[^&]+))(.\1$|(.)\1&)#~#\6#~#False#~#True
- Убрать правило для Яндекса, т.к. оно плодит в кэше пустые каталоги с одной иконкой:
True#~#favicon\.yandex\.net/favicon/(www\.)?(.*)#~#\2/favicon.ico#~#False#~#True#~#0
- Убрать редкие:
True#~#(lib\.aldebaran\.ru/)(.*)(confrm\.js|fictionbook\.css|spacer\.gif)#~#\1\3#~#False#~#True#~#0
False#~#.+/((style_)?emoticons|s|smili?ey?s)/(.*/)?(icon_)?(.+\.(gif|png))$#~#smile_icons/\5#~#False#~#True#~#0

- Добавь в конец списка вот эти три:
#5#~#True#~#"#~#%22#~#True#~#True
#5#~#True#~#<#~#%3C#~#True#~#True
#5#~#True#~#>#~#%3E#~#True#~#True

они фиксят невозможность записи в кэш этих символов.
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #92 : 18 Июнь 2007, 01:30:24 »

- Вместо 1-го вставь 2 таких в указанном порядке:
#5#~#True#~#(?<=[?&])(session(_sid)?|(phpses)?s(id)?)=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False

Не учитываются ses|ses_id|sessid. Надо дополнить.
Цитировать
ИМХО, длина СИДа в 7 символов - самое то! Где-то видел такой короткий... 13 много...
Они все дли-и-и-инные, больше 15 символов обычно. Почему 13? - есть часто используемый параметр разрешения экрана, который почти всегда обзывается "s" (видимо от "screen"). Типичное значение: s=1280x1024x32 - 12 символов. Его, правда, можно в исключения запихать. Но, имхо, короткие сид'ы чреваты ложными срабатываниями. Также, судя по логам, в сид'ах активно используются все буквы латинского алфавита, что изменит в правиле [-a-f\d] на [-\w].

Еще можно подумать над правилом, обрубающим пустые параметры.
« Последнее редактирование: 18 Июнь 2007, 01:45:06 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #93 : 18 Июнь 2007, 02:37:30 »

Не учитываются ses|ses_id|sessid. Надо дополнить.

Тогда так:
#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=[-a-f\d]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False


Цитировать
Они все дли-и-и-инные, больше 15 символов обычно.

Далеко не все:
http://hit7.hotlog.ru/cgi-bin/hotlog/count?0.560877196257934&s=1002927&im=33&r=&pg=...
http://bodypro.ru/includes/statistic.php?stat=count&s=1587928017&r=&h=...
и т.д.

Цитировать
Почему 13? - есть часто используемый параметр разрешения экрана, который почти всегда обзывается "s" (видимо от "screen"). Типичное значение: s=1280x1024x32 - 12 символов.

Под мое правило это не попадает из-за "х".

Цитировать
Также, судя по логам, в сид'ах активно используются все буквы латинского алфавита.

Есть реальные примеры?

Цитировать
Еще можно подумать над правилом, обрубающим пустые параметры.

В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...

Добавлено: 18 Июня 2007, 03:32:17



"Переадресация"
- Поправь, как предлагал Михаил на предыдущей странице.
- Не забывай, что порядок "необязательных" правил имеет смысл! Сейчас два последних правила в списке у тебя не на своем месте...


"Белый список"
- 1-е правило убрать, т.к. не обновлять /topic нет необходимости. Даже есть специальное правило для необновления старых тем ру-борда.
А "posting" есть в исключении к .* в "Не обновлять".
- Убрать правила для онлайн статусов icq и mirabilis. Их загрузка на медленном канале отнимает много времени! Кстати, правило в "Черном списке" для их глушения я бы включил...
- Добавь следующее правило, т.к. из-за переадресации M$ часто циклится:
#10#~#True#~#microsoft\.com/#~##~##~#True#~#False#~#False#~#False#~#True#~#False
« Последнее редактирование: 18 Июнь 2007, 02:59:32 от DenZzz » Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #94 : 18 Июнь 2007, 10:49:42 »

Есть реальные примеры?
http://www.kavkazweb.net/tc.cgi?sid=111239134610572aRes0CdeE8IvX0VSpNEE&n_cnt=2
http://www.astronomy.ru/forum/index.php?PHPSESSID=hsiao8t1j1lajf5bdi316cg942&board=23.0
http://file.aaanet.ru/ajax/ajax_backend.php?PHPSESSID=cceo1bj8sj27kerk8hq05vtg50&mode=file_rate&file_id=67276&JsHttpRequest=11815751940041-script
http://operafan.net/forum/index.php?PHPSESSID=01rm33hbi83dnbmun8k69gdi64&amp;&action=keepalive;1179949593865

В логах есть и такой пример с параметром "screen" (будет ложное срабатывание):
http://counting.kmindex.ru/1.gif?uid=42551&r=http%3A//bizdirect.h14.ru/%3Fc%3D93&s=102476832&0.14676869963295758
« Последнее редактирование: 18 Июнь 2007, 10:58:26 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #95 : 18 Июнь 2007, 12:36:00 »

Понятно. А если так сделать:

#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=[^&]{7,}($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False


Что касается параметров экрана - может, резать их к чертям собачьим? Это чем-то чревато?

Увеличение длины СИДов в правиле исключит из обработки короткие СИДы, которые я приводил! Это не желательно! Так может резать эти параметры экрана? Есть примеры, где это будет реально создавать проблемы?
« Последнее редактирование: 18 Июнь 2007, 12:40:54 от DenZzz » Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #96 : 18 Июнь 2007, 12:47:41 »

Что касается параметров экрана - может, резать их к чертям собачьим? Это чем-то чревато?
Не знаю, что он реально делает, этот параметр. И прочесть ума не приложу где.
Цитировать
В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...
Нет. Сделать правило, режущее параметры типа s=1234567&xxx=&...

PS Не подскажешь, что с сайтом? Слишком уж тормозить все стало.
« Последнее редактирование: 18 Июнь 2007, 13:06:14 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #97 : 18 Июнь 2007, 13:20:44 »

Не знаю, что он реально делает, этот параметр.

Да какая-нибудь команда серверу на размер баннера или просто сбор статистики...
Ты, например, часто меняешь разрешение экрана во время интернет-серфинга?
Давай просто вырежем этот параметр из пути к файлу в кэше - беды не будет!

Добавлено: 18 Июня 2007, 13:59:43

Цитировать
В смысле? Хочешь слепить 2 правила в 1? А надо ли так усложнять их наглядность...
Нет. Сделать правило, режущее параметры типа s=1234567&xxx=&...

Т.е. пустые и нулевые параметры? Помнится Кирилл такое правило предлагал:
#5#~#True#~#(?<=[?&])(?>[^=?&]+)=0?(&|$)#~##~#True#~#True
Его можно отдельно добавить внизу списка...
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +291/-14
Offline Offline

Сообщений: 5177



« Ответ #98 : 18 Июнь 2007, 22:10:18 »

NapA
Для правила списка Переадресация, касающегося redir(ect)? можно добавить расширение "asp".
Примеры:
http://realtor.com/Redir/Redir.asp?target=http://www.4best-health.com/best-price-for-didrex.html
http://www.securitylab.ru/tools/_services/download/redirect.asp?href=http://www.securitylab.ru/tools/47900.html
http://www.pmprofy.ru/redir.asp?from=ToOrig37&id=http://www.pmprofy.ru/content/rus/temp/1126-article.asp

Также неплохо б учесть вариант вообще без расширения:
http://swicki.eurekster.com/redir?url=http%3A%2F%2Fwww.v-w-d.com%2Fredir.asp%3Fm%3Dpushthebutton%26target%3D%2Fdefault.asp%3Fgoto%3D%2Fvwdguest%2Fmatch5.asp&w=grab+a+grand&tit=eLottery+free+go+to+win+%C2%A31000%21&rt=&egid=44a08160-0635-49e3-b1b0-8021d9a85b55
http://www.yandex.ru/redir?url=http://mpix.ru/product_info.php%3Fproducts_id%3D284%3Ffrom%3Dyandexmarket&uid=191551111276319722&categid=1268&price=1115.6&hyper_cat_id=91156&ext=0&pp=7&cp=10&shop_id=1119&dtype=market

И с расширением html:
http://search.hp.com/gwdkdan/redirect.html?url=http://pharmaprice.yourfreehostway.com/cials

Ну и в завершение go:
http://www.chubba.com/cgi-bin/redirect.go?url=http://www.connecti.com/~texarch
« Последнее редактирование: 18 Июнь 2007, 22:46:59 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #99 : 19 Июнь 2007, 08:34:02 »

Расширений у редиректов много и каждый раз добавлять новое - это тупиковый путь!
Предлагаю переделать правило для переадресации редиректов так:
#5#~#True#~#.+redir(ect)?(\.\w{2,4})?\?.*?(http[^;&]*).*#~#\3#~#False#~#True
По моим логам ложных срабатываний нет.

Для дефолтного списка "Переадресация", думаю, достаточно будет этих правил:

Код:
HandyCache_list_Format_4
True#~#.+redir(ect)?(\.\w{2,4})?\?.*?(http[^;&]*).*#~#\3#~#False#~#True#~#0
True#~#.*?regnum\.ru/go(to)?/\?(\d+:)+#~##~#False#~#True#~#0
True#~#(?<=regnum\.ru)/go/\?\d+:#~##~#False#~#True#~#0
True#~#(?<=samsung\.ru)/_goto\.html\?uri=#~##~#False#~#True#~#0
True#~#^[^?]*%(2[5f]|3[af])#~#\0#~#False#~#True#~#0
True#~#%3a#~#:#~#True#~#False#~#0
True#~#%2f#~#/#~#True#~#False#~#0
True#~#%3f#~#?#~#True#~#False#~#0
True#~#%25#~#%#~#True#~#False#~#0
Сообщить модератору   Записан
Страниц: 1 ... 3 4 [5] 6 7 ... 18   Вверх
  Отправить эту тему    Печать  

 
Перейти в: