Главная
Форум
Контакты
Купить
Поддержи проект
Поиск
Искать:
Расширенный поиск
[Закрыть]
Правила форума
Войти
Регистрация
Russian
English
HandyCache форум
Главная категория
»
Общие вопросы
»
Дефолтные списки HandyCache
Имя пользователя:
1 час
1 день
1 неделя
1 месяц
Навсегда
Пароль:
Страниц:
1
...
4
5
[
6
]
7
8
...
18
Вниз
« предыдущая тема
следующая тема »
Отправить эту тему
Печать
Автор
Тема: Дефолтные списки HandyCache (Прочитано 362115 раз)
0 Пользователей и 2 Гостей смотрят эту тему.
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #100 :
19 июня 2007, 10:49:45 »
NapA
1. Чтоб уж добить редиректы: почему в БС запрещается переадресация
yandex\.ru/redir\?
У меня отлично редиректит, например:
http://yandex.ru/redir?dtype=shop&uid=30182111764166471&categid=43&price=10901.61&url=http%3A//www.verba.ru/cgi/price/price.pl%3Fgroup%3D342%26id%3D35832%26cmd%3Dshow_tech_info&ext=&pp=1000&cp=10&shop_id=639&pof=1506
Посмотри, плиз, может ложные срабатывания были? Если нет, то поправь, пожалуйста, БС.
2. В БС все правила для ICQ можно объединить в одно - так же как в ЧС.
DenZzz
Редиректом является еще
/rd\.(php|pl)\?
Писалось об этом в гостевой у NapA. Имхо, надо тоже добавить.
«
Последнее редактирование: 19 июня 2007, 11:49:17 от Михаил
»
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #101 :
19 июня 2007, 13:18:51 »
Цитата: Михаил от 19 июня 2007, 10:49:45
Редиректом является еще
/rd\.(php|pl)\?
Вообще, вариантов много! Вот еще пара экземпляров:
http://www.cnews.ru/cgi-bin/redirect_cnews.cgi?http://top.rbc.ru/incidents/19/06/2007/106785.shtml
http://r.gismeteo.ru/rdr2.php?sh+http://www.gazeta.ru/export/gismeteo.shtml
А если так сделать:
#5#~#True#~#.+/(redir(ect)?|rd)(\w*\.\w{2,4})?\?.*?(http[^;&]*).*#~#\4#~#False#~#True
Проверь по своим логам на ложные срабатывания...
«
Последнее редактирование: 19 июня 2007, 13:31:13 от DenZzz
»
Сообщить модератору
Записан
rubel
Новичок
Репутация: +0/-0
Offline
Сообщений: 14
Re: Дефолтные списки HandyCache
«
Ответ #102 :
19 июня 2007, 14:59:47 »
DenZzz
Вот ты везде говоришь что в списке Не обновлять нужно на конце ставить $.
Но ведь часто попадаются файлы вида
http://testsbox.ru/autotest.js?bs=10
Эта с сайта
http://ifolder.ru/
Я гуляю по страницам сайта и каждый раз тогда эта шняга будет загружаться заново?
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #103 :
19 июня 2007, 16:38:10 »
Цитата: rubel от 19 июня 2007, 14:59:47
DenZzz
Вот ты везде говоришь что в списке Не обновлять нужно на конце ставить $.
Я
везде говорю
добавить к расширениям файлов (\?|$) , где нет и ВМЕСТО $ !!!
Не нужно передергивать мои слова!
«
Последнее редактирование: 19 июня 2007, 16:44:25 от DenZzz
»
Сообщить модератору
Записан
rubel
Новичок
Репутация: +0/-0
Offline
Сообщений: 14
Re: Дефолтные списки HandyCache
«
Ответ #104 :
19 июня 2007, 17:54:40 »
DenZzz
Теперь понял, у меня везде записано просто \.(js|css)
А что даёт добавление
(\?|$)
?
Цитировать
Не нужно передергивать мои слова!
Злопамятный ты,однако.А ведь мы земляки,оба из Самары.
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #105 :
19 июня 2007, 20:01:21 »
Обидно, имхо, будет, если НС не сможет по умолчанию отсекать сессии на собственном форуме (ну и в довесок на всех форумах с этим же движком):
http://handycache.ru/forum/index.php?action=quotefast;quote=4370;sesc=c5a4f39aca9b4fec9330f960ae5e9dcd;xml
http://handycache.ru/component/option,com_smf/Itemid,10/action,post2/start,0/msg,4374/sesc,0f8ce0295cb4a2d7c590b9770ee246ed/board,1/
Для этого можно доработать правило:
(?<=[?&;/])(php)?s(esc?)?(sion)?_?s?(id)?[=,][-\w]{7,}($|[&;/])
Хотя для таких URL-ов скорее надо запрещать запись в кэш (что уже частично реализовано в БС).
Прогнал такое правило через логи. Ложные срабатывания:
s=journal
s=240x400
,
s=1024*768
,
s=102476832
и т.п. (т.е. screen size)
Выход - сделать более 7 минимальный размер либо, скажем, для размера от 7 до 13 требовать наличия только цифр, а для бОльших допускать и буквы.
«
Последнее редактирование: 19 июня 2007, 20:11:23 от Михаил
»
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #106 :
19 июня 2007, 21:07:02 »
Цитата: rubel от 19 июня 2007, 17:54:40
А что даёт добавление
(\?|$)
?
Исключает ложные срабатывания на середину URL, например:
http://www.troika.ru/cm_index_rus.jsp
- это вовсе не скрипт, а динамическая страница
http://forum.bmp.net.ua
- попадает под правило \.bmp , хотя это не картинка, а форум
и т.д.
Цитировать
Злопамятный ты,однако.
Нет, просто не люблю, когда меня упрекают в том, чего я никогда не делал!
Добавлено: 19 Июня 2007, 21:47:04
Цитата: Михаил от 19 июня 2007, 20:01:21
Обидно, имхо, будет, если НС не сможет по умолчанию отсекать сессии на собственном форуме (ну и в довесок на всех форумах с этим же движком):
http://handycache.ru/forum/index.php?action=quotefast;quote=4370;sesc=c5a4f39aca9b4fec9330f960ae5e9dcd;xml
http://handycache.ru/component/option,com_smf/Itemid,10/action,post2/start,0/msg,4374/sesc,0f8ce0295cb4a2d7c590b9770ee246ed/board,1/
Подобные ссылки у меня вообще в "Белом списке" с запретом на кэширование!
Первая - вставка быстрой цитаты из конкретного поста
Вторая - отправка поста POST-методом
Зачем их хранить? Будешь отправлять посты в оффлайне?
Добавлено: 19 Июня 2007, 22:01:49
Вот мои правила для БС:
#10#~#True#~#^handycache\.ru/forum/index\.php\?action=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False
#10#~#True#~#^handycache\.ru/component/option,com_smf/Itemid,\d+/action,#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #107 :
19 июня 2007, 22:29:54 »
Цитата: DenZzz от 19 июня 2007, 21:07:02
Зачем их хранить? Будешь отправлять посты в оффлайне?
Чего тему развиваешь? Вроде я так в заключение и написал:
Цитировать
Хотя для таких URL-ов скорее надо запрещать запись в кэш (что уже частично реализовано в БС).
http://ferrydust.com/textpattern/css.php?s=journal
в качестве ложного срабатывания остается по-любому (если не считать screen size'ы)
Приведенные правила для handycache.ru неплохо б, имхо, обобщить для всех форумов/сайтов с этим движком.
«
Последнее редактирование: 19 июня 2007, 22:34:09 от Михаил
»
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #108 :
19 июня 2007, 23:14:22 »
Цитата: Михаил от 19 июня 2007, 22:29:54
Чего тему развиваешь? Вроде я так в заключение и написал
Что ж тогда не удалил свое правило...
Цитата: Михаил от 19 июня 2007, 20:01:21
либо, скажем, для размера от 7 до 13 требовать наличия только цифр, а для бОльших допускать и буквы.
#5#~#True#~#(?<=[?&])(php)?s(es)?(sion)?_?s?(id)?=(\d{7,}|[^&]{13,})($|&)#~##~#False#~#True
#5#~#True#~#[?&]$#~##~#False#~#False
Сейчас нашел в логах СИД короче 7 символов, правда в рекламе:
http://feed1.altastat.com/ad?board=1550&sid=1976
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #109 :
20 июня 2007, 02:05:21 »
DenZzz
Для универсальности (есть достаточно много сайтов с этим же движком) правила во всех списках, касающиеся сайта (форума) handycache.ru можно, имхо, распространить на остальные сайты, откинув в начале правил
^handycache.ru
К примеру, твои два правила БС лучше заменить на:
#10#~#True#~#/forum/index\.php\?.*\baction=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Оно пройдет и для многих форумов, использующих другие движки.
#10#~#True#~#/component/option,com_smf/Itemid,\d+/action,#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Были, по-моему, правила с
handycache.ru
и в других списках.
«
Последнее редактирование: 20 июня 2007, 02:18:42 от Михаил
»
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #110 :
20 июня 2007, 10:31:07 »
Из первого правила для БС для универсальности лучше, наверное, исключить даже
/forum
:
#10#~#True#~#/index\.php\?.*\baction=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Цитата: Михаил от 20 июня 2007, 02:05:21
Были, по-моему, правила с
handycache.ru
и в других списках.
В списке Т и Н:
handycache\.ru/forum/index\.php\?.*(avatar|image)$
заменить чем-нибудь типа
/index\.php\?.*(avatar|image)|/avatars?/index\.php\?
В Преобразовании URL
True#~#(handycache\.ru/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
на
True#~#(/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
Хотя, честно сказать, это правило мне не совсем понятно.
«
Последнее редактирование: 20 июня 2007, 10:56:10 от Михаил
»
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #111 :
20 июня 2007, 11:45:00 »
Цитата: Михаил от 20 июня 2007, 10:31:07
заменить чем-нибудь типа
/index\.php\?.*(avatar|image)|/avatars?/index\.php\?
Конструкция
/avatars?/index\.php\?
гипотетическая или есть реальные форумы, на которых она будет работать? В моих логах такого не нашлось...
Цитировать
Из первого правила для БС для универсальности лучше, наверное, исключить даже /forum
Опять же есть реальные примеры без /forum ?
Цитировать
True#~#(/component/option,com_smf/Itemid,\d+/topic,\d+)(\.\d+)?(;all)?[./].*#~#\1\2\3#~#False#~#True#~#0
Хотя, честно сказать, это правило мне не совсем понятно.
Прочти
здесь...
«
Последнее редактирование: 20 июня 2007, 11:57:42 от DenZzz
»
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #112 :
20 июня 2007, 12:19:01 »
Цитата: DenZzz от 20 июня 2007, 11:45:00
Конструкция
/avatars?/index\.php\?
гипотетическая или есть реальные форумы, на которых она будет работать? В моих логах такого не нашлось...
Есть в логах такой
http://s9.invisionfree.com/avatars/index.php?act=idx
Поленился его поначалу открыть, теперь посмотрел - он отношения к теме не имеет. Наверное, не нужен этот довесок в правиле.
Цитировать
Опять же есть реальные примеры без /forum ?
http://andyr.mrezha.ru/smf/index.php?PHPSESSID=e50d1c569f26d2752149a6a0ae5e8de4&action=quotefast;quote=
...
http://www.gunduzgece.com/index.php?action=quotefast;quote=
...
http://thedambook.com/smf/index.php?amp;action=quotefast;quote=
...
И еще 18 шт.
У этих
action=
довольно большой набор вариантов значений. Их можно творчески перебрать на предмет возможного присоединения некоторых к
keepalive|quotefast|post
. Может,
Rick
, более плотно общающийся с форумным движком, поможет.
«
Последнее редактирование: 20 июня 2007, 12:23:36 от Михаил
»
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #113 :
20 июня 2007, 12:58:48 »
Цитата: Михаил от 20 июня 2007, 12:19:01
У этих
action=
довольно большой набор вариантов значений. Их можно творчески перебрать на предмет возможного присоединения некоторых к
keepalive|quotefast|post
.
ИМХО, кроме
action=dlattach
остальные можно резать...
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #114 :
20 июня 2007, 15:28:57 »
Цитата: DenZzz от 20 июня 2007, 12:58:48
ИМХО, кроме
action=dlattach
остальные можно резать...
Х.з., какие могут попасться.
К примеру,
http://photo.gala.net/index.php?action=view&id=120274842
- писать в кэш надо
http://gov.kaliningrad.ru/index.php?action=gk&sa=view&gk=1070
- тоже надо
http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=472
- и здесь.
Лучше, имхо, вписать в правило только доподлинно известные.
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #115 :
20 июня 2007, 21:48:22 »
В логах есть еще много примеров с act=post (видать, разновидность action=post):
http://www.ww2.ru/forum/index.php?act=Post&CODE=00&f=2
http://spartanband.net/forums/index.php?s=d2c5ccf1f7d621c91c0a495ac5e92e9d&act=Post&CODE=06&f=3&t=81&p=828
http://vulgo.ru/index.php?act=post&do=reply_post&f=4&t=439
http://www.kagul.ru/forum/index.php?act=post&do=reply_post&f=16&t=477
Итого правило в БС для предотвращения записи в кэш форумного "мусора" примет вид:
#10#~#True#~#/index\.php\?.*\bact(ion)?=(keepalive|post|quotefast)#~##~##~#True#~#True#~#False#~#False#~#False#~#False
Сообщить модератору
Записан
Кирилл
Beta tester
Репутация: +5/-1
Offline
Сообщений: 124
Re: Дефолтные списки HandyCache
«
Ответ #116 :
21 июня 2007, 15:39:48 »
Вот мои сборщики мусора из URL:
1. Вырезка пустых и нулевых параметров
#5#~#True#~#(?<=[?&])[^=?&]++=0?(&|$)#~##~#True#~#True
2. Вырезка сессий по значению (длинные числа, в т.ч. шестнадцатиричные)
#5#~#True#~#(?<=[?&])[^=?&]++=[^&%]*?(?>[0-9a-f.+\-]{11,})[^&]*+&?#~##~#True#~#True
3. Вырезка параметров по имени
#5#~#True#~#(?<=[?&])(auth_token|updated|searchid|SID|PHPSESSID|SESSID|rndnum|rnd|highlight|postdays|postorder|in|inn|from|out|site|click|fid|adduser|aduser|ac|refererID|referrer|RC|SHT|SIT|vsrs_id|wid|ref|wm|wm_login|wmid|oppopup|sub|trade|hitID|adid|rid|dcwid|AID|uid|adv|partner|siteid|ref_id|acc_id|adtype|partner_idpid|Webmaster|WebmasterID|resellerid|af|refCode|cl|pt|pd_info|to|lay|LID|fid|bid|source_id|acct_id|adID|kid|bfmid|likref|aff|link_id|rs|wm_refer|refer|count|gcsid|refby|linkfrom|afl|revid|refid|site_id|fp|rvs|ACC|adv_id|ad|aff_id|referer|LinkId|hit|revs|random|linkin_id|refs|nats|subprogram_id|pps)=[^&]*+&?#~##~#True#~#True
4. Вырезка цифр из доменного имени
#5#~#True#~#((^|(?<=\.))((?>[a-z]+)))(?>\d+)\.#~#\1.#~#False#~#True
Правила 1-3 работают стабильно и хорошо себя зарекомендовали. 4 пока активно тестируется.
Сообщить модератору
Записан
DenZzz
Модератор
Репутация: +179/-11
Offline
Сообщений: 5589
Re: Дефолтные списки HandyCache
«
Ответ #117 :
22 июня 2007, 07:47:55 »
Цитата: Кирилл от 21 июня 2007, 15:39:48
Вот мои сборщики мусора из URL:
В чем смысл двойных квантификаторов: ++ , *+ ?
Цитировать
2. Вырезка сессий по значению (длинные числа, в т.ч. шестнадцатиричные)
В сессиях бывают и просто буквы (не шестнадцатеричные)! Обсуждалось на предыдущих страницах...
Цитировать
4. Вырезка цифр из доменного имени
Это правило срабатывает и для доменов 2-го уровня, что не желательно! Часто эти цифры имеют не случайное значение и не меняются для данного сайта. Да и восстановить потом исходный URL этого сайта, например, в Историке будет невозможно...
Сообщить модератору
Записан
Кирилл
Beta tester
Репутация: +5/-1
Offline
Сообщений: 124
Re: Дефолтные списки HandyCache
«
Ответ #118 :
22 июня 2007, 09:18:56 »
DenZZZ
Цитировать
В чем смысл двойных квантификаторов: ++ , *+ ?
Это "сверхжадные" варианты обычных квантификаторов - захватывают по максимуму, даже если это приводит к несовпадению следующей части шаблона.
(X)*+ эквивалентно (?>(X)*)
Работает намного быстрее, чем просто * и +, в записи прозрачнее и лаконичнее, чем (?>)
Цитировать
В сессиях бывают и просто буквы (не шестнадцатеричные)! Обсуждалось на предыдущих страницах...
Я пробовал вырезать просто длинные параметры - увы, ломает ряд сайтов. В результате предпочел правило, которое режет не все (но многое
), зато ничего не ломает.
Вообще в сочетании с вырезкой сессий по имени параметра - работает на ура, сессий в кеше давно уже не видел.
Вообще, ВСЕ примеры Михаила с просто буквами были срезаны моим правилом 3
Цитировать
Это правило срабатывает и для доменов 2-го уровня, что не желательно! Часто эти цифры имеют не случайное значение и не меняются для данного сайта. Да и восстановить потом исходный URL этого сайта, например, в Историке будет невозможно...
Потому и тестируется
«
Последнее редактирование: 22 июня 2007, 10:00:53 от Кирилл
»
Сообщить модератору
Записан
Михаил
Gold beta tester
Репутация: +337/-14
Offline
Сообщений: 5513
Re: Дефолтные списки HandyCache
«
Ответ #119 :
22 июня 2007, 10:53:16 »
К "пустому", имхо, можно отнести и значение параметра, равное "undefined":
-http://www.wzor.net/js/awstats_misc_tracker.js?screen=1024x768&cdi=32&java=true&shk=
undefined
&fla=
undefined
&rp=undefined&mov=
undefined
&wma=
undefined
&pdf=
undefined
&uid=awsuser_id1174243732049r4843&sid=awssession_id1177954405294r5129
-http://counter.hitslink.com/statistics.asp?v=1&s=100&acct=Myopera&an=Opera&sr=&ck=17&rf=&sl=
undefined
&av=9.20%20%28Windows%20NT%205.1%3B%20U%3B%20ru%29&l=ru&pf=Win32&pg=/desktopteam/blog/&cd=32&rs=1024%20x%20768&tz=-240&je=true&tks=1178094322472
Кирилл
Параметр "0" не обязательно является "пустым".
Взятый навскидку URL рисует разные картинки при v=0 и без оного:
http://file.aaanet.ru/tools/vote_img.php?v=0
В правиле 3 не обрубается [?&], если они остались на конце URL. Оставшийся знак вопроса может дать совсем иную страницу:
http://hunter.shop.by/shcart/?step=0
Обратного (когда другую страницу даст убранный знак вопроса) пока не встречал.
Есть уверенность, что каждый из параметров, перечисленных в правиле 3, можно отнести к "лишним"?
«
Последнее редактирование: 22 июня 2007, 11:16:16 от Михаил
»
Сообщить модератору
Записан
Страниц:
1
...
4
5
[
6
]
7
8
...
18
Вверх
Отправить эту тему
Печать
« предыдущая тема
следующая тема »
Перейти в:
Пожалуйста, выберите назначение:
-----------------------------
Главная категория
-----------------------------
=> Общие вопросы
=> Новые предложения
=> Дополнения, плагины
=> Сжатие трафика
=> English forum
=> Indonesian forum
-----------------------------
Гостевая
-----------------------------
=> Гостевая
-----------------------------
Дела домашние
-----------------------------
=> Сайт и форум HandyCache
=> Курилка
© 2006-2014 HandyCache Team. Все права защищены.
Загружается...