HandyCache форум

Можно ли сделать так чтобы были исключения для некоторых страниц сайта который грузится через WebWarper, чтобы они загружались минуя WW? Т.е. при внесении сайта в mz.lst указывать эти исключения. Пример сайт провайдера, если через WW статистику не посмотришь, а без WW остальные страницы слишком большие.

В FAQ (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,6/#FAQ28)'е все написано.

И при чем здесь Новые предложения?  >:(

А это что заложено где-то в программе? В "управление загрузкой" можно вносить сервера посредники. А как сделать какие-либо исключения для конкретных сайтов я там не вижу.А если и можно то толком это не отражено. Не в обиду.Программа хорошая, но не все же могут сами разрабатывать правила, разбираться в тонкостях. ведь ставя антивирус мы же не лезем в базы, чтобы что-то там откорректировать.

Читаем в Руководстве (http://handycache.ru/content/view/8/5/1/1/) про синтаксис Файла-списка для Серверов-посредников:

Но на мой взгляд, в твоем случае (сайт провайдера, через WW статистику не посмотришь, а без WW остальные страницы слишком большие) самое простое воспользоваться опцией "Временно отменить клавишей": нажал клавишу - загрузил страницу напрямую без WebWarper, отпустил - опять все идет через WebWarper.

Про то что есть информация в руководстве, ну есть, применить ее смогу методом тыка.

Пробовал.Можно. Но для этого надо сперва из кэша удалить соответствующую папку, перезагрузить НС, если вдруг забудешь что страница не грузится через WW. Я думал можно попроще как то, нет, так нет.

Разве в Руководстве что-то не ясно?

Зачем такие сложности? Если необходимо, чтобы страница не бралась из кэша - добавь ее URL в белый список. Кстати, разве статистику провайдер показывает не по защищенному соединению (https)?

Ясно,если сидеть и разбираться.Но ведь на это время надо.
Наверное по защищенному, если логин и пароль вводишь.

Это общее требование, когда хочешь чего-то не абы как, а именно так, как хочешь ;)
Нет, это никак не связано. Посмотреть протокол можешь в адресной строке браузера

_http://www.ufacom.ru/adslstat/statadsl1.php
Если честно мне это не о чем особо не говорит.
Справедливо. Если ты один за компом. А если садится жена, не могу я ей все нюансы объяснять.
Да и стоять рядом все время то же не будешь. А проблемы периодически возникают.И было бы все-таки неплохо если программой могли пользоваться, скажем так и не очень подготовленные граждане. Но это мое мнение.

Нет, незащищенное. http а не https. Если у них есть выбор - используй защищенное, если не хочешь писать правило в БС для исключения записи этой страницы в кэш. Хотя не вижу проблемы написать.

А зачем жене вообще знать про НС? :)

Если в процессе работы с программой ты столкнешься с ситуацией "ну и запутанно сделано - вот ТАК было бы гораздо проще и понятней!" - приди плз на форум, напиши об этом "вот так".

Это говорит о незащищённом протоколе HTTPОни и пользуются... Спроси у Rick'а сколько раз с сайта был скачан HC - если ты думаешь, что это всё сплошь "кибер-мальчики", спешу тебя разуверить - далеко не так! Просто функционал, с которым у тебя затруднения не является для HC основным, это скорее расширенные возможности, востребованные далеко не каждым. Ради этого можно и доки подчитать повнимательнее...
P.S. А жене помогать надо - она только рада будет :P

2 goga11
HandyCache (пока еще) не полноценный заголовочный и веб-фильтр.
Поэтому, если хочешь с удобством использовать WebWarper (или другие CGI-прокси) - не забивай гвозди микроскопом, а ставь Proxomitron и включай его как прокси между HC и инетом - для него есть два готовых набора фильтров для использования с WW с автоматическим выбором сжимать-не сжимать (в зависимости от ответа сервера), с исправлением ссылок на странице (WW подменяет все ссылки для загрузки через себя), с автоматическим составлением белых и черных списков.

В том случае, если она заходит на сайт,этот сайт грузится через WW,она хочет что-нибудь скачать, появляется сообщение о том, что ссылка действительна столько-то времени и указывается IP для которого действительна ссылка. Естесственно скачать она ничего не может, так как этот IP WW а не мой. Хотя бы для этого должна знать.
А не слишком ли сложно, в смысле дополнительных проблем на свою голову?

2 goga11
Заставить HC нормально работать с WW на данный момент невозможно. Правда что угодно заставить нормально работать через WW - задача нетривиальная ;)
А потому (если неохота возиться с Proxomitron'ом, хотя его возможности по фильтрации, особенно рекламы, ИМХО оправдывают хлопоты), можно (и нужно!) вместо WW использовать toonel.net - он сжимает лучше, работает стабильнее и быстрее, не имеет проблем с авторизацией. Ставится как последний прокси перед инетом.

Чего ж можно и попробовать.

Мои эксперименты http://forum.ru-board.com/topic.cgi?forum=5&topic=21548&start=40#15 (http://forum.ru-board.com/topic.cgi?forum=5&topic=21548&start=40#15) показали наборот, что WW сжимает текст лучше (см. табл. 2).
Поэтому я использую и WW для открытия всех сайтов по-умолчанию. Если что работает не корректно или сайт уже использует gzip, заношу в в икслючения.
В связи с введением такой полезной функиции как сервера-посредники, хотелось бы узнать в каком порядке происходит обработка mz.txt ? Как я понял его обработка происходит после списков, но до условных прокси.
Так же было бы удобно если в меню у сис.трея добавили пункт для вкл\выкл посредников (например, под условными прокси).

2 Александр
Не убеждает пока что...
Ссылки WebWarper раздувает, портит и добавляет на каждую страницу еще кое-что от себя. Используют и toonel и WW вариации на тему все той же zlib. Типичная страничка генерит кучу запросов к мелочевке, а заголовки запросов составляют существенную часть трафика, которую WW не жмет в принципе.
Да и даже с чистым текстом без ссылок все далеко не так очевидно
Вот книжка размером побольше
http://lib.ru/NTL/MED/PUBLICISTIKA/ANDREEW/3k.txt (http://lib.ru/NTL/MED/PUBLICISTIKA/ANDREEW/3k.txt)
WW сжал 789002 байт до 336357 байт (328,474 Kb)
toonel.net сжал 770,808 Kb до 343,149 Kb
[ur]http://webwarper.net/wwtestsaving.pl?url=http%3A//lib.ru/NTL/MED/PUBLICISTIKA/ANDREEW/3k.txt&av=on&strip=off[/url]
Как видно даже на голом тексте WebWarper не имеет серьезного перевеса. А на типичной инетернет-смеси у меня и дома и на работе проигрывает вчистую.
Для проверки использования сайтом gzip - надо как минимум один раз послать ему запрос напрямую.
Proxomitron позволяет этот процесс автоматизировать. Плюс убирает то, что WW меняет в коде страницы, включая ссылки - тогда работа через WW становится действительно прозрачной.
Но что с WW работает отвратительно - так это авторизация на форумах, из-за того, что POST-запросы через себя WW посылать оказывается.
Плюс тормоза, вносимые WW, достают даже на диалапе, а на 128 кбит уже реально бесят.

Все сделал как написано в справке, тем не менне сжатие через webwarper не происходит, т.е. даже указывая не правильный префикс в управлении загрузкой, ни чего не меняется в мониторе в столбце правила пусто!!

Screenager

В ww.lst не забыл прописать свои сайты? Покажи, что у тебя содержится в ww.lst ...

все разобрался , звиняйте, есче вопрос сейчас заходя на сайт все ссылки на нем имеют вид http://webwarper.net/ww/..............., это можно обойти?

Средствами HC можно только написать правило в список "Переадресация" для обратного преобразования ссылки при клике по ней.
А полностью вычистить ссылки пока можно только сторонней программой, типа Proxomitron...

Shasoft2
Ничего настраивать и не нужно.Для proxymitron написан специальный фильтр для работы через
webwarper.Загляни сюда (http://proxomitron.ru/board/viewtopic.php?t=110&postdays=0&postorder=asc&start=0&sid=17693d9b82849d9f73c9a299bd0c1dd2).

Основной недостаток WW в том, что он любит самовольно отключать сжатие. Иногда сжимает а иногда отдает как есть, только увеличивает страницу добавляя мусор. Видимо так борется с перегрузками. В итоге мы попадаем на трафик.

Я там был. Почитал 16! страниц описания этих фильтров и пришел к выводу, что лучше я одной строкой в HC и одной строкой в Proxomitron-е настрою всё это дело.

Чем неудобен P-n, что у него правила все разбиты на файлы и нет никакой группировки. Т.е. было бы удобно, елси бы, к примеру, все правила для WebWraper-а лежали в отдельном файле. Скачал, скопировал в директорию, включил и вперед. А так приходится целую кучу правил настраивать в разных файлах.

К тому же кэширующий прокси по-любому нужен и HC стоит, так что уж лучше через него настроить. :)

16 страниц не надо читать.
Просто возьми отсюда http://proxomitron.ru/filters/webwarper.htm
готовые правила, настрой и забудь.

А это последняя финальная версия, а то вроде на форуме постоянно какие-то изменения вносили?

Что-то с авторизацией эти правила глючат. Куки криво работают. :(

Не важно есть список исключений или нет. Даже с этим списком можно наткнуться на файл, который данный сервис не жмет. Он возвратит код 302, а HC опять перенаправит запрос на сервис, сервис 302, HC на сервис и т.д. и т.п.
Т.е. зацикливание происходит в независимости от наличия списка исключений. Список позволяет свести эти исключения к минимуму, но полностью их он искоренить не может.
При возврате кода 302 HC отправляет ответ браузеру или сам сразу лезет по новому адресу? Если Да, то тогда желательно добавить параметр "Максимальное количество перенаправлений". А то так может целый день один и тот же файл запрашиваться. Потери трафика могут быть ощутимые.

>213.234.30.210
>В чем прикол?
Да этот сервис предоставляет услугу сжатия, но не анонимности. Чтобы народ через этот сервис анонимно не писал, он требует наличие IP адреса отправителя в теле сообщения. :)

Да, иногда (очень редко!) приходится добавлять в исключения новые неподдерживаемые расширения. О чем прямо так и сказано в нашем ФАКе (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,6/#FAQ28):



Ты ходишь на наш форум, который сам передает страницы GZIP-сжатыми, через WebWarper?! В чем прикол? :o

Уже не хожу. :)
Наконец-то настроил нормально.

что написать в ww.lst для перенаправления всех (кроме исключений) запросов через WebWarper? Ни * ни */* не помогают.  :help:

Напиши:   +*

Использую handyCaсру + Opera 9.21 + webwapper
При использование webwapper-a удобно иметь правило переадрессации
#5#~#True#~#webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*)#~#\3#~#False#~#True
При этом в Opera отключено показ адресса источника переодресации.
Т.о. идя поссылкам в строке с URL ведиш реальный его без преставки webwappera
НО появилось проблемм
Опера современем подвисает и разрешает эту проблемму велечения количества разрешенных подключений. После определеного времени проблема повторяется опять увеличевает опера работает некоторове время и т.д.
Прошу помоши или подсказки куда обратится

Извените за орфографию.
Забыл указать что webwapper используется в серверах посредниках.
Поэтому данное правли у меня используется в и списках преобразования URL
и в переодрессаци

Как проявляется это "подвисание"? В Мониторе HC при этом есть активные закачки? А в других браузерах подвисания нет?

P.S. Попробовал воспроизвести в Опере 9.10 - никакого "подвисания" не заметил...

Подвисание со стороны Opera, как я понимаю. В монеторе НС нечего не весит, а в опере собирается очередь на загрузку и все глухо, потом увеличиваеш количество соеденений и все опять бегает, потом замерает ну и т.д. В принцепе аналогично лечется и перезагрузкой.
При это данный баг ведет себя крайне странно ??? то может появится через два сайта, то полдня бегаеш все окей

Другие браузеры EI работает вроде как долго не бегал на нем точно сказать немогу
Но вот FireFox (2,0,0,3) при задании правил для переадрессаци работать не хочет  :'( как при
этом так например и при этих
#5#~#True#~#((rg)\.ru(?!\/printable))/?(\d{4})/?(\d{2})/?(\d{2})/?(.*\html)$#~#\1/printable/\3/\4/\5/\6#~#False#~#True
#5#~#True#~#((computerra)\.ru(?!\/(print|news)))/(.*)?(\d+/)$#~#\1/print/\4\5#~#False#~#True
Подвесает ждет ответа и все но не когда не доходит до странички. Исключение когда данная страца вызывается не по ссылки, т.е. напряму или уже за кэширована в памяти
Из-за этого первое время думал что не правильно пишу правила. Но потом перешел на oper-y и все окей
но появился текуший глюк

Это известный баг с FireFox! В следующей версии HC он будет исправлен. Если твоя проблема в Опере с ним связана, то значит и у тебя должно наладится...

Спасибо за ответ :thanks:
Буду ждать обновления
PS Покапавшись в расширеных настройках Oper-ы вроде как избавился от бага. Извените за беспокойство

Спасибо за разъяснения.
Еще вопрос по сжимающему сервису. Я здесь где-то прочитал и попробовал подключить сервер-посредник

#5#~#True#~#WebWarper#~#http://www.webwarper.net/ww/#~#C:\Program Files\HandyCache\ww.lst#~#.*

Для этого требуется создать и заполнить файл-список ww.lst. Каким образом он создается, в каком редакторе ? Я сделал в Блокноте (который в Windows ) текстовый файл ww.txt и затем изменил расширение ww.lst. Поместил в него несколько сайтов, примерно такое содержание.

; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
sovsport.ru
sports.ru


Вообще мне как-то редко попадаются сайты, использующие GZIP-сжатие. Может подскажите какие-то, кроме  http://handycache.ru  для проверки.

После включения Сервера-посредника WebWarper  все сайты стали в мониторы показывать GZIP-сжатие, хотя их нет в файл-списке. Как это понимать ?

С другой стороны возникают непонятки видимо с сайтами требующими авторизации. Например, в таком режиме я не могу войти на этот форум, не видны кнопки Новая тема, Ответить.

При попытке зайти на сайт где требуется авторизация в отдельном окне получил сообщение браузера:

Неверное перенаправление на странице
Firefox определил, что сервер перенаправляет запрос на этот адрес таким образом, что он никогда не завершится.
 Эта проблема может возникать при отключении или запрещении принятия cookies.

Буквально! Что-то не то ты прописал в ww.lst . Приложи сюда к посту свой файл...


На этот форум через WebWarper входить и не надо! Здесь GZIP имеется и без того!
А проблемы с авторизацией у WW случаются! У Toonel (http://handycache.ru/component/option,com_smf/Itemid,10/topic,609.0/)-я дела с этим обстоят получше...

ww.lst

; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
sovsport.ru
sports.ru

Так в том то и дело. Вроде в ww.lst указываются сайты которые с помощью WebWarper нужно сжимать, а у меня все подряд. Ну и вопрос остается как этот файл  ww.lst создается. Я через текстовый редактор создал такой  ww.lst

; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
cnews.ru
live.bwin.com
sovsport.ru
sports.ru

Должно работать правильно! В твоем посте проблемы не вижу...
В Мониторе HC в поле "Правила" для всех сайтов написано WebWarper? Может, у тебя лишние пустые строки/пробелы в ww.lst затесались? Лучше бы приложил свой ww.lst не в тексте поста, а как аттачмент...


В блокноте.

Прикладываю файл ww.lst  и лог, содержимое монитора отражающие следующую работу .

При отключенном сервере-посреднике  WebWarper  загрузил несколько сайтов: handycache.ru, oson.ru, sovsport.ru  вплоть до строки монитора

26.   18:13:59 http://www.sports.ru

Затем включил  WebWarper  как сервер-посредник и остальные сайты (начиная с выше указанной строки) загрузил в этом режиме.

В таблице серверы-посредники такая строка

#5#~#True#~#WebWarper#~#http://www.webwarper.net/ww/#~#C:\Program Files\HandyCache\ww.lst#~#.*

Убери второе расширение у файла:  ww.lst.txt  - из-за него HC не находит файл-список!

Не могу понять как у текстового файла изменить расширение с txt на lst

Добавлено: 25 Декабря 2007, 15:02:58

Большое спасибо. Исправил. Проверил, вроде работает как надо.

Открываю данный форум через WW, все ссылки на странице преобразованы для дальнейшего открытия через WW, кроме ссылок типа http://handycache.ru/component/option,com_smf/Itemid,10/topic,153.0;all/ (ссылки, открывающие сразу все страницы тем). Даже принудительная подстановка префикса сервиса к этой ссылке в адресной строке браузера не помогает... Почему?

Зачем? Здесь уже есть GZIP ! Никакой дополнительной экономии от WW ты здесь не получишь! Будут одни только проблемы с отправкой постов и авторизацией!

Подскажите что не так:
Прописал сервер посредник ww
в файл список добавил bash.org.ru

При открытии страницы она начинает грузится, и зацикливается на загрузке т.е. в мониторе вижу постоянную загрузку
bash.org.ru - загрузился, тут же начал грузить снова :(. Куда копать?

У меня bash.org.ru не циклится! Исключения для неподдерживаемых в WW форматов в файл-список не забыл прописать? Покажи свой ww.lst и лог монитора...

Файл:
; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
bash.org.ru

Лог:

11.01.2008/13:32:10   local/127.0.0.1   http://www.bash.org.ru/   0   19144/362   0   657   "200 OK gzip"   webwarper, З.1
11.01.2008/13:32:12   local/127.0.0.1   http://www.bash.org.ru/screen.css   0   0/307   0   686   "304 Not Modified"   
11.01.2008/13:32:12   local/127.0.0.1   http://www.bash.org.ru/mobile.css   0   0/267   0   722   "304 Not Modified"   
11.01.2008/13:32:12   local/127.0.0.1   http://webwarper.net/ww/~WWServiceScriptGZ/wwserv.js   0   0/295   0   482   "304 Not Modified"   
11.01.2008/13:32:22   local/127.0.0.1   http://www.bash.org.ru/   0   1398/362   0   691   "200 OK gzip"   webwarper, З.1
11.01.2008/13:32:24   local/127.0.0.1   http://www.bash.org.ru/   0   1398/362   0   691   "200 OK gzip"   webwarper, З.1
11.01.2008/13:32:30   local/127.0.0.1   http://www.bash.org.ru/   0   1398/362   0   1382   "200 OK gzip"   webwarper, З.1
11.01.2008/13:32:50   local/127.0.0.1   http://www.bash.org.ru/   0   1225/362   0   691   "200 OK gzip"   webwarper, З.1

Prog

Лог какой-то не полный!
wwserv.js почему-то оказался в кэше браузера, хотя должен резаться "Черным списком"! У тебя нет такого правила?
Не видно, блокируются ли другие рекламные скрипты - какой-то из них вполне может зацикливать загрузку основной страницы...
Почему на .js и .css не сработал список "Не обновлять"? У тебя нет дефолтных правил?


В общем сделай так:
- закрой HC
- очисть собственный кэш браузера
- скопируй отсюда (http://handycache.ru/component/option,com_smf/Itemid,10/topic,31.0/) дефолтные списки и запусти HC
- добавь в Черный список правило:  webwarper\.net/ww/~wwservicescriptgz/
- зайди на bash.org.ru и сохрани полный лог монитора и отладочный лог HC
- приложи логи в архиве к следующему посту.

Как сделать требуемые логи описано здесь. (http://handycache.ru/component/option,com_smf/Itemid,10/topic,948.0/)

Надо посмотреть, кто инициирует повторные загрузки и почему они разрываются только начавшись! Весьма вероятно, что это твой браузер глючит, т.к. у меня все О.К. ...

Спасибо

дело было в этом:

- добавь в Черный список правило:  webwarper\.net/ww/~wwservicescriptgz/
Добавлено: 13 Января 2008, 08:43:35

Вопрос номер следующий:
Адрес странички:
http://abelov.com/rms/index.php
в ww.lst добавил строку:
abelov.com

Результат: вместо страницы открывается какаято торобарщина типа:
"
†Тµ]оГCћ
Д2›LщsN‘xёя[?џ-р9ґiє‘UMэзр†?еЈіГбЇЃ?F>ЬѓГд—ђ�…уйСю$…{ЙљH0ћсГгЫПБ>В„_
шЖщoЮq, (
"

т.е. ww не корректно жмет страницу? Или проблема гдето у меня?

Проблема у сервера сайта abelov.com ! Он отдает некорректные заголовки:


Как видно, несколько строк там слеплено в одну, что при загрузке через WW вводит браузер в ступор!

Можно скриптом Lua поправить заголовки и все заработает! Скрипт элементарный:

Да так работает
Только при аутентификации попадаешь опять на страницу аутентификации :(

У WebWarper всегда были проблемы с аутентификацией на сайтах, отправкой постов и т.п.
Посмотри какой ответ сервера и откуда берется страница после аутентификации...

Подскажи где посмотреть ответ сервера?

Без ww адрес после аутентификации в стоке браузера:
http://abelov.com/rms/index.php?action=queue

с ww
http://webwarper.net/ww/abelov.com/rms/index.php?action=queue

В мониторе HC или в его логах.
Надо посмотреть, откуда грузится после попытки аутентификации страница:
http://webwarper.net/ww/abelov.com/rms/index.php?action=queue
Скопируй сюда эту строку монитора, а лучше полный отладочный лог к посту приложи...

Вот основной лог:

14.01.2008/13:08:47   local/127.0.0.1   http://webwarper.net/ww/~WWServiceScriptGZ/wwserv.js   0   0/121   0   0   "403 Forbidden (HC)"   Ч.117
14.01.2008/13:08:58   local/127.0.0.1   http://webwarper.net/ww/~WWServiceScriptGZ/wwserv.js   0   0/121   0   0   "403 Forbidden (HC)"   Ч.117
14.01.2008/13:09:11   local/127.0.0.1   http://webwarper.net/ww/~WWServiceScriptGZ/wwserv.js   0   0/121   0   0   "403 Forbidden (HC)"   Ч.117
14.01.2008/13:09:40   local/127.0.0.1   http://webwarper.net/ww/abelov.com/rms/index.php   0   1220/664   0   651   "302 Moved Temporarily POST"   lua
14.01.2008/13:09:42   local/127.0.0.1   http://webwarper.net/ww/abelov.com/rms/index.php?action=queue   0   1588/614   0   597   "200 OK gzip"   lua, З.1
14.01.2008/13:09:44   local/127.0.0.1   http://webwarper.net/ww/~WWServiceScriptGZ/wwserv.js   0   0/121   0   0   "403 Forbidden (HC)"   Ч.117

Отладочный лог во вложении

Prog

Похоже, не получится решить эту проблему, т.к. она в самой политике WebWarper-а!

Для авторизации на сайте abelov.com используется POST-метод:

Т.е. логин и пароль для авторизации передается в теле POST-запроса. WebWarper дописывает в POST-тело свою подпись (http://webwarper.net/ru/0/wwgz/faqru/ipinpostings.htm) с твоим IP, что видимо не понимает сервер abelov.com и авторизация не проходит!

Спасибо за помощь.

(http://4hq.org/image/bmw1208071644o.png)
где тут вбивать правило ВебВарпер?
у меня скорость низкая всего 128, станет ли она чуть быстрее или только замедлит, если я все через ВебВарпер буду сидеть?
 ::)

Судя по скриншоту ты неправильно "вбиваешь" правила. Если ты видишь правило, в котором присутствуют последовательности символов типа "#~#", то такое правило нужно вставлять/добавлять с помощью команд Вставить/Добавить правило из буфера в контекстном меню списка.
Что касается скорости, мне сказать сложно. Думаю, стоит попробовать и решить надо оно тебе?

Ага вставил протестил, слетели все КУКИс, даже на этом форуме, потом перестали грузиться КСС, просто текст неформатированный пошел. Да и весь КЭШ как будто заново запрашивается, и пишется 302 Moved (WebWarper), особой быстроты не заметил, так себе скорость.
Может есть еще какой способ? Почему Кукис слетают? Вроде все исключения стоят

; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|js|wbp)($|\?)
; Сайты:
cnews.ru
; и т.д.

я сам тут приписал JS.

"Все через ВебВарпер" - смысла нет! Надо только те сайты, которые сами НЕ используют GZIP! А если используют, то WebWarper может даже замедлить загрузку. Да и вообще, WebWarper больше пригоден для экономии трафика, а не ускорения загрузки...


На нашем форуме есть GZIP и без всякого WebWarper-а!


Через WebWarper всегда были проблемы с авторизацией и отправкой постов! Ничего с этим не поделать - такова политика этого бесплатного сервиса. Говорят, с Toonel-ем проблем меньше или попробуй один из платных сжимающих сервисов, которые упомянуты в соседних ветках...

И все таки я не пойму, уж простите меня... Есть файл ww.lst прописаны в нем сайты:
; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
86.en.cx
surgut.en.cx
; и т.д.

и все равно когда я захожу к примеру на сайт surgut.en.cx, то все равно  грузится через  WebWarper... Я так понял в файле пишутся исключения, и должно грузиться без  WebWarper. Или чтото я не допонял...

В файле пишутся правила, некоторые из которых могут быть исключениями. Чтобы правило стало исключением, оно должно начинаться с символа '!'.

Дописал ! - не помогло

; Исключения:
!#(image.*|bmp|css|cur|gif|htc|ico|jpe?g|pdf|png|wbp)($|\?)
; Сайты:
!86.en.cx
!surgut.en.cx
; и т.д.

все равно грузится http://www.webwarper.net/ww/surgut.en.cx/   А проблема то в чем, там авторизация происходит, и через WebWarper не получается- пишет "Для входа на сайт в вашем браузере должны быть включены Cookie!". Про проблему авторизаций я уже читал, поэтому и хочу чтобы некоторые сайты грузились без WebWarper'а

и еще вопрос, что означают колонки в ПЕРЕАДРЕСАЦИИ  - заменить все и обязательный?

WebWarper в файлах, которые проходят через него изменяет ссылки так, чтобы они грузились через него. Возможно у тебя в кэше остались файлы с такими измененными ссылками и теперь они грузятся через WebWarper уже без участия списка.
Не надо в одном сообщении смешивать вопросы по разным темам, модератор будет ругаться.
А по существу вопроса почитай это
http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,1/#FAQ16

удалил весь кеш, благо он у меня еще не большой, все равно грузит как http://www.webwarper.net/ww/surgut.en.cx/ 
хотя в кеше сохраняет в директории C:\Program Files\HandyCache\Cache\surgut.en.cx

Удалять кэш в таких случаях не надо, достаточно для проверки временно переключить кэш на пустую папку.
А кэш браузера чистил?

Ты исключения пишешь в файл ww.lst "Серверов-посредников", а у тебя срабатывает правило в списке "Переадресация". Они независимы друг от друга! Не надо было смешивать 2 метода. Перечитай ФАК (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,6/#FAQ28) еще раз внимательно!

да, действительно напутал, поубирал все лишнее, теперь получилось, но вверху загруженной страницы появляется реклама WebWarper'a

Рекламу WebWarper-а внесите в "Черный список":
Правило: .*webwarper\.net/ww/~wwservicescriptgz/.*   - не помогло
Добавлено: 25 Июня 2008, 12:15:50

все, удалил еще раз весь кеш, теперь все хорошо
спасибо всем за помощь

Хожу по одному форуму через webwarper (сервер посредник), все работает, только когда постить пытаюсь не получается, выкидывает на страницу с прямой ссылкой или в текст поста добавляет рекламу, тогда постит сразу.
Можо ли решить эту пролему?

Нет, это такая политика у WebWarper по запрещению анонимного постинга через их сервер.

Проблема решилась с помощью проксомитрон. Есть фильтр который для очистки внутренних ссылок ссылок от WebWarper, он так же рекламу в пост непускает.

скажите если сайт/форум уже поддерживает GZIP - WebWarper будет эффективен или нет.
пользуюсь WebWarper и сайтами с GZIP при помощи WebWarper трафика все равно меньше или я что-то настроил не так.

Нет. WebWarper использует для сжатия все тот же GZIP.


Разница в трафике несущественна, а вот скорость загрузки падает значительно!

Как узнать что сайт поддерживает GZIP или нет.
пишется "200 OK gzip" а понять что ее сжал webwarper или сам сайт - как?

Смотри в мониторе на колонку "URL" или "Правила" - если там есть слово WebWarper (WW), значит это он сжал страницу.

а правила для НС на черный/белый и т.д. списки написаны на каком языке.
PERL или другом?

Подскажите, если я использую НС на компе с анлим и сохраню его КЕШ на комп с GPRS каналом, КЕШ подхватится второй машиной или нет.
и еще если на анлиме использовать без WebWarper-сервиса а на второй машине с ним, будет ли работать КЕШ или нужно на обоих WebWarper и использовать.

Читай ФАК! (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,1/#FAQ9)


Да.


Кэш будет нормально работать, если на машине с WebWarper-ом в "Преобразовании URL" было правило, сохраняющее файлы в их "родные" каталоги (см. ФАК (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,6/#FAQ28)).

а если на машине без WebWarper я создаю КЕШ на анлиме
а вот дома на GPRS-соединение хочу поставить еще и WebWarper, но созмет ли она КЕШ с машины где нет WebWarper.
Добавлено: 07 Ноября 2008, 12:56:59

скажите свзяка
browser-HC-WebWarper-Toolnet-интернет лучше сжимает чем
browser-HC-Toolnet-интернет или нет.

т.е. используя WebWarper есть ли необходимость использовать Toolnet

См. мой предыдущий пост...


Что такое Toolnet? Знаю Toonel.net.
В использовании двойного сжатия смысла не вижу. Это только затормозит закачку, поэтому связка:
browser-HC-Toonel-интернет - лучше.


Скажу иначе, если используешь Toonel, то нет необходимости использовать WebWarper. Преимущество Toonel.net в том, что он умеет сжимать картинки, а WebWarper не умеет.

Прикрутил WebWarper к HandyCache, НО! - не дает авторизоваться на сайте через WebWarper!
просит айпи сообщать - как добавить айпи в POST-запросах ??


это пишет WebWarper:

-------------------------------------------------------
You are trying to post a message through WebWarper anonymously (that is, to send some data via web form using POST protocol).

Sorry, WebWarper allows this only if your message is supplied with your IP address: 81.26.91.10.

Usually, while sending any text data via web forms, your message is automatically supplied with a signature directly containing your IP address.
But now WebWarper cannot find your IP in the message body.
You may return to the previous page, manually include "81.26.91.10" string into your message and try to repeat your posting.
 
You may also try to work with this site without WebWarper:
http://www.au.ru
---------------------------------------------------------------
Добавлено: 01 Сентября 2010, 07:39:48

кстати а ведь WebWarper отдает страничку с переделанными ссылками типа " http://www.webwarper.net/ww/....  "
 и рекомендуемое "преобразование URL  -  webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*)  "  не работает ... не понятно...

Насколько я понимаю, отправляемое сообщение формирует браузер и добавить в него свой IP не получится. Нужно попробовать авторизацию на сайт пустить мимо WebWarper. Для этого в файл ww.lst нужно вписать строку-исключение в таком виде
!www.au.ru
В таком случае весь обмен с www.au.ru пойдет мимо WebWarper. Можно попробовать вместо www.au.ru вписать конкретный URL, через которой производится авторизация. Но не уверен, что сайт устроит то обстоятельство, что авторизация была с одного IP, а остальные сообщения с другого.

mai62,
 понятно. только пускать этот сайт в обход WebWarper не подходит - для того и прикручивал WebWarper чтоб через него сидеть на этом сайте и трафик сотика экономить  (временно у меня нет нормального интернета).

а как насчет переделывания ссылок на страничке - ведь WebWarper переделывает все ссылки страницы добавляя префикс  http://www.webwarper.net/ww/....    - и втаком виде хэндикеш отдает ее браузеру -  как с этим бороться - ведь тогда правило сервера-посредника срабатывает только раз - при первом посещении сайт и дальше приходится кликать по переделанным ссылкам...

Какая тебе разница откуда в URL, уходящих в инет берется префикс http://www.webwarper.net/ww/? Он там есть, а кто его добавил не имеет значения.
А чего ты именно WebWarper для сжатия выбрал? Вроде здесь http://handycache.ru/component/option,com_smf/Itemid,10/board,11.0/ есть и получше варианты.

Какая тебе разница откуда в URL, уходящих в инет берется префикс http://www.webwarper.net/ww/?

- разница есть, ибо префикс http://www.webwarper.net/ww/ после первого перехода по модифицированной ссылке вставляется в адресную строку браузера и дальше чтоб перейти на страничку уже без использования webwarper, нужно вручную удалять префикс - а это муторно.
Нужно это хотя б для авторизации как уже выше писал.

Явно взаиможействие с webwarper недоработано в HandyCache.
должно быть - в запросах - добавить префикс http://www.webwarper.net/ww/,  а в ответах - удалить этот же префикс

На другие сервисы переходить нехочу ибо напрягает разбираться по новой.
Добавлено: 01 Сентября 2010, 16:04:30

сам себе отвечу:
 
"в ответах - удалить этот же префикс"  - это я сделал с помощью нового фильтра в Proxomitron !!

после танца с бубном наконец я получил то что мне надо.

Это же можно сделать расширением СМ. Как сделать написано тут http://handycache.ru/component/option,com_smf/Itemid,10/topic,1120.msg27075/#msg27075

Да, это давнее ограничение WebWarper-а, которое было у него с самого рождения.


Список "Преобразование URL" преобразует только пути к файлам в кэше, а не линки на HTML страницах!  :rtfm:


Вообще-то, может получиться, если HC когда-нибудь научится править тела запросов... ;)


У меня давно это делается в расширении Content Master с помощью правила группы ## REPLACEMENTS:
^#~#http://\Kwww\.webwarper\.net/ww/(?:~clientscriptgz/)?(?=[^/]+\.\w+/)#~#
и никакой Proxomitron не нужен...

Технически, конечно, можно куда-нибудь в тело сообщения влепить IP или чего-нибудь еще. Но, что с этим чего-нибудь, будет делать сервер? В лучшем случае просто выбросит, в худшем  - нарушится взаимопонимание клиента и сервера.
Странным, на мой взгляд, выглядит требование WebWarper "Sorry, WebWarper allows this only if your message is supplied with your IP address: 81.26.91.10." C чего они взяли, что если где-то в сообщении будет упомянут IP, то это гарантированно нарушит анонимность клиента. Прокси-серверы, при желании, могут помещать в заголовки запроса строку с IP-адресом клиента (это мог бы делать WebWarper, а не создавать проблемы клиентам). Это с большей вероятностью разрушит анонимность. Потому, что это общепринятое поведение в такой ситуации (само по себе нахождение IP в теле сообщения ведь не значит, что это IP клиента, а не упоминание IP по какому-то другому поводу), и потому, что сохранение логов с заголовками выглядит более вероятным, чем сохранение обмена полностью.

У сервера WW с клиентом будет полное взаимопонимание, поскольку это именно он требует наличие IP в теле сообщения! И сервер WW не будет его никуда выкидывать, а просто запостит его в том виде, как получил от клиента.


Они делают и то, и другое - и в заголовках светят IP клиента, и в тексте сообщения!

Нет смысла критиковать "политику партии WW" (http://webwarper.net/ru/0/wwgz/faqru/ipinpostings.htm)! Она такая, как есть, и не менялась уже несколько лет, несмотря на многочисленные протесты пользователей...

P.S. Как говорится: "Мыши плакали, кололись, но продолжали жрать кактус!" (с)

Когда я писал про сервер, я имел ввиду не сервер WW, а конечный сервер, которому и предназначено сообщение клиента.
Вот сейчас я буду отправлять это сообщение. WW требует добавить в него мой IP и предположим НС сделает это (не понятно куда добавлять IP? в начало, в середину или куда еще?). В результате мой IP появится где-то в тексте моего сообщения. Кому это надо?

Если я правильно помню, то раньше WW сам автоматически вставлял IP во все посты, из-за чего на некоторых сайтах были проблемы с авторизацией. По этой причине, вероятно, от этой практики потом отказались и стали требовать ручного добавления IP клиентом...


Это надо смотреть конкретно формат POST-запроса для нужного сайта. В принципе, не сложно соблюсти нужный формат, если б была бы еще возможность отредактировать тело запроса...

Сейчас добавлю сюда то, как выглядит отправка этого сообщения в сниффере.
Добавлено: 02 Сентября 2010, 21:41:36

Технически, конечно, можно куда-нибудь в тело сообщения влепить IP или чего-нибудь еще

- подскажите кио-нибудь как вставить IP в тело запроса, я вставлю проксомитроном.
я не владею HTML.

Видим, что тело состоит из нескольких параметров. Кириллица закодирована %xx кодами Win-1251 ( при желании декодировать/кодировать можно с помощью функции hc.recode() ). Вместо пробела используется "+".

Увеличиваем "Content-Length" в заголовке на длину IP и в конец параметра message= добавляем свой IP - и всего делов!

Добавлено: 02 Сентября 2010, 22:37:46


HTML тут и не нужен! См. выше...

Увеличиваем "Content-Length" в заголовке на длину IP  - айпи то разной длины бывают - вручную что ли забивать кажен раз...

В принципе на пальцах оно понятно, только как это практически делается вот в чем вопрос ....  :D
Я вообще не шарю в регулярных выражениях ... и ваще подобном...

И твой IP появляется в твоем сообщении в интернете, оно тебе надо?

mai62,
да нада, только для одного сайта нужного. в проксомитроне это вроде настраивается.

В HC - пока это невозможно, а на счет Проксомитрона - я тебе не советчик. Спроси на его форуме.


Мне - нет, но иначе сервер WW просто не пропустит! Вспомни смысл исходной проблемы...

P.S. Да и вообще, тут важен не конкретный пример, а мысль, что править тело запроса в HC может быть весьма полезно в ряде случаев...