+  HandyCache форум
|-+  Главная категория» Сжатие трафика» WebWarper и HandyCache
Имя пользователя:
Пароль:
Страниц: 1 ... 3 4 [5] 6   Вниз
  Отправить эту тему    Печать  
Автор Тема: WebWarper и HandyCache  (Прочитано 87544 раз)
0 Пользователей и 1 Гость смотрят эту тему.
anis
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 10


« Ответ #80 : 06 ноября 2008, 17:01:27 »

а правила для НС на черный/белый и т.д. списки написаны на каком языке.
PERL или другом?
Сообщить модератору   Записан
anis
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 10


« Ответ #81 : 07 ноября 2008, 10:02:14 »

Подскажите, если я использую НС на компе с анлим и сохраню его КЕШ на комп с GPRS каналом, КЕШ подхватится второй машиной или нет.
и еще если на анлиме использовать без WebWarper-сервиса а на второй машине с ним, будет ли работать КЕШ или нужно на обоих WebWarper и использовать.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #82 : 07 ноября 2008, 12:33:06 »

а правила для НС на черный/белый и т.д. списки написаны на каком языке. PERL или другом?

Читай ФАК!

Подскажите, если я использую НС на компе с анлим и сохраню его КЕШ на комп с GPRS каналом, КЕШ подхватится второй машиной или нет.

Да.

Цитировать
и еще если на анлиме использовать без WebWarper-сервиса а на второй машине с ним, будет ли работать КЕШ или нужно на обоих WebWarper и использовать.

Кэш будет нормально работать, если на машине с WebWarper-ом в "Преобразовании URL" было правило, сохраняющее файлы в их "родные" каталоги (см. ФАК).
Сообщить модератору   Записан
anis
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 10


« Ответ #83 : 07 ноября 2008, 13:02:05 »

а если на машине без WebWarper я создаю КЕШ на анлиме
а вот дома на GPRS-соединение хочу поставить еще и WebWarper, но созмет ли она КЕШ с машины где нет WebWarper.
Добавлено: 07 Ноября 2008, 12:56:59

скажите свзяка
browser-HC-WebWarper-Toolnet-интернет лучше сжимает чем
browser-HC-Toolnet-интернет или нет.

т.е. используя WebWarper есть ли необходимость использовать Toolnet
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #84 : 07 ноября 2008, 14:37:25 »

а если на машине без WebWarper я создаю КЕШ на анлиме
а вот дома на GPRS-соединение хочу поставить еще и WebWarper, но созмет ли она КЕШ с машины где нет WebWarper.

См. мой предыдущий пост...

Цитировать
скажите свзяка
browser-HC-WebWarper-Toolnet-интернет лучше сжимает чем
browser-HC-Toolnet-интернет или нет.

Что такое Toolnet? Знаю Toonel.net.
В использовании двойного сжатия смысла не вижу. Это только затормозит закачку, поэтому связка:
browser-HC-Toonel-интернет - лучше.

Цитировать
т.е. используя WebWarper есть ли необходимость использовать Toolnet

Скажу иначе, если используешь Toonel, то нет необходимости использовать WebWarper. Преимущество Toonel.net в том, что он умеет сжимать картинки, а WebWarper не умеет.
Сообщить модератору   Записан
jjkl
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #85 : 01 сентября 2010, 08:14:10 »

Прикрутил WebWarper к HandyCache, НО! - не дает авторизоваться на сайте через WebWarper!
просит айпи сообщать - как добавить айпи в POST-запросах ??


это пишет WebWarper:

-------------------------------------------------------
You are trying to post a message through WebWarper anonymously (that is, to send some data via web form using POST protocol).

Sorry, WebWarper allows this only if your message is supplied with your IP address: 81.26.91.10.

Usually, while sending any text data via web forms, your message is automatically supplied with a signature directly containing your IP address.
But now WebWarper cannot find your IP in the message body.
You may return to the previous page, manually include "81.26.91.10" string into your message and try to repeat your posting.
 
You may also try to work with this site without WebWarper:
http://www.au.ru
---------------------------------------------------------------
Добавлено: 01 Сентября 2010, 07:39:48

кстати а ведь WebWarper отдает страничку с переделанными ссылками типа " http://www.webwarper.net/ww/....  "
 и рекомендуемое "преобразование URL  -  webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*)  "  не работает ... не понятно...
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #86 : 01 сентября 2010, 08:22:26 »

Насколько я понимаю, отправляемое сообщение формирует браузер и добавить в него свой IP не получится. Нужно попробовать авторизацию на сайт пустить мимо WebWarper. Для этого в файл ww.lst нужно вписать строку-исключение в таком виде
!www.au.ru
В таком случае весь обмен с www.au.ru пойдет мимо WebWarper. Можно попробовать вместо www.au.ru вписать конкретный URL, через которой производится авторизация. Но не уверен, что сайт устроит то обстоятельство, что авторизация была с одного IP, а остальные сообщения с другого.
Сообщить модератору   Записан
jjkl
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #87 : 01 сентября 2010, 12:19:36 »

mai62,
 понятно. только пускать этот сайт в обход WebWarper не подходит - для того и прикручивал WebWarper чтоб через него сидеть на этом сайте и трафик сотика экономить  (временно у меня нет нормального интернета).

а как насчет переделывания ссылок на страничке - ведь WebWarper переделывает все ссылки страницы добавляя префикс  http://www.webwarper.net/ww/....    - и втаком виде хэндикеш отдает ее браузеру -  как с этим бороться - ведь тогда правило сервера-посредника срабатывает только раз - при первом посещении сайт и дальше приходится кликать по переделанным ссылкам...
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #88 : 01 сентября 2010, 13:15:40 »

Какая тебе разница откуда в URL, уходящих в инет берется префикс http://www.webwarper.net/ww/? Он там есть, а кто его добавил не имеет значения.
А чего ты именно WebWarper для сжатия выбрал? Вроде здесь http://handycache.ru/component/option,com_smf/Itemid,10/board,11.0/ есть и получше варианты.
Сообщить модератору   Записан
jjkl
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #89 : 01 сентября 2010, 16:46:37 »

Какая тебе разница откуда в URL, уходящих в инет берется префикс http://www.webwarper.net/ww/?

- разница есть, ибо префикс http://www.webwarper.net/ww/ после первого перехода по модифицированной ссылке вставляется в адресную строку браузера и дальше чтоб перейти на страничку уже без использования webwarper, нужно вручную удалять префикс - а это муторно.
Нужно это хотя б для авторизации как уже выше писал.

Явно взаиможействие с webwarper недоработано в HandyCache.
должно быть - в запросах - добавить префикс http://www.webwarper.net/ww/,  а в ответах - удалить этот же префикс

На другие сервисы переходить нехочу ибо напрягает разбираться по новой.
Добавлено: 01 Сентября 2010, 16:04:30

сам себе отвечу:
 
"в ответах - удалить этот же префикс"  - это я сделал с помощью нового фильтра в Proxomitron !!

после танца с бубном наконец я получил то что мне надо.
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #90 : 01 сентября 2010, 21:16:49 »

Цитировать
"в ответах - удалить этот же префикс"  - это я сделал с помощью нового фильтра в Proxomitron !!
Это же можно сделать расширением СМ. Как сделать написано тут http://handycache.ru/component/option,com_smf/Itemid,10/topic,1120.msg27075/#msg27075
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #91 : 02 сентября 2010, 15:58:59 »

Прикрутил WebWarper к HandyCache, НО! - не дает авторизоваться на сайте через WebWarper!
просит айпи сообщать

Да, это давнее ограничение WebWarper-а, которое было у него с самого рождения.

и рекомендуемое "преобразование URL  -  webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*)  "  не работает ... не понятно...

Список "Преобразование URL" преобразует только пути к файлам в кэше, а не линки на HTML страницах!  Читай доки!

Насколько я понимаю, отправляемое сообщение формирует браузер и добавить в него свой IP не получится.

Вообще-то, может получиться, если HC когда-нибудь научится править тела запросов... Подмигивающий

Явно взаиможействие с webwarper недоработано в HandyCache.
должно быть - в запросах - добавить префикс http://www.webwarper.net/ww/,  а в ответах - удалить этот же префикс

У меня давно это делается в расширении Content Master с помощью правила группы ## REPLACEMENTS:
^#~#http://\Kwww\.webwarper\.net/ww/(?:~clientscriptgz/)?(?=[^/]+\.\w+/)#~#
и никакой Proxomitron не нужен...
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #92 : 02 сентября 2010, 16:59:37 »

Цитировать
Вообще-то, может получиться, если HC когда-нибудь научится править тела запросов...
Технически, конечно, можно куда-нибудь в тело сообщения влепить IP или чего-нибудь еще. Но, что с этим чего-нибудь, будет делать сервер? В лучшем случае просто выбросит, в худшем  - нарушится взаимопонимание клиента и сервера.
Странным, на мой взгляд, выглядит требование WebWarper "Sorry, WebWarper allows this only if your message is supplied with your IP address: 81.26.91.10." C чего они взяли, что если где-то в сообщении будет упомянут IP, то это гарантированно нарушит анонимность клиента. Прокси-серверы, при желании, могут помещать в заголовки запроса строку с IP-адресом клиента (это мог бы делать WebWarper, а не создавать проблемы клиентам). Это с большей вероятностью разрушит анонимность. Потому, что это общепринятое поведение в такой ситуации (само по себе нахождение IP в теле сообщения ведь не значит, что это IP клиента, а не упоминание IP по какому-то другому поводу), и потому, что сохранение логов с заголовками выглядит более вероятным, чем сохранение обмена полностью.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #93 : 02 сентября 2010, 17:33:46 »

Цитировать
Вообще-то, может получиться, если HC когда-нибудь научится править тела запросов...
Технически, конечно, можно куда-нибудь в тело сообщения влепить IP или чего-нибудь еще. Но, что с этим чего-нибудь, будет делать сервер? В лучшем случае просто выбросит, в худшем  - нарушится взаимопонимание клиента и сервера.

У сервера WW с клиентом будет полное взаимопонимание, поскольку это именно он требует наличие IP в теле сообщения! И сервер WW не будет его никуда выкидывать, а просто запостит его в том виде, как получил от клиента.

Цитировать
C чего они взяли, что если где-то в сообщении будет упомянут IP, то это гарантированно нарушит анонимность клиента. Прокси-серверы, при желании, могут помещать в заголовки запроса строку с IP-адресом клиента (это мог бы делать WebWarper, а не создавать проблемы клиентам).

Они делают и то, и другое - и в заголовках светят IP клиента, и в тексте сообщения!

Нет смысла критиковать "политику партии WW"! Она такая, как есть, и не менялась уже несколько лет, несмотря на многочисленные протесты пользователей...

P.S. Как говорится: "Мыши плакали, кололись, но продолжали жрать кактус!" (с)
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #94 : 02 сентября 2010, 18:55:19 »

Цитировать
У сервера WW с клиентом будет полное взаимопонимание, поскольку это именно он требует наличие IP в теле сообщения! И сервер WW не будет его никуда выкидывать, а просто запостит его в том виде, как получил от клиента.
Когда я писал про сервер, я имел ввиду не сервер WW, а конечный сервер, которому и предназначено сообщение клиента.
Вот сейчас я буду отправлять это сообщение. WW требует добавить в него мой IP и предположим НС сделает это (не понятно куда добавлять IP? в начало, в середину или куда еще?). В результате мой IP появится где-то в тексте моего сообщения. Кому это надо?
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #95 : 02 сентября 2010, 19:22:44 »

Если я правильно помню, то раньше WW сам автоматически вставлял IP во все посты, из-за чего на некоторых сайтах были проблемы с авторизацией. По этой причине, вероятно, от этой практики потом отказались и стали требовать ручного добавления IP клиентом...

не понятно куда добавлять IP? в начало, в середину или куда еще?

Это надо смотреть конкретно формат POST-запроса для нужного сайта. В принципе, не сложно соблюсти нужный формат, если б была бы еще возможность отредактировать тело запроса...
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #96 : 02 сентября 2010, 21:43:28 »

Сейчас добавлю сюда то, как выглядит отправка этого сообщения в сниффере.
Добавлено: 02 Сентября 2010, 21:41:36

Код:
POST /component/option,com_smf/Itemid,10/action,post2/ HTTP/1.1
Host: handycache.ru
User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:2.0b6pre) Gecko/20100901 Firefox/4.0b6pre
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Referer: http://handycache.ru/component/option,com_smf/Itemid,10/topic,3055.msg27348/topicseen,1/
Content-Type: application/x-www-form-urlencoded
Content-Length: 449

topic=3055&subject=Re%3A+%CF%F0%EE%E1%EB%E5%EC%E0+%F1+%F1%E5%F0%E2%E5%F0%E0%EC%E8-%EF%EE%F1%F0%E5%E4%ED%E8%EA%E0%EC%E8&icon=xx&notify=0&goback=1&num_replies=18&message=%D1%E5%E9%F7%E0%F1+%E4%EE%E1%E0%E2%EB%FE+%F1%FE%E4%E0+%F2%EE%2C+%EA%E0%EA+%E2%FB%E3%EB%FF%E4%E8%F2+%EE%F2%EF%F0%E0%E2%EA%E0+%FD%F2%EE%E3%EE+%F1%EE%EE%E1%F9%E5%ED%E8%FF+%E2+%F1%ED%E8%F4%F4%E5%F0%E5.&post=%CE%F2%EF%F0%E0%E2%E8%F2%FC&sc=7dc1a6b729bedbb623795a2de853e588&seqnum=4201538
Сообщить модератору   Записан
jjkl
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #97 : 02 сентября 2010, 22:02:52 »

Технически, конечно, можно куда-нибудь в тело сообщения влепить IP или чего-нибудь еще

- подскажите кио-нибудь как вставить IP в тело запроса, я вставлю проксомитроном.
я не владею HTML.
« Последнее редактирование: 02 сентября 2010, 22:31:02 от jjkl » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #98 : 02 сентября 2010, 22:38:56 »

Сейчас добавлю сюда то, как выглядит отправка этого сообщения в сниффере.

Видим, что тело состоит из нескольких параметров. Кириллица закодирована %xx кодами Win-1251 ( при желании декодировать/кодировать можно с помощью функции hc.recode() ). Вместо пробела используется "+".

Увеличиваем "Content-Length" в заголовке на длину IP и в конец параметра message= добавляем свой IP - и всего делов!

Добавлено: 02 Сентября 2010, 22:37:46

я не владею HTML.

HTML тут и не нужен! См. выше...
Сообщить модератору   Записан
jjkl
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #99 : 02 сентября 2010, 22:52:41 »

Увеличиваем "Content-Length" в заголовке на длину IP  - айпи то разной длины бывают - вручную что ли забивать кажен раз...

В принципе на пальцах оно понятно, только как это практически делается вот в чем вопрос ....  Веселый
Я вообще не шарю в регулярных выражениях ... и ваще подобном...
Сообщить модератору   Записан
Страниц: 1 ... 3 4 [5] 6   Вверх
  Отправить эту тему    Печать  

 
Перейти в: