HandyCache форум

Главная категория => Новые предложения => Тема начата: a-v-m от 22 Апрель 2007, 22:23:09



Название: Кеширование HTTPS страниц
Отправлено: a-v-m от 22 Апрель 2007, 22:23:09
Огромная Вам благодарность за программу... НС у меня идёт в связке с тунелем, экономия траффика очень существенна... Могла быть и больше, но... Я практически ежедневно посещаю одни и те же сайты и бОльшая часть из них идёт по защищённым соединениям (https)... вот если бы и эти страницы кешировались... ведь могут же их кешировать браузеры, тот же фокс, та же опера... научить бы этому и НС - цены бы ему не было... Конечно напрашивается вариант использования вместе с НС и кеш браузера, но у меня в фоксе они к сожалению конфликтуют - пришлось в фоксе кеш отключить полностью, а опера (отличный браузер вобщем-то, но) не все нужные мне сайты отображает в полной мере... Вот и получается, что все страницы https приходится всё время грузить заново, вся экономия коту под хвост((
Совершенно ничего не смыслю в технологии кеширования, так что если моё предложение невыполнимо в принципе, прошу считать мой пост просто, как благодарность автору программы. :thanks:  С уважением, Андрей.


Название: Re: Кеширование HTTPS страниц
Отправлено: Rick от 23 Апрель 2007, 01:54:37
Смысл защищенного соединения по протоколу https именно в том, чтобы никто из посредников не имел доступа к передаваемым данным. Собственно поэтому оно и называется "защищенным". И получается, что через HandyCache идет некий поток зашифрованных данных, в котором невозможно вычленить отдельные файлы - все это делает сам принимающий браузер: именно он уже раскладывает по полочкам что есть что в этом потоке - где сама страница, где скрипты, где картинки и т.д.


Название: Re: Кеширование HTTPS страниц
Отправлено: popkov от 23 Апрель 2007, 22:25:30
В общем-то в Proxomitron реализована возможность декодирования https - у него есть свой собственный сертификат! При очень большом желании можно даже поставить Proxomitron перед HandyCache, отключив в Proxomitron все фильтры - тогда последний будет просто дешифровывать весь https-траффик, и HandyCache, по-видимому, будет его в этом случае кэшировать (поскольку он уже дешифрован). Однако гарантировать не могу - не проверял. Это зависит от того, как в HC реализовано отделение http - траффика...

На самом деле, то же самое можно реализовать и в HandyCache - это вполне осуществимо, раз в Proxomitron это уже реализовано...


Название: Re: Кеширование HTTPS страниц
Отправлено: cepera_ang от 24 Апрель 2007, 19:38:51
При очень большом желании можно даже поставить Proxomitron перед HandyCache, отключив в Proxomitron все фильтры - тогда последний будет просто дешифровывать весь https-траффик, и HandyCache, по-видимому, будет его в этом случае кэшировать (поскольку он уже дешифрован).
Нет, не будет. Происходит следующее - браузер запрашивает страничку через НС, НС запрашивает через проксомитрон, проксомитрон у браузера. При это НС просто передает через себя данные, а проксомитрон выступает как сервер к которому шел запрос. Т.е. имеет свой сертификат и т.д. и отдает данные ЗАШИФРОВАННЫМИ, но уже со своей (!) подписью. Это приводит в частности к различным проблемам, таким как несовпадение имени сертификата и хоста в запросе, что вызывает лишнее подозрение у браузеров.
Реализация такой функциональности в НС имхо не нужна, потому что если выдача обычных страниц из кеша вполне безопасна, то выдача устаревших зашифрованных страниц может привести к ошибками при работе например с финансовыми данными и т.д. Плюс это угроза безопасности - все пароли и данные будут лежать в открытом виде на диске (даже если они будут зашифрованы, для расшифроки необходимо иметь лишь НС либо извлечь из него сертификат).


Название: Re: Кеширование HTTPS страниц
Отправлено: Линда Кайе от 12 Май 2010, 15:56:53
Голосую за кэширование HTTPS. Хотябы потому что по HTTPS работают далеко не только финансовые штуки. Windows Live SkyDrive для приватных папок использует HTTPS, благодаря чему всё льётся на машину по сто раз. А какая угроза безопасности, если все эти файлы и так могут быть на локальной машине.

// Про пароли в кэше улыбнуло.

Собственно, техника прекрасно работает в Фидлере, разве что броузеры ругаются на сертификат, но это терпимо, если нужно. А ещё можно ввести список исключений, что кэшировать не нужно. Или наоборот, список того, что нужно кэшировать. Все хосты, которые не попадают в этот список, обрабатываются как раньше, а те, что есть в списке - расшифровывают и пишут на диск.


Название: Re: Кеширование HTTPS страниц
Отправлено: Михаил от 20 Январь 2011, 13:18:46
Мне тоже кажется, такой функционал полезен. Можно и счетчики, и рекламу вырезать, чего сейчас не сделаешь.


Название: Re: Кеширование HTTPS страниц
Отправлено: Terfe от 14 Май 2011, 23:55:19
Мне тоже кажется, такой функционал полезен. Можно и счетчики, и рекламу вырезать, чего сейчас не сделаешь.
+1. Сейчас все тянет, как будто никаких фильтров не существует :(


Название: Re: Кеширование HTTPS страниц
Отправлено: alex77 от 15 Май 2011, 04:19:49
тоже хотелось бы кешировать https


Название: Re: Кеширование HTTPS страниц
Отправлено: Влад22 от 15 Май 2011, 10:44:53
Вы че? тупые? https - это защищенный протокол. лучше уж викинтьте нам на форум ваши логины и пароли ))


Название: Re: Кеширование HTTPS страниц
Отправлено: Михаил от 15 Май 2011, 11:20:50
лучше уж викинтьте нам на форум ваши логины и пароли
Лучше уж учите матчасть...
Цитировать
Вы че? тупые?
Это честно заработанный -1.


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 20 Май 2011, 13:35:57
Цитировать
тоже хотелось бы кешировать https
+1
Плюс будет видно через монитор, что именно качается.


Название: Re: Кеширование HTTPS страниц
Отправлено: Sanchous от 11 Июль 2011, 12:40:54
+1
Плюс будет видно через монитор, что именно качается.
  Google Gears работает и ты сам несёш ответственность за то что у тебя на машине. Я за кеширование HTTPS.


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 16 Июль 2012, 08:25:15
Нашлась программка которая декодирует HTTPS ! ProxHTTPSProxy (http://www.4shared.com/archive/G9emBeoX/ProxHTTPSProxy.html)
Подключил ее к НС как условный прокси (https, :443) теперь все кэшируется и отображается в мониторе.

http://www.proxomitron.ru/board/viewtopic.php?t=2128 тут все написано. Только я не ставил Python 2.7.3 Windows Installer, вроде так все работает. С сертификатом тоже ничего не делал, пока приходится кликать при первом входе на сайт. В старой опере это всего один клик, новом FF три клика.


Название: Re: Кеширование HTTPS страниц
Отправлено: Terfe от 16 Июль 2012, 18:47:33
Теперь очередь за НС (чтоб не ставить лишние проги) :)


Название: Re: Кеширование HTTPS страниц
Отправлено: 4rum от 09 Август 2012, 16:36:09
Я тоже за кеширование HTTPS, как опция (отключенная по-умолчанию), под риск и ответственность самих пользователей.

Приходится работать с таким сайтом через https, где я только мониторю инфу, и мне всё равно увидит ли кто-то ещё эту инфу, но тянется всё настолько медленно, что даже фф не успевает дождаться загрузки, и вообще просто бесит. А 99% объектов на сайте (кнопочки, рисуночки и тп) не изменяются никогда. Кеширование одной только графики в данном случае сильно бы помогло.


Название: Re: Кеширование HTTPS страниц
Отправлено: Михаил от 09 Август 2012, 20:20:52
mai62, много просьб об этом от пользователей. Много сайтов работает через https и не подвержены ни кэшированию, ни вырезанию рекламы, что все больше досаждает. Просьба посмотреть сторону добавления возможности полноценной работы с https.


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 09 Август 2012, 20:52:46
И народ на форумах, все чаще выкладывает картинки в HTTPS.


Название: Re: Кеширование HTTPS страниц
Отправлено: mai62 от 09 Август 2012, 22:27:53
Цитировать
mai62, много просьб об этом от пользователей. Много сайтов работает через https и не подвержены ни кэшированию, ни вырезанию рекламы, что все больше досаждает. Просьба посмотреть сторону добавления возможности полноценной работы с https.
Я уже рассказывал о своих планах. Сейчас в работе новая, версия с большим количеством изменений. Пока я не выпущу ее, говорить о добавлении каких-то других серьезных функций преждевременно. Что толку обещать, если я знаю, что в ближайшие месяцы у меня не будет возможности выполнить обещанное.


Название: Re: Кеширование HTTPS страниц
Отправлено: alex77 от 10 Август 2012, 04:19:21
И народ на форумах, все чаще выкладывает картинки в HTTPS.
и виноват в этом не "народ", а сервисы


Название: Re: Кеширование HTTPS страниц
Отправлено: LordMerlin от 10 Август 2012, 09:33:09
Это ничего, мы подождем.
Вы бы хоть сделали отдельную ветку, например с названием "Разработка" в которой описали что уже сделано и что предстоит сделать для этой новой версии.
Ну и приблизительные сроки например.
Готовых потестить те или иные фичи будет много.
Я первый.


Название: Re: Кеширование HTTPS страниц
Отправлено: C0nstant1n от 14 Август 2012, 12:27:59
Это ничего, мы подождем.
Вы бы хоть сделали отдельную ветку, например с названием "Разработка" в которой описали что уже сделано и что предстоит сделать для этой новой версии.
Ну и приблизительные сроки например.
Готовых потестить те или иные фичи будет много.
Я первый.
Полностью согласен


Название: Re: Кеширование HTTPS страниц
Отправлено: shveicar от 15 Август 2012, 20:00:21
Здравствуйте. Я за кэширование https трафика, но будет ли это реализовано. А что Сам Автор программы молчит?


Название: Re: Кеширование HTTPS страниц
Отправлено: mai62 от 15 Август 2012, 21:41:00
Я ответил на первой странице.


Название: Re: Кеширование HTTPS страниц
Отправлено: sflashg от 27 Август 2012, 17:18:06
автору: добавил бы ты в раздел FAQ - про то когда будет реалезованна поддержка HTTPS/FTP ... один из первых вопросов а поодерживает ли система такую фишку

https реально затрудняют систему фильтрации т.е к примеру на том же майле почте к примеру грузятся SWF в фильтре он прописан но он не срабатывает иза этого HTTPS


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 01 Сентябрь 2012, 13:14:18
Есть программа, которая в отличие от ProxHTTPSProxy умеет генерировать сер-ты для каждого хоста. и по идее полностью решает проблему. Но пока непонятно как ее приспособить.
Burp Proxy (http://h4s-team.ru/bs/proxy/proxy.html)


Название: Re: Кеширование HTTPS страниц
Отправлено: olDjeka от 20 Октябрь 2012, 02:45:04
Пока решил проблему (Firefox v3.6.28) установкой расширения HTTPS-Everywhere с выключением всех его дефолтных правил и добавлением своего (см. вложение).
При заходе на первую страницу https://mail.google.com ничего не спрашивал (дальше не ходил).
При заходе на https://www.eff.org/https-everywhere спросил про сертификат - разрешил на сессию (подробности не запомнил), и пока лазил по нему (на супер-скорости) ничего больше не спрашивал.

Теперь надо отбирать что в кэш не писать.

Описание HTTPS-Everywhere для Firefox на русском (http://tigors.net/force-firefox-to-use-https/) (огрехи в примере и описании правил - лучше смотреть оригинал).
Написание правил для расширения (EN). (https://www.eff.org/https-everywhere/rulesets)
Домашняя страница (EN) расширения (для Firefox и Chrome). (https://www.eff.org/https-everywhere)
Прямая ссыла на HTTPS-Everywhere для Firefox. (https://www.eff.org/files/https-everywhere-latest.xpi)

«Проксомитрон» -> "Настройки"
"Доступ": • снята галочка "Отключить команды, основаные на URL";
              • пустое поле "Начинать все URL-команды с:"
(работают наиболее короткие URL-команды).
"HTTP":    • снята галочка "Использовать SSLeay/OpeSSL..."
(не грузятся dll, не требующиеся в данном случае)

HC -> добавлены два правила.
• Условные прокси:
#8#~#True#~#Proxomitron#~#HTTP#~#localhost#~#8192#~##~##~#^http://https\.\.
(для Proxomitrona)
• Преобразование URL (первой строкой):
#5#~#True#~#^https\.\.(www\.)?#~##~#False#~#True
(http и https пишет в одни папки, отсекает www.)


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 20 Октябрь 2012, 14:58:15
Цитировать
При заходе на первую страницу https://mail.google.com ничего не спрашивал (дальше не ходил).

В гугле не проходит авторизацию, причина таже, адрес в браузере подменен.


Название: Re: Кеширование HTTPS страниц
Отправлено: olDjeka от 20 Октябрь 2012, 16:07:53
На время авторизации можно отключить правило в расширении (не проверял).

Заход на http://mail.rambler.ru вызвал проблемы - решились через HC:
• Переадресация (добавлено правило)
#5#~#True#~#(https\.\.)+#~#\1#~#False#~#True
(блокирует удлинение URL при самовызове https://https..)
• "Управление загрузкой"
Установлена галочка "Блокировать зацикливание переадресации"
(httр://https..s.rambler.ru/000085/js/https.min.js вызывается 4 раза, без неё - 20)

! Но появились проблемы с google.com
! Решения для всех сайтов пока нет !

Лучше использовать "Сохранить настройки" (из трея). При использовании "Сохранить список" в самом HC, и затем "Перезагрузить списки" (из трея), у меня все изменения исчезают (HC v1.0.0.377).
Вероятно просто не дождался сохранения.


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 20 Октябрь 2012, 17:23:06
Цитировать
На время авторизации можно отключить правило в расширении (не проверял).


Пробовал это под ProxHTTPSProxy - работает, но не всегда.

Но вобщем пользуюсь несколько месяцев, на всех остальных сайтах, где нет гугло-авторизации проблем нет. По крайней мере все тоже самое, что на http.
Добавлено: 20 Октябрь 2012, 20:57:06

Для mai62 по поводу Burp Suite (Burp Proxy). Это как пример правильной реализации. Сертификат который она выдает нужно добавить в корневые центры браузеров и системы, после чего никаких вопросов больше не будет. Срок действия сертификата 20 лет. См. вложение.
Только эта программа все делает внутри себя и обратно зашифровывает. Поэтому смысла нет соединять ее с HC. Зато там можно как в проксомитроне написать правила для изменения заголовков и тела страниц. (возможно не настолько гибкие)


Название: Re: Кеширование HTTPS страниц
Отправлено: olDjeka от 20 Октябрь 2012, 22:18:18
Вместо правила для переадресации добавил два правила в чёрный список:
#4#~#True#~#https.min.js#~##~#rambler.ru
(блокирует скрипт самовызова для rambler.ru)
#4#~#True#~#(https\.\.)\1#~##~#
(блокирует вызов httрs://https.. не давая "подвесить" браузер)

Для различных сайтов нужно искать свою "занозу".


Название: Re: Кеширование HTTPS страниц
Отправлено: Primorsky от 20 Октябрь 2013, 12:06:27
Для браузера Opera (настоящих версий, т.е. еще до версий 15+, которые стали хромом) в связке с HC есть решение? Я так понимаю, это только ProxHTTPSProxy ?

HKLM
Цитировать
Нашлась программка которая декодирует HTTPS ! ProxHTTPSProxy
Подключил ее к НС как условный прокси (https, :443) теперь все кэшируется и отображается в мониторе.

Объясните пожалуйста, как в HC настроить условный прокси для https, порт 443.
Прописал ProxHTTPSProx в качестве условного прокси, тип HTTP, адрес 127.0.0.1, порт 8081 (стандартные настройки у ProxHTTPSProxy). Запустил ProxHTTPSProxy. Импортировал сертификат в Оперу(12.14). Никакого эффекта.

И нужен ли будет Proxomitron в цепочке Браузер - ProxHTTPSProxy для того чтобы https кэшировался?


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 20 Октябрь 2013, 18:33:20
Цитировать
Никакого эффекта.
Что не так? Браузер настроен что бы https тоже через HC направлять?
Попробуйте это правило. Только порт на свой смените.
#8#~#True#~#ProxHTTPSProxy#~#HTTP#~#127.0.0.1#~#8087#~##~##~#^(https|http://[^/]*:443)

Цитировать
И нужен ли будет Proxomitron в цепочке Браузер - ProxHTTPSProxy для того чтобы https кэшировался?
Не нужен.


Название: Re: Кеширование HTTPS страниц
Отправлено: Anymore от 21 Октябрь 2013, 09:14:33
Если я правильно понимаю, единственное что делает ProxHTTPSProxy это возвращает 407 на все ssl запросы. Это так?


Название: Re: Кеширование HTTPS страниц
Отправлено: alt76 от 09 Январь 2014, 15:45:51
пользуюсь этим: ProxHTTPSProxy 0.4b + DrakonHaSh's patch v.01.rar, брал на ru-board. пользуюсь уже более полугода - проблем не разу не возникало, за исключением пару раз висло https соединение. перезапускал скрипт - все начинало работать вновь.
http://rghost.ru/51510677
по сравнению с оригиналом внесены правки, которые позволяют кэшировать https на сложных сайтах с сохранением залогиненности. даже гуглопочта в ie8, например, в упрощенной HTML-версии работает.
если что-то не работает, то надо перелогинится т.к. сохраненные в браузере куки с атрибутом Secure не передаются по http. а patch этот атрибут убирает.


ps
добавить правила в сообщение не смог: кривой форум или его настройки, выдает:
В сообщении слишком много внешних ссылок.


Название: Re: Кеширование HTTPS страниц
Отправлено: KPu3uC B Poccuu от 10 Март 2014, 07:58:22
Я вообще не понимаю, как настроить работу ProxHTTPSProxy и HC.


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 26 Апрель 2014, 20:23:14

Цитировать
Список изменений в версии RC4 1.0.0.522
  • Добавлена переменная hc.is_https;
  • Добавлены функции hc.exists_global и hc.exists_global_table_item;
  • Добавлена опция Управление загрузкой\Обработка ssl (доступна только в зарегистрированной версии), более подробно можно прочитать здесь;
Спасибо mai62!


Название: Re: Кеширование HTTPS страниц
Отправлено: YuS от 26 Апрель 2014, 20:58:25
Да, огромное спасибо!


Название: Re: Кеширование HTTPS страниц
Отправлено: lemonia от 22 Июнь 2015, 13:23:09
Есть Веб установщик, который закачивает дистрибутив в виде одного или несколькольких файлов по https, которые после установки не становятся доступными для копирования (надо сделать резервную копию этой версии). Подскажите, как закэшировать или узнать ссылки загрузки?


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 22 Июнь 2015, 14:26:56
lemonia, Включите Управление загрузкой>Обработка SSL


Название: Re: Кеширование HTTPS страниц
Отправлено: lemonia от 22 Июнь 2015, 15:21:18
Спасибо. А у Вебзагрузчика нету меню для ввода прокси. Как быть?


Название: Re: Кеширование HTTPS страниц
Отправлено: HKLM от 22 Июнь 2015, 17:46:00
Можно использовать программу типа Proxifier или возможно ваша программа использует настройки прокси internet explorer.



Название: Re: Кеширование HTTPS страниц
Отправлено: YuS от 22 Июнь 2015, 18:16:50
у Вебзагрузчика нету меню для ввода прокси. Как быть?
Почитайте документацию, там много есть интересного. Многие вопросы сами собой отпадут.
Вот, пример (http://handycache.ru/component/option,com_simplefaq/task,display/Itemid,3/catid,6/#FAQ51) ответа на Ваш вопрос.


Название: Re: Кеширование HTTPS страниц
Отправлено: Hukolla от 15 Февраль 2017, 19:36:32
На программу забили болт,обидно(
НС в связке с ProxHTTPSProxy грузит https и кешырует ( правда ругается на сертификат) а вот флеш игры даже не грузит,которые тянут данные по https....решение есть какоето?


Название: Re: Кеширование HTTPS страниц
Отправлено: Merh от 23 Февраль 2018, 00:34:09
а вот флеш игры даже не грузит,которые тянут данные по https....решение есть какоето?
На сертификат уже не ругается, а флешигры из ВК уже не запускает.