+  HandyCache форум
|-+  Главная категория» Новые предложения» Кеширование HTTPS страниц
Имя пользователя:
Пароль:
Страниц: 1 2 3 [Все]   Вниз
  Отправить эту тему    Печать  
Автор Тема: Кеширование HTTPS страниц  (Прочитано 41471 раз)
0 Пользователей и 2 Гостей смотрят эту тему.
a-v-m
Гость
« : 22 Апрель 2007, 22:23:09 »

Огромная Вам благодарность за программу... НС у меня идёт в связке с тунелем, экономия траффика очень существенна... Могла быть и больше, но... Я практически ежедневно посещаю одни и те же сайты и бОльшая часть из них идёт по защищённым соединениям (https)... вот если бы и эти страницы кешировались... ведь могут же их кешировать браузеры, тот же фокс, та же опера... научить бы этому и НС - цены бы ему не было... Конечно напрашивается вариант использования вместе с НС и кеш браузера, но у меня в фоксе они к сожалению конфликтуют - пришлось в фоксе кеш отключить полностью, а опера (отличный браузер вобщем-то, но) не все нужные мне сайты отображает в полной мере... Вот и получается, что все страницы https приходится всё время грузить заново, вся экономия коту под хвост((
Совершенно ничего не смыслю в технологии кеширования, так что если моё предложение невыполнимо в принципе, прошу считать мой пост просто, как благодарность автору программы. Благодарю  С уважением, Андрей.
Сообщить модератору   Записан
Rick
Администратор
*****

Репутация: +15/-1
Offline Offline

Сообщений: 868


WWW
« Ответ #1 : 23 Апрель 2007, 01:54:37 »

Смысл защищенного соединения по протоколу https именно в том, чтобы никто из посредников не имел доступа к передаваемым данным. Собственно поэтому оно и называется "защищенным". И получается, что через HandyCache идет некий поток зашифрованных данных, в котором невозможно вычленить отдельные файлы - все это делает сам принимающий браузер: именно он уже раскладывает по полочкам что есть что в этом потоке - где сама страница, где скрипты, где картинки и т.д.
Сообщить модератору   Записан
popkov
Beta tester
*****

Репутация: +2/-0
Offline Offline

Сообщений: 349


« Ответ #2 : 23 Апрель 2007, 22:25:30 »

В общем-то в Proxomitron реализована возможность декодирования https - у него есть свой собственный сертификат! При очень большом желании можно даже поставить Proxomitron перед HandyCache, отключив в Proxomitron все фильтры - тогда последний будет просто дешифровывать весь https-траффик, и HandyCache, по-видимому, будет его в этом случае кэшировать (поскольку он уже дешифрован). Однако гарантировать не могу - не проверял. Это зависит от того, как в HC реализовано отделение http - траффика...

На самом деле, то же самое можно реализовать и в HandyCache - это вполне осуществимо, раз в Proxomitron это уже реализовано...
Сообщить модератору   Записан
cepera_ang
Beta tester
*****

Репутация: +9/-4
Offline Offline

Сообщений: 355


« Ответ #3 : 24 Апрель 2007, 19:38:51 »

При очень большом желании можно даже поставить Proxomitron перед HandyCache, отключив в Proxomitron все фильтры - тогда последний будет просто дешифровывать весь https-траффик, и HandyCache, по-видимому, будет его в этом случае кэшировать (поскольку он уже дешифрован).
Нет, не будет. Происходит следующее - браузер запрашивает страничку через НС, НС запрашивает через проксомитрон, проксомитрон у браузера. При это НС просто передает через себя данные, а проксомитрон выступает как сервер к которому шел запрос. Т.е. имеет свой сертификат и т.д. и отдает данные ЗАШИФРОВАННЫМИ, но уже со своей (!) подписью. Это приводит в частности к различным проблемам, таким как несовпадение имени сертификата и хоста в запросе, что вызывает лишнее подозрение у браузеров.
Реализация такой функциональности в НС имхо не нужна, потому что если выдача обычных страниц из кеша вполне безопасна, то выдача устаревших зашифрованных страниц может привести к ошибками при работе например с финансовыми данными и т.д. Плюс это угроза безопасности - все пароли и данные будут лежать в открытом виде на диске (даже если они будут зашифрованы, для расшифроки необходимо иметь лишь НС либо извлечь из него сертификат).
Сообщить модератору   Записан
Линда Кайе
Новичок
*

Репутация: +2/-0
Offline Offline

Сообщений: 26



WWW
« Ответ #4 : 12 Май 2010, 15:56:53 »

Голосую за кэширование HTTPS. Хотябы потому что по HTTPS работают далеко не только финансовые штуки. Windows Live SkyDrive для приватных папок использует HTTPS, благодаря чему всё льётся на машину по сто раз. А какая угроза безопасности, если все эти файлы и так могут быть на локальной машине.

// Про пароли в кэше улыбнуло.

Собственно, техника прекрасно работает в Фидлере, разве что броузеры ругаются на сертификат, но это терпимо, если нужно. А ещё можно ввести список исключений, что кэшировать не нужно. Или наоборот, список того, что нужно кэшировать. Все хосты, которые не попадают в этот список, обрабатываются как раньше, а те, что есть в списке - расшифровывают и пишут на диск.
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +292/-14
Offline Offline

Сообщений: 5194



« Ответ #5 : 20 Январь 2011, 13:18:46 »

Мне тоже кажется, такой функционал полезен. Можно и счетчики, и рекламу вырезать, чего сейчас не сделаешь.
Сообщить модератору   Записан
Terfe
Постоялец
***

Репутация: +4/-1
Offline Offline

Сообщений: 126


« Ответ #6 : 14 Май 2011, 23:55:19 »

Мне тоже кажется, такой функционал полезен. Можно и счетчики, и рекламу вырезать, чего сейчас не сделаешь.
+1. Сейчас все тянет, как будто никаких фильтров не существует Грустный
Сообщить модератору   Записан
alex77
Старожил
****

Репутация: +11/-1
Offline Offline

Сообщений: 462



« Ответ #7 : 15 Май 2011, 04:19:49 »

тоже хотелось бы кешировать https
Сообщить модератору   Записан
Влад22
Пользователь
**

Репутация: +2/-9
Offline Offline

Сообщений: 97


« Ответ #8 : 15 Май 2011, 10:44:53 »

Вы че? тупые? https - это защищенный протокол. лучше уж викинтьте нам на форум ваши логины и пароли ))
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +292/-14
Offline Offline

Сообщений: 5194



« Ответ #9 : 15 Май 2011, 11:20:50 »

лучше уж викинтьте нам на форум ваши логины и пароли
Лучше уж учите матчасть...
Цитировать
Вы че? тупые?
Это честно заработанный -1.
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #10 : 20 Май 2011, 13:35:57 »

Цитировать
тоже хотелось бы кешировать https
+1
Плюс будет видно через монитор, что именно качается.
Сообщить модератору   Записан
Sanchous
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 1


« Ответ #11 : 11 Июль 2011, 12:40:54 »

+1
Плюс будет видно через монитор, что именно качается.
  Google Gears работает и ты сам несёш ответственность за то что у тебя на машине. Я за кеширование HTTPS.
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #12 : 16 Июль 2012, 08:25:15 »

Нашлась программка которая декодирует HTTPS ! ProxHTTPSProxy
Подключил ее к НС как условный прокси (https, :443) теперь все кэшируется и отображается в мониторе.

http://www.proxomitron.ru/board/viewtopic.php?t=2128 тут все написано. Только я не ставил Python 2.7.3 Windows Installer, вроде так все работает. С сертификатом тоже ничего не делал, пока приходится кликать при первом входе на сайт. В старой опере это всего один клик, новом FF три клика.
Сообщить модератору   Записан
Terfe
Постоялец
***

Репутация: +4/-1
Offline Offline

Сообщений: 126


« Ответ #13 : 16 Июль 2012, 18:47:33 »

Теперь очередь за НС (чтоб не ставить лишние проги) Улыбка
Сообщить модератору   Записан
4rum
Новичок
*

Репутация: +1/-0
Offline Offline

Сообщений: 23


« Ответ #14 : 09 Август 2012, 16:36:09 »

Я тоже за кеширование HTTPS, как опция (отключенная по-умолчанию), под риск и ответственность самих пользователей.

Приходится работать с таким сайтом через https, где я только мониторю инфу, и мне всё равно увидит ли кто-то ещё эту инфу, но тянется всё настолько медленно, что даже фф не успевает дождаться загрузки, и вообще просто бесит. А 99% объектов на сайте (кнопочки, рисуночки и тп) не изменяются никогда. Кеширование одной только графики в данном случае сильно бы помогло.
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +292/-14
Offline Offline

Сообщений: 5194



« Ответ #15 : 09 Август 2012, 20:20:52 »

mai62, много просьб об этом от пользователей. Много сайтов работает через https и не подвержены ни кэшированию, ни вырезанию рекламы, что все больше досаждает. Просьба посмотреть сторону добавления возможности полноценной работы с https.
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #16 : 09 Август 2012, 20:52:46 »

И народ на форумах, все чаще выкладывает картинки в HTTPS.
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +215/-4
Offline Offline

Сообщений: 6186


« Ответ #17 : 09 Август 2012, 22:27:53 »

Цитировать
mai62, много просьб об этом от пользователей. Много сайтов работает через https и не подвержены ни кэшированию, ни вырезанию рекламы, что все больше досаждает. Просьба посмотреть сторону добавления возможности полноценной работы с https.
Я уже рассказывал о своих планах. Сейчас в работе новая, версия с большим количеством изменений. Пока я не выпущу ее, говорить о добавлении каких-то других серьезных функций преждевременно. Что толку обещать, если я знаю, что в ближайшие месяцы у меня не будет возможности выполнить обещанное.
Сообщить модератору   Записан
alex77
Старожил
****

Репутация: +11/-1
Offline Offline

Сообщений: 462



« Ответ #18 : 10 Август 2012, 04:19:21 »

И народ на форумах, все чаще выкладывает картинки в HTTPS.
и виноват в этом не "народ", а сервисы
Сообщить модератору   Записан
LordMerlin
Старожил
****

Репутация: +11/-8
Online Online

Сообщений: 459


« Ответ #19 : 10 Август 2012, 09:33:09 »

Это ничего, мы подождем.
Вы бы хоть сделали отдельную ветку, например с названием "Разработка" в которой описали что уже сделано и что предстоит сделать для этой новой версии.
Ну и приблизительные сроки например.
Готовых потестить те или иные фичи будет много.
Я первый.
Сообщить модератору   Записан
C0nstant1n
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 1


« Ответ #20 : 14 Август 2012, 12:27:59 »

Это ничего, мы подождем.
Вы бы хоть сделали отдельную ветку, например с названием "Разработка" в которой описали что уже сделано и что предстоит сделать для этой новой версии.
Ну и приблизительные сроки например.
Готовых потестить те или иные фичи будет много.
Я первый.
Полностью согласен
Сообщить модератору   Записан
shveicar
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 26


« Ответ #21 : 15 Август 2012, 20:00:21 »

Здравствуйте. Я за кэширование https трафика, но будет ли это реализовано. А что Сам Автор программы молчит?
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +215/-4
Offline Offline

Сообщений: 6186


« Ответ #22 : 15 Август 2012, 21:41:00 »

Я ответил на первой странице.
Сообщить модератору   Записан
sflashg
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 14


« Ответ #23 : 27 Август 2012, 17:18:06 »

автору: добавил бы ты в раздел FAQ - про то когда будет реалезованна поддержка HTTPS/FTP ... один из первых вопросов а поодерживает ли система такую фишку

https реально затрудняют систему фильтрации т.е к примеру на том же майле почте к примеру грузятся SWF в фильтре он прописан но он не срабатывает иза этого HTTPS
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #24 : 01 Сентябрь 2012, 13:14:18 »

Есть программа, которая в отличие от ProxHTTPSProxy умеет генерировать сер-ты для каждого хоста. и по идее полностью решает проблему. Но пока непонятно как ее приспособить.
Burp Proxy
Сообщить модератору   Записан
olDjeka
Постоялец
***

Репутация: +6/-0
Offline Offline

Сообщений: 117


« Ответ #25 : 20 Октябрь 2012, 02:45:04 »

Пока решил проблему (Firefox v3.6.28) установкой расширения HTTPS-Everywhere с выключением всех его дефолтных правил и добавлением своего (см. вложение).
При заходе на первую страницу https://mail.google.com ничего не спрашивал (дальше не ходил).
При заходе на https://www.eff.org/https-everywhere спросил про сертификат - разрешил на сессию (подробности не запомнил), и пока лазил по нему (на супер-скорости) ничего больше не спрашивал.

Теперь надо отбирать что в кэш не писать.

Описание HTTPS-Everywhere для Firefox на русском (огрехи в примере и описании правил - лучше смотреть оригинал).
Написание правил для расширения (EN).
Домашняя страница (EN) расширения (для Firefox и Chrome).
Прямая ссыла на HTTPS-Everywhere для Firefox.

«Проксомитрон» -> "Настройки"
"Доступ": • снята галочка "Отключить команды, основаные на URL";
              • пустое поле "Начинать все URL-команды с:"
(работают наиболее короткие URL-команды).
"HTTP":    • снята галочка "Использовать SSLeay/OpeSSL..."
(не грузятся dll, не требующиеся в данном случае)

HC -> добавлены два правила.
• Условные прокси:
#8#~#True#~#Proxomitron#~#HTTP#~#localhost#~#8192#~##~##~#^http://https\.\.
(для Proxomitrona)
• Преобразование URL (первой строкой):
#5#~#True#~#^https\.\.(www\.)?#~##~#False#~#True
(http и https пишет в одни папки, отсекает www.)

* !All.xml (0.11 Кб - загружено 178 раз.)
« Последнее редактирование: 20 Октябрь 2012, 03:38:12 от olDjeka » Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #26 : 20 Октябрь 2012, 14:58:15 »

Цитировать
При заходе на первую страницу https://mail.google.com ничего не спрашивал (дальше не ходил).

В гугле не проходит авторизацию, причина таже, адрес в браузере подменен.
Сообщить модератору   Записан
olDjeka
Постоялец
***

Репутация: +6/-0
Offline Offline

Сообщений: 117


« Ответ #27 : 20 Октябрь 2012, 16:07:53 »

На время авторизации можно отключить правило в расширении (не проверял).

Заход на http://mail.rambler.ru вызвал проблемы - решились через HC:
• Переадресация (добавлено правило)
#5#~#True#~#(https\.\.)+#~#\1#~#False#~#True
(блокирует удлинение URL при самовызове https://https..)
• "Управление загрузкой"
Установлена галочка "Блокировать зацикливание переадресации"
(httр://https..s.rambler.ru/000085/js/https.min.js вызывается 4 раза, без неё - 20)

! Но появились проблемы с google.com
! Решения для всех сайтов пока нет !


Лучше использовать "Сохранить настройки" (из трея). При использовании "Сохранить список" в самом HC, и затем "Перезагрузить списки" (из трея), у меня все изменения исчезают (HC v1.0.0.377).
Вероятно просто не дождался сохранения.
« Последнее редактирование: 20 Октябрь 2012, 16:51:02 от olDjeka » Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #28 : 20 Октябрь 2012, 17:23:06 »

Цитировать
На время авторизации можно отключить правило в расширении (не проверял).


Пробовал это под ProxHTTPSProxy - работает, но не всегда.

Но вобщем пользуюсь несколько месяцев, на всех остальных сайтах, где нет гугло-авторизации проблем нет. По крайней мере все тоже самое, что на http.
Добавлено: 20 Октябрь 2012, 20:57:06

Для mai62 по поводу Burp Suite (Burp Proxy). Это как пример правильной реализации. Сертификат который она выдает нужно добавить в корневые центры браузеров и системы, после чего никаких вопросов больше не будет. Срок действия сертификата 20 лет. См. вложение.
Только эта программа все делает внутри себя и обратно зашифровывает. Поэтому смысла нет соединять ее с HC. Зато там можно как в проксомитроне написать правила для изменения заголовков и тела страниц. (возможно не настолько гибкие)

* PortSwiggerCA.rar (0.74 Кб - загружено 144 раз.)
Сообщить модератору   Записан
olDjeka
Постоялец
***

Репутация: +6/-0
Offline Offline

Сообщений: 117


« Ответ #29 : 20 Октябрь 2012, 22:18:18 »

Вместо правила для переадресации добавил два правила в чёрный список:
#4#~#True#~#https.min.js#~##~#rambler.ru
(блокирует скрипт самовызова для rambler.ru)
#4#~#True#~#(https\.\.)\1#~##~#
(блокирует вызов httрs://https.. не давая "подвесить" браузер)

Для различных сайтов нужно искать свою "занозу".
Сообщить модератору   Записан
Primorsky
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #30 : 20 Октябрь 2013, 12:06:27 »

Для браузера Opera (настоящих версий, т.е. еще до версий 15+, которые стали хромом) в связке с HC есть решение? Я так понимаю, это только ProxHTTPSProxy ?

HKLM
Цитировать
Нашлась программка которая декодирует HTTPS ! ProxHTTPSProxy
Подключил ее к НС как условный прокси (https, :443) теперь все кэшируется и отображается в мониторе.

Объясните пожалуйста, как в HC настроить условный прокси для https, порт 443.
Прописал ProxHTTPSProx в качестве условного прокси, тип HTTP, адрес 127.0.0.1, порт 8081 (стандартные настройки у ProxHTTPSProxy). Запустил ProxHTTPSProxy. Импортировал сертификат в Оперу(12.14). Никакого эффекта.

И нужен ли будет Proxomitron в цепочке Браузер - ProxHTTPSProxy для того чтобы https кэшировался?
« Последнее редактирование: 20 Октябрь 2013, 12:49:24 от Primorsky » Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #31 : 20 Октябрь 2013, 18:33:20 »

Цитировать
Никакого эффекта.
Что не так? Браузер настроен что бы https тоже через HC направлять?
Попробуйте это правило. Только порт на свой смените.
#8#~#True#~#ProxHTTPSProxy#~#HTTP#~#127.0.0.1#~#8087#~##~##~#^(https|http://[^/]*:443)

Цитировать
И нужен ли будет Proxomitron в цепочке Браузер - ProxHTTPSProxy для того чтобы https кэшировался?
Не нужен.
Сообщить модератору   Записан
Anymore
Beta tester
*****

Репутация: +17/-0
Offline Offline

Сообщений: 336


« Ответ #32 : 21 Октябрь 2013, 09:14:33 »

Если я правильно понимаю, единственное что делает ProxHTTPSProxy это возвращает 407 на все ssl запросы. Это так?
Сообщить модератору   Записан
alt76
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 25


« Ответ #33 : 09 Январь 2014, 15:45:51 »

пользуюсь этим: ProxHTTPSProxy 0.4b + DrakonHaSh's patch v.01.rar, брал на ru-board. пользуюсь уже более полугода - проблем не разу не возникало, за исключением пару раз висло https соединение. перезапускал скрипт - все начинало работать вновь.
http://rghost.ru/51510677
по сравнению с оригиналом внесены правки, которые позволяют кэшировать https на сложных сайтах с сохранением залогиненности. даже гуглопочта в ie8, например, в упрощенной HTML-версии работает.
если что-то не работает, то надо перелогинится т.к. сохраненные в браузере куки с атрибутом Secure не передаются по http. а patch этот атрибут убирает.


ps
добавить правила в сообщение не смог: кривой форум или его настройки, выдает:
В сообщении слишком много внешних ссылок.
« Последнее редактирование: 09 Январь 2014, 15:51:24 от alt76 » Сообщить модератору   Записан
KPu3uC B Poccuu
Пользователь
**

Репутация: +0/-1
Offline Offline

Сообщений: 59


WWW
« Ответ #34 : 10 Март 2014, 07:58:22 »

Я вообще не понимаю, как настроить работу ProxHTTPSProxy и HC.
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #35 : 26 Апрель 2014, 20:23:14 »


Цитировать
Список изменений в версии RC4 1.0.0.522
  • Добавлена переменная hc.is_https;
  • Добавлены функции hc.exists_global и hc.exists_global_table_item;
  • Добавлена опция Управление загрузкой\Обработка ssl (доступна только в зарегистрированной версии), более подробно можно прочитать здесь;
Спасибо mai62!
Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +27/-3
Offline Offline

Сообщений: 650


crazy


« Ответ #36 : 26 Апрель 2014, 20:58:25 »

Да, огромное спасибо!
Сообщить модератору   Записан
lemonia
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #37 : 22 Июнь 2015, 13:23:09 »

Есть Веб установщик, который закачивает дистрибутив в виде одного или несколькольких файлов по https, которые после установки не становятся доступными для копирования (надо сделать резервную копию этой версии). Подскажите, как закэшировать или узнать ссылки загрузки?
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #38 : 22 Июнь 2015, 14:26:56 »

lemonia, Включите Управление загрузкой>Обработка SSL
Сообщить модератору   Записан
lemonia
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #39 : 22 Июнь 2015, 15:21:18 »

Спасибо. А у Вебзагрузчика нету меню для ввода прокси. Как быть?
Сообщить модератору   Записан
HKLM
Старожил
****

Репутация: +4/-1
Offline Offline

Сообщений: 293


« Ответ #40 : 22 Июнь 2015, 17:46:00 »

Можно использовать программу типа Proxifier или возможно ваша программа использует настройки прокси internet explorer.

Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +27/-3
Offline Offline

Сообщений: 650


crazy


« Ответ #41 : 22 Июнь 2015, 18:16:50 »

у Вебзагрузчика нету меню для ввода прокси. Как быть?
Почитайте документацию, там много есть интересного. Многие вопросы сами собой отпадут.
Вот, пример ответа на Ваш вопрос.
Сообщить модератору   Записан
Hukolla
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 15


« Ответ #42 : 15 Февраль 2017, 19:36:32 »

На программу забили болт,обидно(
НС в связке с ProxHTTPSProxy грузит https и кешырует ( правда ругается на сертификат) а вот флеш игры даже не грузит,которые тянут данные по https....решение есть какоето?
Сообщить модератору   Записан
Страниц: 1 2 3 [Все]   Вверх
  Отправить эту тему    Печать  

 
Перейти в: