+  HandyCache форум
|-+  Главная категория» Дополнения, плагины» Content Master v.2.0
Имя пользователя:
Пароль:
Страниц: 1 ... 67 68 [69] 70 71 ... 113   Вниз
  Отправить эту тему    Печать  
Автор Тема: Content Master v.2.0  (Прочитано 522954 раз)
0 Пользователей и 3 Гостей смотрят эту тему.
mig73
Постоялец
***

Репутация: +4/-1
Offline Offline

Сообщений: 119



WWW
« Ответ #1360 : 07 января 2017, 01:11:22 »

Обновился, нажал Ctrl+F5 и теперь отображается нормально. Спасибо.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1361 : 07 января 2017, 01:29:05 »

А то, что ложное срабатывание единственное... можно попробовать предположить сколько форумов IP.Board существует вообще в интернет...
Тут ведь не каждый знает/захочет что-либо где-то написать, чтобы решить вопрос, да и причину сумеет определить, тоже не каждый пользователь...
Акцент я делаю на незначительности этого ложного срабатывания - меняется только фоновый цвет шапки.
СМ на ОГРОМНОМ количестве сайтов делает изменения, приводящие к перемене цвета фона или внутренних элементов сайта.
Например, на сайте черный фон с рекламой. СМ удалил рекламу, и фон при этом стал белым. Представьте теперь, что после этого ко мне обращается пользователь (или автор сайта), который говорит: "Рекламу удалили, хорошо. Но фон по задумке автора сайта был черным. Белый мне как бельмо на глазу. Верните фон". И это не все. Потом мне напишет другой пользователь: "А мне новый белый фон гораздо больше по душе. Прошу не трогать."

Так вот если это делать везде, то с одной стороны не хватит никакой производительности и никаких списков, а с другой - мнений, вкусов и предпочтений разных пользователей. Поэтому такое самостоятельное "творчество" СМ кажется мне оправданным. И такие незначащие изменения фона я сотнями пропускаю мимо ушей при составлении правил.

Существенным же я считаю вырезание или приведение к нечитабельности полезных элементов сайта. Вот в этом случае я обязательно поправлю правило СМ.

В Вашем случае делаю скорее исключение, т.к. вижу, что для Вас внешность того конкретного сайта существенна.

Цитировать
Но я попытаюсь предложить нечто другое:
Ведь там есть поле Referrer, где обозначается регулярное выражение, задающее URL источника запроса...
Так может быть, сделать какое-то поле с регэкспом-исключением, которое могло бы сделать беглый анализ страницы по принципу работы правил "Замены текста"...
...
Так вот, может быть, по этому принципу сделать исключение? Нам ведь не надо что-либо заменять, в данном случае, только быстрый анализ контента...
Чтоб принять решение, блокировать файл или нет, нам потребуется загрузить другой файл и проанализировать его содержимое?
Если мысль именно в этом, то затраты производительности при применении такого правила будут гиганскими.
« Последнее редактирование: 07 января 2017, 01:38:13 от Михаил » Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1362 : 07 января 2017, 06:00:27 »

В Вашем случае делаю скорее исключение, т.к. вижу, что для Вас внешность того конкретного сайта существенна.
Не то, чтобы существенна, это скорее консерватизм в привычках.

Чтоб принять решение, блокировать файл или нет, нам потребуется загрузить другой файл и проанализировать его содержимое?
Если мысль именно в этом, то затраты производительности при применении такого правила будут гиганскими.
Наверное, я не совсем правильно написал. В данном случае, блокируется элемент уже загруженного контента, т.к. он блокируется по ссылке записанной в этом элементе страницы, т.е. подгружать дополнительно, ничего не требуется и анализировать надо не содержимое того, что будет загружаться по ссылке, а всего лишь контент обрабатываемой в данный момент страницы и если совпадение найдено, то блокировки не будет (исключение по регэкспу). Если я правильно помню, то это ведь делается не последовательно... говорю же, всех тонкостей могу не знать, поэтому пытаюсь предложить более общее решение для группы сайтов по общему признаку.
В смысле, не совсем понятно, почему затраты будут гигантскими? Ведь по сути, это точно такой же анализ, причем того же самого контента, который выполняется этим правилом блокировки.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1363 : 07 января 2017, 10:26:41 »

В смысле, не совсем понятно, почему затраты будут гигантскими? Ведь по сути, это точно такой же анализ, причем того же самого контента, который выполняется этим правилом блокировки.
При анализе страницы СМ осуществляет полный проход по HTML-тексту всего два раза.
Первый посвящен поиску фрагментов, подходящих под правила "Замены текста". Второй - поиску всего остального.
1. Каждый проход - очень трудоемкая процедура, т.к. страница может быть большой.
2. Страница грузится из интернет не сразу целиком, а порциями. СМ обрабатывает текущую порцию и сразу отдает ее клиенту, не дожидаясь прихода следующих.

Если делать как предлагается, то после нахождения в тексте некоторых URL СМ придется:
1. Заново проходить текст в поисках фрагмента, заданного в исключении. Сколько встретится на странице таких URL - столько будет и дополнительных проходов.
2. Проходить весь текст страницы целиком в поисках фрагмента, заданного в исключении. Т.е. приходящий частями из сети текст надо будет придерживать, пока страница не придет целиком. И только потом отправлять пользователю.

Все это делает такой вариант неприемлемым с точки зрения производительности.
Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1364 : 07 января 2017, 11:51:47 »

При анализе страницы СМ осуществляет полный проход по HTML-тексту всего два раза.
Первый посвящен поиску фрагментов, подходящих под правила "Замены текста". Второй - поиску всего остального.
1. Каждый проход - очень трудоемкая процедура, т.к. страница может быть большой.
2. Страница грузится из интернет не сразу целиком, а порциями. СМ обрабатывает текущую порцию и сразу отдает ее клиенту, не дожидаясь прихода следующих.
1. Это понятно, но есть мысль о том, что проходы можно совместить...
2. Тут есть некоторое противоречие, мне не совсем понятное. Если проход по всему тексту, так или иначе, осуществляется, то каким образом реализована порционная обработка-отдача? Ведь в этом случае полный текст мы не получаем единовременно, т.е. получая вторую порцию, первая уже ушла в браузер и обработать её становится проблематично.

Если делать как предлагается, то после нахождения в тексте некоторых URL СМ придется:
1. Заново проходить текст в поисках фрагмента, заданного в исключении. Сколько встретится на странице таких URL - столько будет и дополнительных проходов.
2. Проходить весь текст страницы целиком в поисках фрагмента, заданного в исключении. Т.е. приходящий частями из сети текст надо будет придерживать, пока страница не придет целиком. И только потом отправлять пользователю.

Все это делает такой вариант неприемлемым с точки зрения производительности.
1. Можно попробовать использовать буфер индексов исключений. Т.е. собираем в кучу правила исключений "Удаление элементов и блокирование по URL", индексируем всё это дело и вместе с заменой текста прогоняем по контенту (один раз), если встретили совпадение, добавляем в буфер индексы. Далее, при работе правил блокировок и удалений, уже используем этот буфер с индексами для окончательного принятия решения... как-то так видится оптимизированный алгоритм...
2. Всё равно, точно также непонятно, если текст не придерживается, то каким образом осуществляется проход по всему тексту? Существуют ведь правила, в которых может использоваться, как раз, весь текст... но целиком текст ведь, единовременно, просто не существует... в общем, непонятно...

ЗЫ Чтобы не быть понятым неправильно: ничего не требую и точно не пытаюсь заставить что-либо делать, если что. Улыбка Исключительно в познавательных целях и для улучшения работы связки HC+CM, если вдруг такая возможность есть.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1365 : 07 января 2017, 12:50:18 »

Цитировать
Тут есть некоторое противоречие, мне не совсем понятное. Если проход по всему тексту, так или иначе, осуществляется, то каким образом реализована порционная обработка-отдача? Ведь в этом случае полный текст мы не получаем единовременно, т.е. получая вторую порцию, первая уже ушла в браузер и обработать её становится проблематично.
Цитировать
Всё равно, точно также непонятно, если текст не придерживается, то каким образом осуществляется проход по всему тексту? Существуют ведь правила, в которых может использоваться, как раз, весь текст... но целиком текст ведь, единовременно, просто не существует... в общем, непонятно...
Если какой-то кусок от первой порции (или вся она целиком) нужен для дальнейшего анализа, то он не уходит браузеру.
Правила, для которых нужен весь текст - это самые "плохие" правила, сильно тормозящие СМ. Их лучше использовать только в критических, крайних случаях.

Цитировать
Можно попробовать использовать буфер индексов исключений. Т.е. собираем в кучу правила исключений "Удаление элементов и блокирование по URL", индексируем всё это дело и вместе с заменой текста прогоняем по контенту (один раз), если встретили совпадение, добавляем в буфер индексы. Далее, при работе правил блокировок и удалений, уже используем этот буфер с индексами для окончательного принятия решения... как-то так видится оптимизированный алгоритм...
Это тоже приведет к сильной потере производительности. На каждую страницу мы навесим дополнительные правила "Замены текста", заведомо зная, что они в 99,9% случаев не нужны, т.к. этих URL'ов а страницах нет. А правила "Замены текста" выполняются ме-е-е-дленно по сравнению с другими типами правил.

И еще один момент. Пусть анализируя текст HTML-страницы, СМ наткнулся на некий URL, на котором сработало такое исключение. При рендеринге страницы браузер запросил этот URL, и он все же будет блокирован СМ. Ведь сейчас СМ ничего не знает о той странице, с которой пришел этот URL.

Поверьте, я не против потерь производительности, во имя предоставления СМ новых возможностей. Но при этом соблюдаю следующий подход:
1. Того же результата нельзя добиться уже имеющимися средствами СМ.
2. Эти новые возможности должны быть позарез востребованы. Т.е. контента такого типа в сети много, и его удаление/изменение на сайтах значимо для многих пользователей СМ.
3. Значимость достигаемого новыми средствами должна перевесить получаемые потери производительности.

В нашем случае прогнозируемые потери производительности огромны. Значимость и позарез востребованность же вызывает вопрос. Пункты 2 и 3 не вполне выполняются.

В качестве контпримера привожу новую возможность деобфускации ява-скриптов, зачатки которой уже заложены в стоящей у меня версии СМ 2.19.0. Есть типы рекламы, в которых применяются методы защиты от их выявления и блокирования. Одним из них является зашифровка кусков ява-скриптов. Зайдите, к примеру, на страницу https://thevideobee.to/urcqtcqqns7n.html#Enjoy
подождите окончания обратного отсчета и нажмите "Proceed to video". Потом откройте исходный код открывшейся страницы. В нем можно увидеть
Код:
<script type="text/javascript" data-cfasync="false">(function(){if (window.atob) { eval(window.atob('KGZ1bmN0aW9uKCl7IHZhciB3YXNfaW5pdCA9IGZhbHNlOyBmdW5jdGlvbiBpbml0X215c2NyaXB0KCkgeyBpZiAod2FzX2luaXQpIHJldHVybiA7IHdhc19pbml0ID0gdHJ1ZTsgdmFyIGM9ZG9jdW1lbnQuY3JlYXRlRWxlbWVudCgiZGl2Iik7Yy5pbm5lc...
Т.е. полная абракадабра, т.к. скрипт зашифрован. СМ теперь расшифровывает и анализирует такие скрипты. В итоге попандеры блокируются.
Реализация этой новой возможности СМ стала целесообразной, т.к. соблюдены все три указанных условия.
Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1366 : 07 января 2017, 13:01:11 »

Ага, вот теперь всё достаточно ясно. Спасибо за разъяснения!
Говорю же, все тонкости недоступны, а Вам картина в целом виднее, поэтому когда мозаика складывается, тогда становится всё предельно понятным. Вопросов больше не имею. Улыбка
Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1367 : 07 января 2017, 14:17:33 »

В Вашем случае делаю скорее исключение, т.к. вижу, что для Вас внешность того конкретного сайта существенна.
Кстати, заодно, совсем забыл добавить:
Если бы всё, что я тут понаписал выше, было бы только для восстановления внешнего вида того сайта, то мне было бы гораздо проще сделать так, как сделал сейчас (способ обхода правил блокировки). Попробуйте убрать исключение и посмотрите на изменение в URL, который ранее блокировался.
Это я к тому, что если исключения добавляют время обработки страниц, то это исключение, пусть оно и одно, лучше убрать, т.к. на том сайте я уже оставлю всё как есть.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1368 : 07 января 2017, 14:39:26 »

Цитировать
если исключения добавляют время обработки страниц, то это исключение, пусть оно и одно, лучше убрать, т.к. на том сайте я уже оставлю всё как есть.
Это мизер. Пусть остается.
Можно прописывать такие исключения в собственных списках, которые не затрутся при обновлении стандартных списков СМ.
« Последнее редактирование: 07 января 2017, 14:44:37 от Михаил » Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1369 : 07 января 2017, 14:57:14 »

Это мизер. Пусть остается.
А если в прикупе два туза, а семерок нет? Улыбка шутка, навеяло...
Тем не менее:
С миру по нитке... там чуть-чуть, тут чуть-чуть, так и наберется уже более приличная экономия...

Можно прописывать такие исключения в собственных списках, которые не затрутся при обновлении стандартных списков СМ.
Это я уже понял. И это очень хороший вариант, чтобы не дергать на каждом новом случае Вас, для обновления списков...
Сообщить модератору   Записан
Stealth
Постоялец
***

Репутация: +8/-0
Offline Offline

Сообщений: 117


« Ответ #1370 : 12 января 2017, 16:49:23 »

Хотел поделиться решением одной важной проблемы, связанной с отображением https сайтов через HandyCache.
На Windows XP через HandyCache с включенной опцией "Обработка SSL" не отображаются https сайты, требующие использования свежих версий TLS (например, сайт https://pgu.mos.ru/ ), т.к. поддержки этих версий протокола TLS в Windows XP нет, и обновлений для XP официально не выпускается. Как же включить в Windows XP поддержку последнего протокола TLS, чтобы обеспечить нормальную работу с https сайтами через HandyCache? Казалось бы всё, тупик! Но нет, выход всё же нашёлся! Улыбка Оказывается, на "немного урезанной" версии Windows XP работают многочисленные терминалы, банкоматы, информационные стенды, системы самообслуживания, киоски оплаты и другие подобные устройства. Версия эта называется Windows Embedded POSReady 2009. Её поддержка и обновления продлятся аж до 9 апреля 2019 года. А самое замечательное, оказалось, что обновления для этой системы полностью идентичны обновлениям для обычной Windows XP. Подробности можно посмотреть здесь:

http://www.manhunter.ru/software/888_kak_obnovlyat_windows_xp_posle_okonchaniya_podderzhki_ms.html

А теперь проделываем такой нехитрый фокус:
создаём текстовый файл в блокноте со следующим содержимым:

REGEDIT4

[HKEY_LOCAL_MACHINE\SYSTEM\WPA\PosReady]
"Installed"=dword:00000001

сохраняем его под каким-нибудь именем с расширением ".reg", например WinXP.to.POSReady.reg, делаем на нём даблклик мышкой и соглашаемся с внесением информации в реестр. Перезагружаем компьютер. После этого Центр обновлений Майкрософт начинает считать, что у нас установлена POSReady. Далее жмем "Пуск / Windows Update", и обновляем свой Windows XP штатным способом. После обновления и перезагрузки появляется, в числе прочего, и поддержка новых TLS протоколов, а HandyCache начинает работать, как положено Улыбка В "Свойствах компьютера" при этом по-прежнему отображается, что у нас обычная Windows XP SP3. В самом Майкрософте про этот твик знают, но решения его как-то "прикрывать" не было.
Было бы неплохо скопировать этот метод в раздел "Документация", чтобы все знали...
Сообщить модератору   Записан
LordMerlin
Старожил
****

Репутация: +12/-8
Offline Offline

Сообщений: 488


« Ответ #1371 : 12 января 2017, 18:21:58 »

Ну не знаю. У меня на работе этот твик 100 лет как установлен. А один фиг на новые https сайты не заходит ни на прямую ни через НС.
Сообщить модератору   Записан
Stealth
Постоялец
***

Репутация: +8/-0
Offline Offline

Сообщений: 117


« Ответ #1372 : 12 января 2017, 18:43:37 »

У меня до этого твика не заходил, а после установки стал заходить (и через IE 8 напрямую, и через HC), почему я так и обрадовался! Я единственно только, не стал пока ставить те апдейты, что для NET Framework-ов (галочки поснимал), больно они громоздкие и долго ставятся, но остальные все поставил. HC у меня последний - 1.0.0.647, лицензия.
Так вы после установки твика винду то обновили штатным способом, обновления для POSReady поставились? Возможно, 100 лет назад, когда ты ставил твик, поддержки новой TLS ещё действительно не было, но сейчас точно есть.
« Последнее редактирование: 12 января 2017, 19:22:40 от Stealth » Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1373 : 12 января 2017, 21:06:35 »

Здесь обсукждаем СМ.
Сообщить модератору   Записан
megazlodey
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 4


« Ответ #1374 : 27 января 2017, 09:37:47 »

Как попасть в настройки CM2, нажимаю на кнопку настроек открывается в браузере local.cm и все на этом
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1375 : 27 января 2017, 20:22:18 »

Браузер по умолчанию, который вызывается при этом, возможно, не настроен для работы через НС.
Если браузер, в котором прописан НС, не является в системе браузером по умолчанию, то зайти в настройки СМ из него можно так: http://local.cm/options/
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1376 : 11 февраля 2017, 13:53:52 »

ALL
В ответ на ряд писем с просьбой рассказать о дальнейших планах развития СМ сообщаю:

Ближайшие перспективы:
   1. Реализация деобфускации ява-скриптов и URL.
   Это нововведение является чрезвычайно полезным. Нововведений такой значимости в СМ не было с марта 2015 года. Вкратце объясню его суть. В целях противодействия блокированию своего содержимого многие сайты шифруют скрипты или URL, превращая их во внешне бессмысленную абракадабру. Деобфускация - это обратное действие. И многое из зашифрованного теперь на лету дешифруется и успешно обрабатывается СМ. Это позволяет резать нежелательный контент там, где доселе это делать было практически невозможно или нерационально.
   Такими возможностями на настоящий момент не обладает ни один известный мне адблокер.
   Это уже реализовано в СМ 2.20.0. В паблик эту версию смогу выложить только после обнародования очередной версии СМ, без которой новые функции не могут работать.
   Информацию об этом, как и о любых других изменениях СМ, можно увидеть в разделе "История версий" описания СМ. Каждое изменение помечено знаками '+' (нововведение), '*' (изменение. Это в основном улучшение производительности СМ или "въедливости" его алгоритмов анализа HTML-страниц, подстраивание СМ для работы с баговыми сайтами, косметические изменения интерфейса настроек СМ и т.п.) или '-' (устранение бага).
   
   2. Постоянное совершенствование собственных списков с правилами. Их сейчас несколько: AntiAd, AntiAntiBlock, AntiFroud, AntiCount, AntiAdPrivate, AntiPorno, NoBlock, AntiSocial, AntiWidget.
Списки совершенствуются постоянно. Рекомендуется ставить период автообновления 24 ч.
   
Дальние:
   1. Переделка интерфейса настроек СМ, т.к. нынешний слишком тормозной.
   2. Отвязка от НС, т.к. темпы развития НС не поспевают за потребностями совершенствования СМ. Правда это слишком большой труд. Не знаю, сколько времени это может занять.
« Последнее редактирование: 11 февраля 2017, 14:03:04 от Михаил » Сообщить модератору   Записан
LordMerlin
Старожил
****

Репутация: +12/-8
Offline Offline

Сообщений: 488


« Ответ #1377 : 11 февраля 2017, 15:13:41 »

Цитировать
Отвязка от НС, т.к. темпы развития НС не поспевают за потребностями совершенствования СМ. Правда это слишком большой труд. Не знаю, сколько времени это может занять.
Не сочтите занудой или паникером, но по мне это единственный правильный путь развития, и я готов подождать сколько надо времени с тем что есть, и дождаться когда это случится.
Какие по этому поводу мысли. Несомненно НС просто шикарный продукт, но реалии таковы, что как вы сами сказали, уже не поспевает за вашим развитием, тормозит вас. Плюс реалии сегодняшнего дня, скоростя все растут, безлимит наступает, в кешировании практически отпадает нужда, а вот рекламы и всякого непотребства все больше. И опять же, все больше НЕвиндовс пользователей. Хотя это конечно не основной аргумент. Ну и плюс при создании своего продукта у вас полет фантизии не ограничен узкими рамками возможностей НС. Так же, даже если в последствии возникнет мысли о монетизации, то на первых порах всеравно можно проект разместить на ГитХабе, чтоб не в одиночку бились с ветряными мельницами. Блин, столько мыслей возникло когда прочитал, а пока писал все смешалось в кучу.
Сообщить модератору   Записан
YuS
Ветеран
*****

Репутация: +30/-4
Offline Offline

Сообщений: 701


crazy


« Ответ #1378 : 12 февраля 2017, 21:48:35 »

   2. Отвязка от НС, т.к. темпы развития НС не поспевают за потребностями совершенствования СМ. Правда это слишком большой труд. Не знаю, сколько времени это может занять.
Хмм, а универсальность от этого не потеряется? В смысле траффик ведь необходимо будет перехватывать, так или иначе. Не получится ли так, что для отвязки придется написать другой HC?
Хотя, конечно, если рамки HC не позволяют CM развиваться динамично, то это единственный выход...
В любом случае, трудозатраты не должны отнимать всё свободное время и кроме того, должны быть удовольствием, а не (псевдо)обязательством перед пользователями...
Сообщить модератору   Записан
GregoryPek
Новичок
*

Репутация: +2/-0
Offline Offline

Сообщений: 48


« Ответ #1379 : 17 февраля 2017, 11:53:44 »

Здравствуйте,
   
стала появляться такая ошибка:
   
         E:\Progr\HandyCache\Extensions\CM_HEAD\source\js.lua:23: attempt to call field 'decode_base64' (a nil value)
            
хотя HandyCache находится на C:\HandyCache
   
в логе красным шрифтом:
   
   Rename "integrity" attribute to "untegrity" in element <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/css/bootstrap.min.css" untegrity="sha512-dTfge/zgoMYpP7QbHy4gWMEGsbsdZeCXz7irItjcC3sPUFtf0kuFbDz/ixG7ArTxmDjLXDmezHubeNikyKGVyQ==" crossorigin="anonymous">                 

версия HC 2.18.9
« Последнее редактирование: 17 февраля 2017, 12:02:07 от GregoryPek » Сообщить модератору   Записан
Страниц: 1 ... 67 68 [69] 70 71 ... 113   Вверх
  Отправить эту тему    Печать  

 
Перейти в: