+  HandyCache форум
|-+  Главная категория» Новые предложения» Анализ (правка) HTML-кода страниц
Имя пользователя:
Пароль:
Страниц: 1 2 [3]  Все   Вниз
« предыдущая тема следующая тема »
  Отправить эту тему    Печать  
Автор Тема: Анализ (правка) HTML-кода страниц  (Прочитано 36967 раз)
0 Пользователей и 1 Гость смотрят эту тему.
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383
« Ответ #40 : 06 июня 2007, 11:43:31 »
DenZzz
Цитировать
Обсуждать стоит, потому что этот вопрос постоянно всплывает в том или ином контексте!
Когда/если в будущем дело дойдет до реализации, то будет уже сформировавшееся представление о том, как это лучше сделать...
Согласен, обсуждать стоит. Когда будет ясно что делать, как и для чего/кого, появится и мотивация это делать.
Года 2 назад видел open source проект по реализации функционала Proxomitron (не помню как назывался). Тогда его состояние не очень радовало, может сейчас что-то изменилось. Никто не помнит такой проект?
Сообщить модератору   Записан
Кирилл
Beta tester
*****

Репутация: +5/-1
Offline Offline

Сообщений: 124
« Ответ #41 : 06 июня 2007, 12:13:09 »
Михаил
Ссылку можно?
mai62
Proximodo. Последняя выложенная версия - октябрь 2005
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383
« Ответ #42 : 06 июня 2007, 13:05:54 »
Кирилл
Цитировать
Proximodo. Последняя выложенная версия - октябрь 2005
Да, я про него писал. Похоже проект умер едва родившись  Грустный
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #43 : 06 июня 2007, 13:38:18 »
Кирилл
http://www.ugcs.caltech.edu/manuals/libs/pcre-6.4/pcrecallout.html
К примеру, можно где-то в другом месте под цифрами 1-3 задать три различных списка, а потом проверять их из любой точки регулярного выражения соответственно вызовами (?C1)  (?C2)  (?C3).
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #44 : 11 июня 2007, 16:53:11 »
В используемой НС версии PCRE не работают, к сожалению, относительные ссылки - выражения вида \g{-1}
Между тем они видятся полезными при создании макросов, т.к. макрос разворачивается в произвольном месте шаблона, и абсолютные ссылки \1, \2,... неприемлемы.
mai62
Возможно обновить используемую версию PCRE?
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34
« Ответ #45 : 08 января 2009, 00:22:24 »
Многие загружаемые объекты, хотя и имеют расширение html, являются файлами swf, jpg,flv или еще какими нибудь картинками.
Желательно, когда handy cache прочитает начало таких файлов, он проанализировал первые байты и давал отлуп на их загрузку.
Например качается файл:...madbanner.ru/cgi-bin/banner/480^/dflkjhkjh.html размером в несколько кб, Handy Cache смотрит первые байты, а они такие:GIF89af 2 ж....другая бинарная абракадабра. Тогда handy cache дает отлуп на его загрузку, так как явно это баннер.
Сообщить модератору   Записан
R9S
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 56



WWW
« Ответ #46 : 08 января 2009, 00:46:49 »
zepete:
Цитировать
Желательно, когда handy cache прочитает начало таких файлов, он проанализировал первые байты и давал отлуп на их загрузку
Блокировка банеров здесь хорошо продумана. В Аутпосте отключил модуль блокировки рекламы за ненадобностью.
Хорошее правило - 'читай man' называется Улыбка
« Последнее редактирование: 08 января 2009, 00:51:24 от ra9scb » Сообщить модератору   Записан
Alex  http://ra9scb.far.ru/index.htm
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34
« Ответ #47 : 08 января 2009, 00:50:39 »
И как это делается?
В proxomitrone получше будет:)
Там такой анализ на раз два реализуется, только прерывать загрузку он не умеет:)
Сообщить модератору   Записан
R9S
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 56



WWW
« Ответ #48 : 08 января 2009, 00:58:16 »
Цитата: zepete от 08 января 2009, 00:50:39
В proxomitrone получше будет:) Там такой анализ на раз два реализуется, только прерывать загрузку он не умеет:)
Может быть ... принцип 'ножика' везде один и тот же, вероятно. Поэтому, так сравнивать работу программ не корректно.
Сообщить модератору   Записан
Alex  http://ra9scb.far.ru/index.htm
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #49 : 08 января 2009, 12:00:19 »
Цитата: zepete от 08 января 2009, 00:22:24
Желательно, когда handy cache прочитает начало таких файлов, он проанализировал первые байты и давал отлуп на их загрузку.

Это можно будет сделать в следующей версии HC с помощью скрипта (расширения).

Но более рационально, ИМХО, анализировать не сам контент, а содержимое заголовка "Content-Type". Это можно сделать уже в текущей версии HC.

Цитата: zepete от 08 января 2009, 00:22:24
Handy Cache смотрит первые байты, а они такие:GIF89af 2 ж....другая бинарная абракадабра. Тогда handy cache дает отлуп на его загрузку, так как явно это баннер.

Не факт...
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34
« Ответ #50 : 08 января 2009, 15:18:46 »
Вот файл из кеша с расширением html, файл 1.gif-тоже самое, просто я его переименовал для возможности просмотра:

Вот его содержимое в блокноте:

Вот как он выглядит:

И таких банеров море!
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #51 : 08 января 2009, 21:51:19 »
Цитата: zepete от 08 января 2009, 15:18:46
И таких банеров море!

1. Чтобы проанализировать код файла, придется его загрузить. Следовательно, никакой экономии трафика ты в большинстве случаев не получишь!
2. Я уже предложил тебе более рациональный способ, как заблокировать подобные баннеры уже имеющимися в HC средствами.
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34
« Ответ #52 : 11 января 2009, 15:27:08 »
Цитата: mai62 от 04 апреля 2007, 15:49:30
Shasoft2 Подобное предложение звучало уже не раз. Что меня останавливает:
1. Нужен движок. Самый лучший вариант - понимающий правила proxomitron-а (поскольку в инете полно правил на все случаи жизни). Сам писать я не возьмусь - у меня нет времени сделать это на достойном уровне.
2. Для парсинга/правки страницы ее нужно сначала собрать в памяти целиком. Значит появится дополнительный расход ресурсов и задержка между появлением частей страницы на компе, где стоит НС, и передачей их клиенту.
Так вроде исходники проксиметрона доступные есть.
Да еще есть два его аналога, не помню как называются, те точно с исходникам, по лицензии GNU распространяются, так что это не проблема.
Сообщить модератору   Записан
Корочун
Новичок
*

Репутация: +1/-0
Offline Offline

Сообщений: 46
« Ответ #53 : 11 января 2009, 17:06:41 »
Они-то под GNU, да НС под своей лицензией
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #54 : 19 февраля 2009, 16:20:20 »
Цитировать
Так вроде исходники проксиметрона доступные есть.
Откуда им взяться? Автор их никому не давал.
Сообщить модератору   Записан
Корочун
Новичок
*

Репутация: +1/-0
Offline Offline

Сообщений: 46
« Ответ #55 : 20 февраля 2009, 00:25:12 »
Есть какой-то аналог Проксомитрона под GNU
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #56 : 20 февраля 2009, 09:53:01 »
Цитата: Сергей от 19 февраля 2009, 16:20:20
Автор их никому не давал
Да вот как бы не так... Проект у Скотта выкупила контора, которая продвигала Ad Muncher (не помню, как называлась и есть ли она сейчас). Вскоре после этого автор скончался, а AdMuncher функциональности проксомитрона так и не приобрёл - возможно, контора и не собиралась использовать его код, а выкупила проект лишь для расчистки конкурентного пространства...
Цитата: Корочун от 20 февраля 2009, 00:25:12
Есть какой-то аналог Проксомитрона под GNU
Proximodo
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Страниц: 1 2 [3]  Все   Вверх
  Отправить эту тему    Печать  

« предыдущая тема следующая тема »
 
Перейти в:  



Powered by SMF 1.1.3 SMF © 2006, Simple Machines LLC
Joomla Bridge by JoomlaHacks.com