+  HandyCache форум
|-+  Главная категория» Новые предложения» Предложения по работе скриптов
Имя пользователя:
Пароль:
Страниц: 1 2 3 [4]  Все   Вниз
  Отправить эту тему    Печать  
Автор Тема: Предложения по работе скриптов  (Прочитано 41242 раз)
0 Пользователей и 1 Гость смотрят эту тему.
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #60 : 30 сентября 2008, 10:27:12 »

А сколько пользуют, к римеру, "Не загружать большие файлы", "Ограничить скорость загрузки", "Распаковывать перед записью в кэш" и т.д. и т.п.?

Их могут пользовать ВСЕ, кто изъявит такое желание, а не только те, кто входит в какую-то ограниченную группу по каким-то там критериям! А у твоего предложения пользователи WebWarper и "распаковывающие кэш" - уже в пролете. Уверен, найдутся еще "изгои"...

Не достаточно ли того, что это будет заведомо многочисленный круг?

Зачем делать для какого-то заведомо ограниченного круга, когда можно сделать сразу для всех?!

При подходе Проксомитрона не обязательно открывать файл-список отдельно каждым потоком и пытаться каждый раз сохранять его на диск! Можно же один раз загрузить список в память, там его обрабатывать и временами сохранять на диск или выгружать за ненадобностью. В Проксомитроне эта проблема как-то решена. И у HC в Серверах-посредниках сейчас успешно работают файл-списки, практически не вызывая тормозов. Можно даже БД какую-нибудь прикрутить для ускорения обработки.

Добавлено: 30 Сентября 2008, 11:12:55

Да, конечно, это реализовать сложнее, но и применимость гораздо выше! И не только для сжатия. Раньше уже высказывались предложения использовать файл-списки в списках для группировки и удобства добавления большого количества имен сайтов, в т.ч. экспортированных из других программ.
« Последнее редактирование: 30 сентября 2008, 10:32:07 от DenZzz » Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #61 : 01 октября 2008, 17:09:31 »

скриптом ввел пользователям дневной лимит трафика
пользователь ставит на скачивание громадный файл и уходит
лимит заканчивается гдето посредине этого файла а скрипт сработать не может потому что новых запросов нету
недодать положеное не имею права забирать завтрашним днем тоже
обрубить или заморозить до близости нулю скорость для пользователя посреди этой скачки скрипты не предоставляют
предлагаю продумать и такую возможность регулировать в программе
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #62 : 01 октября 2008, 17:38:55 »

нужно проверять размер файла перед загрузкой, и если размер больше, чем оставшийся лимит - не загружать файл
Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #63 : 01 октября 2008, 21:17:10 »

Цитировать
нужно проверять размер файла перед загрузкой, и если размер больше, чем оставшийся лимит - не загружать файл
увы не подходит
недодать положеное не имею права возмущению обществености не будет пердела
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #64 : 01 октября 2008, 21:31:52 »

обрубить или заморозить до близости нулю скорость для пользователя посреди этой скачки скрипты не предоставляют
предлагаю продумать и такую возможность регулировать в программе
А если обрубить или заморозить скорость, то при отсутствии возможности докачки, весь смысл может потеряться.
В твоём случае - идеальный вариант - внешний шейпер (присмотрись к BWMeter).
Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #65 : 01 октября 2008, 22:16:32 »

Цитировать
А если обрубить или заморозить скорость, то при отсутствии возможности докачки, весь смысл может потеряться.
да но это уже личная проблема пользователя а не моя
Цитировать
В твоём случае - идеальный вариант - внешний шейпер (присмотрись к BWMeter).
спасибо буду смотреть
Добавлено: 01 Октября 2008, 21:41:48

прочел про BWMeter- отлично подходит
как его пристыковать чтобы манипулировать трафиками пользователей НС?
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #66 : 01 октября 2008, 22:40:31 »

Цитировать
прочел про BWMeter- отлично подходит
как его пристыковать чтобы манипулировать трафиками пользователей НС?
ну, это уже отдельная тема, и HC тут как бы не при чём. В BWMeter-е создаются свои пользователи (по ip и mac-адресам) и фильтры для них, которые уже и ограничивают время/трафик/скорость конкретного юзера. 
Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #67 : 04 октября 2008, 20:48:22 »

ппробовал luatest супер очень удобно!
добавьте пожалста чтобы оно показывало новые переменные которые есть в последней версии
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #68 : 06 октября 2008, 23:41:49 »

При подходе Проксомитрона не обязательно открывать файл-список отдельно каждым потоком и пытаться каждый раз сохранять его на диск! Можно же один раз загрузить список в память, там его обрабатывать и временами сохранять на диск или выгружать за ненадобностью. В Проксомитроне эта проблема как-то решена.
Мы раньше уже обсуждали, что отдельный файл-список для рассматриваемой задачи бесперспективен. Перспективно общее хранилище метаданных, где в том числе будут отметки о сжатии. Но эта перспектива далека. Здесь же информация о сжатии файла кэша уже лежит "в крамане" НС.
mai62
Сделай, плиз, переменную, где хранилось бы, сжат файл в кэше или нет.

Предлагаю также обсудить, не свести ли все переменные в одну таблицу с именем "hc" и добавить туда методов. Пусть будут переменные hc.answer.body, hc.action, hc.request.body, hc.request.header, hc.answer.header и т.п. Методы могут быть типа hc.answer.GetHeaderField(field_name), hc.request.SetHeaderField(field_name), hc.URLToCache(url) и любые другие. Весь предоставляемый НС API будет, таким образом, собран компактно в одном модуле и получит единообразное оформление.
Сообщить модератору   Записан
anarkidron
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 14


« Ответ #69 : 27 декабря 2008, 03:13:52 »

Вот хотелось бы на скриптах реализовать подобный алгоритм.
Добавте пожалуста глобальные переменные:
hc_All_from_internet_time - Количество данных, полученных всеми пользователеми из интернета за  последнее n времени (не путать с сутками где меряется с 00 до 24, нужно с момента now по now-n).
hc_user_from_internet_time - Количество данных, полученных пользователем из интернета за  последнее n времени.
n_activ_user - Количество активных пользователей.

Пока что довольсвуюсь приметивным скриптом:
function main()
  if hc_user_from_internet > 100100100 then hc_user_speed_limit = 64000
      else hc_user_speed_limit = 0  end
  if hc_user_from_internet > 400400400 then hc_user_speed_limit = 32000  end
  if hc_user_from_internet > 800800800 then hc_user_speed_limit = 16000  end
end
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34


« Ответ #70 : 08 января 2009, 00:03:43 »

Надо доработать обработку заголовков, чтобы не только url обрабатывался, а все поля заголовка http.
Это можно сделать тремя путями
1. пишешь $URL(регулярное выражение)|$DATE $CHARSET(....)....&100<#size<500....
2. пишешь типа Browser=регулярное выражение host=регулярное выражение....
2. Добавить несколько колонок с полями заголовка http и поле с лоческой операцией между полями заголовка
Только когда используются первые два пути еще надо добавть toolbar со списком магических слов, что бы незапоминать их.
Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #71 : 08 января 2009, 00:10:37 »

в НС все это уже есть и делается с использованием скриптов
можно проводить разбор заголовка по малейшим косточкам
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34


« Ответ #72 : 08 января 2009, 00:44:30 »

Это делается в темную, из содержимого окон приложения про скрипты ничего не узнаешь.
Это жe windowsное приложение, поэтому все действия должны быть видны из окон.
Иначе лучше тот же самый squid использовать, у него алгоритмы буферезации получше будут, всетаки в американском институте разрабатывали:)
В нем тоже внешние скрипты не вслепую используются.
Хотя тоже могли бы одну могучую строку с сылкой на внешний файл в начале написать и все.
Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #73 : 08 января 2009, 10:58:01 »

Цитировать
лучше тот же самый squid использовать, у него алгоритмы буферезации получше будут, всетаки в американском институте разрабатывалиУлыбка
в качестве экономиисквид проигрывает нс при локальном не сетевом использовании
применение сквидом устаревшего протокола http1.0 заставляет многие серверы слать в ответ несжатые ответы в то время как при сеансе с нс ответы идут в сжатом виде
Цитировать
Это жe windowsное приложение, поэтому все действия должны быть видны из окон.
здесь читал что в следующей версии так и будет 'в следующей версии скрипты станут расширениями с возможностью их настройки через GUI'
хотя с другой стороны здесь об этом нислова
список того что планируется в новой версии мертв уже долгое время но mai62 на вопрос глохнет ли проект ответил не глохнет поэтому что там на самом деле не совсем понятно
« Последнее редактирование: 08 января 2009, 11:31:35 от 4water » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #74 : 08 января 2009, 11:46:58 »

Это делается в темную, из содержимого окон приложения про скрипты ничего не узнаешь.

HC пишет в своем мониторе о срабатывании скриптов! В следующей версии можно будет из скрипта выдать любой текст в Монитор и лог.
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34


« Ответ #75 : 08 января 2009, 14:24:05 »

Цитировать
лучше тот же самый squid использовать, у него алгоритмы буферезации получше будут, всетаки в американском институте разрабатывали:)
в качестве экономиисквид проигрывает нс при локальном не сетевом использовании
применение сквидом устаревшего протокола http1.0 заставляет многие серверы слать в ответ несжатые ответы в то время как при сеансе с нс ответы идут в сжатом виде
Цитировать
Это жe windowsное приложение, поэтому все действия должны быть видны из окон.
здесь читал что в следующей версии так и будет 'в следующей версии скрипты станут расширениями с возможностью их настройки через GUI'
хотя с другой стороны здесь об этом нислова
список того что планируется в новой версии мертв уже долгое время но mai62 на вопрос глохнет ли проект ответил не глохнет поэтому что там на самом деле не совсем понятно
1. Если речь про экономию зашла, то squid как раз выигрывает.
У него данные в кеше хранятся в виде файлов одинакового размера, в одном файле может быть множество объектов, то есть что-то типа виртуального диска, поэтому на храние маленьких файлов тратится меньше места. Например у тебя на объект размером в 10 байт будет тратиться целый кластер, тоесть минимум 0.5к, а в squid только 10 байт+служебные данные! А протокол http1.1 он уже давно поддерживает, он только в кэше данные хранит в несжатом виде, но hc тоже в несжатом виде хранит. Фрагмент из коментариев в стандартном конфигурационном файле:
#  TAG: http_port
#   Usage:   port [options]
#      hostname:port [options]
#      1.2.3.4:port [options]
#
...........................
...........................
#      http11   Enables HTTP/1.1 support to clients. The HTTP/1.1
2. Я согласен, если скрипты будут просто расширениями регулярных выражений, иначе это будет плохой копией squida. Squid все таки в американских институтах разрабатываля (http://www.squid-cache.org/Intro/):"The Squid project was funded by an NSF grant (NCR-9796082) which covered research into caching technologies. The ircache funding ran out a few years later and the Squid project continued through volunteer donations and the occasional commercial investment.".
По той же схеме что и разработка GUID в windows, и для тех же целей.
Чтобы во всяких windowsах алгоритмы от squid использовать.
Неужели несколько русских кулибиных смогут продумать алгоритм буферизации лучше чем американские профессора работавшие на американскую электронную промышленность:)
Поэтому управление скриптами, это попытка сделать плохую копию squid, в нем тоже в логах можно посмотреть что делается:)
Доработайте лучше регулярные выражения в списках, чтобы они еще несколько команд дополнительных понимали, а скрипты lua (как точно я не помню называется)-это детскость, в 90% случаев в том виде как они реализованы только вредят, так как они повторяют эти же списки, только делают свою работу в темную:)
Например, в скриптах у вас есть функия, которая запрещает кеширование больших файлов, и есть такая же опция в GUI, в результате убираешь галку, а ничего в работе hc не меняется, если пользуется обычный человек, которму лень разбираться в скриптах, он будет долго мучится, почему у него не кешируется, а там оказывается скрипты lue, такая могучая фьюча:)

Добавлено: 08 Января 2009, 14:16:17

HC пишет в своем мониторе о срабатывании скриптов! В следующей версии можно будет из скрипта выдать любой текст в Монитор и лог.

Регулярные выражения тоже скрипты:)
Вот их и надо доработать, а lue это из другой оперы.
Добавить в них несколько команд и все.

Сообщить модератору   Записан
4water
Пользователь
**

Репутация: +0/-0
Offline Offline

Сообщений: 51


« Ответ #76 : 08 января 2009, 15:40:45 »

Цитировать
http11   Enables HTTP/1.1 support to clients. The HTTP/1.1
а вот то что обрезано и что на самом деле идет сразу за привиденой цитатой
'The HTTP/1.1 support is still incomplete with an internal HTTP/1.0 hop, but should work with most clients. The main   HTTP/1.1 features missing due to this is forwarding of requests using chunked transfer encoding (results in 411) and forwarding of 1xx responses (silently dropped)'
протокол http1.1 с СЕРВЕРОМ сквид НЕ поддерживает вовсе
с ним не добиться пайплайна сквид может лишь разделить входящий пайплайновый запрос и запрашивать их у сервера параллельно, натыкается при этом на ограничение сервера на число одновременных соединений с одним ip и жуть тормозит, ожидая разрешения сервера.
с ним не получить сжатую страницу например rambler.ru - через сквид из интернета идет 67кб через нс 21 кб. на каждой странице рамблера сквид по сравнению с нс накрутит 20-50кб моего трафика. вот и американские институты

выигрывает сквид в возможности докачки,в сетевых возможностях,возможности недопустить параллельные закачки,использовать заголовок expires... обо всех этих недостатках нс можно узнать только читая этот форум в документации этого не пишут
Сообщить модератору   Записан
zepete
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 34


« Ответ #77 : 08 января 2009, 16:23:38 »

Точно, сейчас на сайте IBM.COM проверил.
Через squid http://www.ibm.com/favicon.ico 769 байт, а hc 318 байт:)
Только я для этих целей пользуюсь toonelем, поэтому до этой фьючи по Х.
Если бы вы, как минимум, доробатотали работу с проки и расширили работу с регулярными выражениями, то я перешол бы на hc, а так мне пока squid удобней, он ip адреса умеет пережовывать:)
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #78 : 08 января 2009, 21:37:55 »

1. Если речь про экономию зашла, то squid как раз выигрывает.
У него данные в кеше хранятся в виде файлов одинакового размера, в одном файле может быть множество объектов, то есть что-то типа виртуального диска, поэтому на храние маленьких файлов тратится меньше места.

1. Экономия места на диске при сегодняшних размерах винтов и ценах на них - это крайне несущественная проблема. Тем более, что маленькие файлы (примерно до 700 байт) NTFS хранит прямо в MFT и лишнее место на диске не занимает!
2. Кэш HC при желании точно также можно хранить в контейнере на виртуальном диске - в ФАКе описано, как это сделать.
3. Сомневаюсь, что Сквид со своими контейнерами работает быстрее, чем HC c кэшем на NTFS.

Цитировать
Squid все таки в американских институтах разрабатываля

И что это показатель качества? С каких пор?! Все значимые изобретения в Америке были сделаны иностранными эмигрантами, в т.ч. из СССР...

Цитировать
Доработайте лучше регулярные выражения в списках, чтобы они еще несколько команд дополнительных понимали

Вообще-то, HC использует стороннюю библиотеку регулярных выражений PCRE и вносить в нее изменения мы не имеем права - это нарушение авторских прав! А вот в скриптах каждый сам себе автор.

Цитировать
Например, в скриптах у вас есть функия, которая запрещает кеширование больших файлов, и есть такая же опция в GUI, в результате убираешь галку, а ничего в работе hc не меняется

У-гу, я давно предлагаю убрать все дублирующие функции из GUI...  Улыбка

Цитировать
Регулярные выражения тоже скрипты:)
Вот их и надо доработать, а lue это из другой оперы.
Добавить в них несколько команд и все.

Регулярным выражениям по функциональность до скриптов - как до Луны. Устанешь дорабатывать...

а так мне пока squid удобней, он ip адреса умеет пережовывать

HC тоже!
Сообщить модератору   Записан
Страниц: 1 2 3 [4]  Все   Вверх
  Отправить эту тему    Печать  

 
Перейти в: