+  HandyCache форум
|-+  Главная категория» Новые предложения» У меня следующие предложения
Имя пользователя:
Пароль:
Страниц: [1] 2  Все   Вниз
  Отправить эту тему    Печать  
Автор Тема: У меня следующие предложения  (Прочитано 13813 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Доктор ТуамОсес
Гость
« : 20 мая 2011, 01:02:57 »

1) Для списка "не обновлять" добавить "галки" <Обновлять раз в день> и "<Обновлять раз в сессию>" (типа как в CoolProxy)


2) Сделать списки иерархическими (Подробности ТУТ)


3) Добавить в монитор колонки <Текущая длительность закачки>, <Средняя скорость закачки>, <Примерное оставшееся время закачки>


4) Добавить опцию <Таймаут закачки страницы>. Например ставишь этот таймаут равным 30 сек. Тогда если загрузка всех файлов страницы не завершится за 30 сек. то HC выдаёт "504 Gateway Timeout (HC)" для всех "недокачанных" файлов страницы.
Причём таймаут считать от момента получения URL страницы от браузера!
Т.е., к примеру.
Получили мы от браузера URL некоторой страницы
http://handycache.ru/component/option,com_smf/Itemid,10/topic,3965.msg31917/#msg31917

Именно с этого момента начался отсчёт таймаута загрузки страницы.

И все файлы этой страницы ("дерево") должно успеть загрузиться за 30 сек.
Т.е. "таймаут" распространяется на все файлы "дерева":
http://handycache.ru/forum/Themes/default/script.js?fin11
http://handycache.ru/forum/Themes/SlickPro_Graphite/style.css?fin11
http://handycache.ru/forum/Themes/default/print.css?fin11
http://handycache.ru/share_css/share_css.css
...


Так вот.
Если какие-то их файлов страницы не успели загрузиться за указанные выше 30 сек, то HC абортирует их загрузку, а браузеру посылает "504 Gateway Timeout (HC)".

Эта фича позволит сделать так, чтобы "тормозные" сайты не "подвешивали"  канал "намертво", а кроме того можно просто посмотреть, какие из сайтов являются "тормозными"/"многожручими"
===========================================

Это то, что сразу же пришло в голову, навскидку.

А вообще идей больше было.

Если что вспомню - допишу
« Последнее редактирование: 20 мая 2011, 01:43:24 от Доктор ТуамОсес » Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #1 : 25 мая 2011, 18:38:50 »

5) Доработать отображение общей статистики работы HC.
Например, могу предложить такое отображение статистики:


Время работы HC: 12:13:43
----------------
Суммарный объём файлов, переданных браузеру из инета: 146 667 678 байт
Суммарный объём файлов, переданных браузеру из кэша HC : 36 666 989 байт
----------------
Суммарный объём кэша в начале работы: 123 432 567 байт

Суммарный объём файлов, взятых из инета и не сохранённых в кэш: 6 777 555 байт

Суммарный объём файлов, взятых из инета и сохранённых в кэш HC
(Т.е. суммарный объём новых и обновлённых файлов в кэше HC):33 889 900 байт/27,45% кэша

Суммарный объём новых файлов в кэше HC: 12 545 345 байт/10,16% кэша

Суммарный объём обновлённых файлов в кэше HC: 21 344 555 байт/17,29% кэша

----------------
Всего файлов в кэше в начале работы: 74 321 штук

Всего файлов загружено из инета (и передано браузеру): 46 889 штук.
Из них:
  - не сохранено в кэше HC: 12 390 штук
  - являются новыми файлами в кэше HC: 23 454 штук
  - являются свежими версиями файлов в кэше HC: 12 456 штук
  - всего новых + обновлённых файлов в кэше: 35 910 штук

Всего отклонено/заблокировано загрузок из инета: 567 777 файлов.
 - из них по причине попадания в чёрный список: 329 764 файлов

Всего файлов передано браузеру из кэша HC: 85 452 штук



P.S. Цифры взяты "от балды" просто для иллюстрации формата отображения статистики
P.P.S.ИМХО, такая статистика позволяет лучше оценить работу HC чем имеющееся сейчас отображение статистики
Сообщить модератору   Записан
sunserg10
Beta tester
*****

Репутация: +7/-0
Offline Offline

Сообщений: 322


« Ответ #2 : 25 мая 2011, 19:03:36 »

Доктор ТуамОсес
Цитировать
Суммарный объём кэша в начале работы: 123 432 567 байт

Вы хорошо себе представляете аппаратную конфигурацию ПК (где будет установлен HC),
которая позволит подсчитать Суммарный объём кэша в начале работы Непонимаю

У меня основной каталог кэша в RAM-диске 2 Gb (DDR3 PC1333 Dual Channel, платформа на INTEL S-1156 i3 540).
Файлы в кэше от 512Kb до 5Mb. Подсчет свойств каталога с кэшем занимает около 4 минут.

Что говорить о кэше на обычном HDD, или даже SSD...

Вывод - ваши "хотелки" действительно
Цитировать
"от балды"
и оторваны от реальности.
ИМХО.
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #3 : 26 мая 2011, 10:42:19 »

Доктор ТуамОсес
Вы хорошо себе представляете аппаратную конфигурацию ПК (где будет установлен HC),
которая позволит подсчитать Суммарный объём кэша в начале работы Непонимаю

У меня основной каталог кэша в RAM-диске 2 Gb (DDR3 PC1333 Dual Channel, платформа на INTEL S-1156 i3 540).
Файлы в кэше от 512Kb до 5Mb. Подсчет свойств каталога с кэшем занимает около 4 минут.

Что говорить о кэше на обычном HDD, или даже SSD...

Вывод - ваши "хотелки" действительно  и оторваны от реальности.
ИМХО.

Глупости Вы говорите.
Сразу видать Вы далеки от программирования.
А я более 20 лет занимался программированием.
Объясняю.
Ну и что что 4 минуты. У меня на харде в кэше более 800 000 файлов.
И подсчет свойств каталога с кэшем занимает около 20 минут.
Подсчёт же нужно сделать только один раз (а не каждый раз при добавлении/обновлении очередного файла), а дальше просто мониторить "сколько ушло/сколько пришло".
С точки зрения программирования - элементарная задача.

Просто в хелпе нужно юзеру сказать, что кол-во файлов в кэше и их общий объём вычисляется не мгновенно.

И пока цифры размера кэша (и производные от него числа, например процент обновлённых файлов) отображаются зелёным цветом - это не окончательные цифры, а цифры полученные на текущей стадии расчёта.

И как только эти цифры почернели (через 4,6, 10 или сколько то ещё минут) - значит расчёт окончен и всё файлы кэша учтены

Добавлено: 26 Мая 2011, 10:39:10

Если учесть что средний юзверь в среднем редко сидит в инете менее 20 минут, то он вполне сможет увидеть цифры, связанные с размером кэша и кол-во файлов в кэше
Сообщить модератору   Записан
sunserg10
Beta tester
*****

Репутация: +7/-0
Offline Offline

Сообщений: 322


« Ответ #4 : 26 мая 2011, 12:25:40 »

Глупости Вы говорите.
Сразу видать Вы далеки от программирования.
А я более 20 лет занимался программированием.
Отлично! Пожалуйста, предложите автору HandyCache mai62 конкретное решение по реализации поставленных вами задач в виде дополнения/расширения к HC.
Я не утверждаю, что поставленная вами задача неактуальна.
Просто при текущей организации кэша HC и развитии аппаратного обеспечения,
это будет (как минимум) создавать огромную нагрузку на дисковую подсистему и занимать много процессорного времени.
HC это кэширующий прокси-сервер.
И главное его преимущество перед остальными продуктами, существующими на рынке,
- это высокая скорость работы и гибкость в настройке, позволяющая специалисту решать широкий круг задач.

Согласитесь, реализация вашей задачи радикально снижает производительность прокси-сервера,
и для 90% пользователей такие жертвы не нужны.

P.s.: Учет и контроль трафика по посещенным пользователями ресурсам прекрасно реализован в User Gate 2.8 . Вопрос: чем вас не устраивает этот продукт?
Отвечу: скоростью работы.
Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #5 : 26 мая 2011, 19:06:09 »

Отлично! Пожалуйста, предложите автору HandyCache mai62 конкретное решение по реализации поставленных вами задач в виде дополнения/расширения к HC.
Пожалуйста, предложите IDE для разработки плагинов — в блокноте как-то не удобно.
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #6 : 26 мая 2011, 19:08:58 »

Просто при текущей организации кэша HC и развитии аппаратного обеспечения,
это будет (как минимум) создавать огромную нагрузку на дисковую подсистему и занимать много процессорного времени....
Согласитесь, реализация вашей задачи радикально снижает производительность прокси-сервера

Опять глупости говорите (теперь я точно вижу, что насколько Вы человек далёкий от
программирования).
Не будет никаких "ОГРОМНОЙ нагрузки на дисковую подсистему" и "ОГРОМНОЙ" траты процессорного времени
Сообщить модератору   Записан
sunserg10
Beta tester
*****

Репутация: +7/-0
Offline Offline

Сообщений: 322


« Ответ #7 : 26 мая 2011, 19:21:47 »

Доктор ТуамОсес
Все вышенаписанное относится к подсчету суммарного объёма кэша в начале работы.
Вы же сами написали
Цитировать
...подсчет свойств каталога с кэшем занимает около 20 минут.
Понаблюдайте в следующий раз при подсчете свойств каталога с кэшем
за активностью дисковой подсистемы.

Вам свой HDD не жалко? Как долго он прослужит при регулярном подсчете свойств каталога с кэшем,
где более 800 000 файлов ??



Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #8 : 26 мая 2011, 21:08:50 »

Цитата: sunserg10
Вам свой HDD не жалко? Как долго он прослужит при регулярном подсчете свойств каталога с кэшем,
где более 800 000 файлов ??
Откуда там столько неизвестных файлов возьмётся? Всё что HC будет класть в кэш(как и удалять) будет учтено сразу. Проиндексировать содержимое потребуется один раз при обновлении HC.

Доктор ТуамОсес, если Вам нужен какой-то дополнительный функционал в HC, то я думаю, за определённую сумму денег автор возьмётся его реализовать. Как вариант: сделайте голосование в теме, и если проголосует достаточно народу "за"…… в любом случаи виднее будет отношение других к Вашему предложению (без никому не нужных полемик)
« Последнее редактирование: 26 мая 2011, 21:15:22 от DIGGER » Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #9 : 27 мая 2011, 09:52:44 »

Откуда там столько неизвестных файлов возьмётся? Всё что HC будет класть в кэш(как и удалять) будет учтено сразу. Проиндексировать содержимое потребуется один раз при обновлении HC.
Вот и я про то же. Намекал г-ну "sunserg10", что никакой постоянной "ОГРОМНОЙ"™ нагрузки на хард и проц не будет иметь место. Если подойти к реализации с умом. Но он не верит.
Добавлено: 27 Мая 2011, 09:44:42

Понаблюдайте в следующий раз при подсчете свойств каталога с кэшем
за активностью дисковой подсистемы.

Вам свой HDD не жалко? Как долго он прослужит при регулярном подсчете свойств каталога с кэшем,
где более 800 000 файлов ??
А чё мне наблюдать-то?
Что Вы хотите, чтобы я увидел-то?
Ну лампочка красная почти постоянно горит. И хард тарахтит. Во время подсчёта свойств каталога с кэшем.
И?
У меня кроме подсчёта свойств кэш постоянно мониторят и переиндексируют всякие там архивариус и зеарцхинформ десктоп зеархи и т.п.
Плюс всякие там фоновые дефраги шуршат диском
Плюс..
Короче хард у меня почти постоянно тарахтит.
И?
Для этого он и нужен, чтобы работать.
Да. Харду почти 5 лет. "Полёт нормальный." Никаких "падений" данных, венды и прочего не наблюдал
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #10 : 27 мая 2011, 11:05:46 »

Доктор ТуамОсес Как вариант: сделайте голосование в теме, и если проголосует достаточно народу "за"…… в любом случаи виднее будет отношение других к Вашему предложению (без никому не нужных полемик)
О'кей.

Делаю голосовалку.
Народ. Я перечислю пункты, которые я хотел бы, чтобы показывал HC.
А Вы напротив каждого пункта ответьте: "Нужно" или "Не нужно" (в зависимости от того, хотите ли лично Вы, чтобы эта информация отображалась)

Условные сокращения:
HC - Handy Cache
КФ - кол-во файлов
КФиСРЭФ - кол-во файлов и суммарный размер этих файлов


1. Текущее кол-во файлов в кэше HC
2. Текущий размер кэша HC
3. Время, прошедшее с момента запуска HC


Следующие параметры подсчитываются за время от момента запуска HC

4. КФиСРЭФ, переданных браузеру
5. КФ, не переданных браузеру (когда браузер передаёт кэнди кэшу URL файла и надеется в ответ получить файл с таким URL-ом, а кэнди кэш файл браузеру не передаёт, а отвечает каким либо сообщением {Например, "304 Not Modified", "403 Forbidden", и т.д.})

6. КФиСРЭФ, переданных браузеру из инета
7. КФиСРЭФ, переданных браузеру из кэша

8. КФ, не переданных браузеру, потому что их не удалось загрузить из инета из-за каких-либо проблем в сети.
9. КФ,  не переданных браузеру и не загружавшихся из инета по причине их попадания в чёрный список HC.
10. КФ, не переданных браузеру по причине того, что браузер сам прервал процесс передачи (Сообщение "Client disconnected" в мониторе)
11.КФ, не переданных браузеру по всем прочим причинам



{П7 + П6 = П4; П11 + П10 + П9 + П8 = П5}



12. КФиСРЭФ, не сохранённых в кэше (т.е. файлов, взятых из инета, но запись в кэш которых не проводилась {проводилась только передача их браузеру})
13. КФиСРЭФ, взятых из инета и сохранённых в кэше

{П13 + П12 = П6}

14. КФиСРЭФ, которые являются новыми в кэше
15. КФиСРЭФ, которые перезаписали ранее существовавшие в кэше файлы

{П15 + П14 = П13}
Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #11 : 27 мая 2011, 11:39:36 »

Цитировать
Делаю голосовалку.
Кто статистику подсчитывать будет?

Голосование делается средствами форума.
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #12 : 27 мая 2011, 12:33:23 »

DIGGER
ВОТ
"Получите  распишитесь"(с)
Правда учитывая что форум за день посещают от силы человека 3, а за месяц от силы 10 участников, то результатов долго придётся ждать (когда проголосуют хотя бы человек 300)
Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #13 : 27 мая 2011, 13:19:45 »

не нашёл пункта "ничего из вышеперечисленного" + голосование можно было добавить в эту тему, а то как-то сумбурно получилось.
Сообщить модератору   Записан
sunserg10
Beta tester
*****

Репутация: +7/-0
Offline Offline

Сообщений: 322


« Ответ #14 : 27 мая 2011, 21:59:57 »

Доктор ТуамОсес и DIGGER, предлагаю прочитать родственную этой, тему:
http://handycache.ru/component/option,com_smf/Itemid,10/topic,3491.msg29827/#msg29827

Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #15 : 27 мая 2011, 22:24:37 »

не нашёл пункта "ничего из вышеперечисленного"
Этот пункт не нужен.
Потому как человек, которому не интересно знать ничего из перечисленных пунктов вряд ли будет заморачиваться использованием прокси-сервера и, соответственно,  не придёт на форум, посвящённый прокси-серверу.
 Дразнилка
Добавлено: 27 Мая 2011, 22:09:14

Доктор ТуамОсес и DIGGER, предлагаю прочитать родственную этой, тему:
http://handycache.ru/component/option,com_smf/Itemid,10/topic,3491.msg29827/#msg29827
Прочитал. Но "родственности" что-то не увидел.
Так же как и пользы.
Почему? Объяснил ТУТ
Своё мнение выразил

Добавлено: 27 Мая 2011, 22:11:31

6) Предлагаю чтобы фильтр монитора работал фултайм реалтайм. Т.е. чтобы новые строки тоже фильтровались автоматом
Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #16 : 28 мая 2011, 01:27:46 »

Цитировать
Этот пункт не нужен.
Потому как человек, которому не интересно знать ничего из перечисленных пунктов вряд ли будет заморачиваться использованием прокси-сервера и, соответственно,  не придёт на форум, посвящённый прокси-серверу.
А я вот есть такой человек. И голосовать мне никак не получится. Вы сознательно отсекаете возможные варианты.

Цитата: sunserg10
Доктор ТуамОсес и DIGGER, предлагаю прочитать родственную этой, тему:…
Посмотрите на автора темы + та тема совсем о другом. (как по мне)

Цитировать
6) Предлагаю чтобы фильтр монитора работал фултайм реалтайм. Т.е. чтобы новые строки тоже фильтровались автоматом
я за Улыбка иногда не хватает этой возможности.
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #17 : 28 мая 2011, 01:53:34 »

А я вот есть такой человек. И голосовать мне никак не получится.
Ну что жъ поделаешь. Значит, видать, не судьба. Грустный
Вам голосовать.
А , стесняюсь спросить, какие Вы ОБЩИЕ параметры работы хотели бы, чтобы отображались в HC
Сообщить модератору   Записан
DIGGER
Старожил
****

Репутация: +14/-3
Offline Offline

Сообщений: 312



« Ответ #18 : 28 мая 2011, 12:30:10 »

Цитировать
Значит, видать, не судьба.
Это Вы себя судьбой назвали?  Укатайка
Сообщить модератору   Записан
Доктор ТуамОсес
Гость
« Ответ #19 : 28 мая 2011, 14:05:13 »

Это очень часто бывает так в жизни: поступки одних людей определяют судьбу других
Добавлено: 28 Мая 2011, 13:48:50

7) Предлагаю ввести в HC возможность сохранять предыдущие версии файлов: ввести опцию [Сохранять ... предыдущих версий файла]
Где вместо многоточия юзверь напишет нужную ему цифру

А также ввести для этой опции доп. подопцию "Не перезаписывать ... первых версий файла"

Для чего это всё нужно? Для того, чтобы можно было проанализировать, что изменилось на сайте или посмотреть как выглядела страница ранее. Да просто, чтобы не потерять важную информацию, которая была удалена в новой версии странички на сервере.

Короче говоря, к примеру, в кэше чтобы был не только файл File, а File, File_0н, File_1 (если Вы выбрали режим сохранения 2-х предыдущих версий файла и режим "не перезаписывать 1 первых версий файла")

P.S. Я прекрасно осознаю, что при введении этой опции нагрузка на диск возрастёт как минимум в N раз, и скорость работы с кэшем упадёт как миниум в N раз.
Просто кому это не надо просто напишет "сохранять 0 предыдущих версий файлов" и  HC  будет работать "как раньше".

А кому нужно хранение информации о предыдущих версиях файлов и кто готов пожертвовать производительностью HC, то чтобы смог включить сохранение N предыдущих версий файла
Сообщить модератору   Записан
Страниц: [1] 2  Все   Вверх
  Отправить эту тему    Печать  

 
Перейти в: