+  HandyCache форум
|-+  Главная категория» Новые предложения» Нужен ли расчет экономии и в каком виде?
Имя пользователя:
Пароль:
Голосование
Вопрос: Нужно ли в мониторе и в статистике показывать процент экономии?
Конечно нужно! Расчет устраивает. - 40 (44.9%)
Нужно, но считать его надо по-другому. - 29 (32.6%)
Не нужно. Хватает величины "Взято из кэша". - 14 (15.7%)
Мне все-равно. - 6 (6.7%)
Всего голосов: 87

Страниц: 1 ... 3 4 [5] 6 7   Вниз
  Отправить эту тему    Печать  
Автор Тема: Нужен ли расчет экономии и в каком виде?  (Прочитано 91901 раз)
0 Пользователей и 1 Гость смотрят эту тему.
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #80 : 07 марта 2007, 13:46:27 »

Думаю что также лучше считать секономленое время и общее врямя сидения за инетом.

Сэкономленное время посчитать невозможно! Почитай тему с начала, уже обсуждалось!
Сообщить модератору   Записан
Rick
Администратор
*****

Репутация: +15/-1
Offline Offline

Сообщений: 868


WWW
« Ответ #81 : 07 марта 2007, 23:58:28 »

Читал и о таком старом варианте расчета в ФАКе 1999 года
Да, вопрос-ответ старый. Тем не менеее лежит в официальном текущем FAQ'е 2007года.

Цитировать
Нашел информацию и по не менее "серьезному" Squid'у.
Мде... Ценность вопроса-ответа 99-го года ты ставишь под сомнение, а взамен вываливаешь инфу 95-98 годов. В чем прикол? (вопрос в общем-то риторический)

Цитировать
(client_bytes - server_bytes) / client_bytes , но и он никогда не превысит 100%!
Укатайка! Плевать на все примеры - лишь бы они не показали > 100%? А отрицательный кпд (нагревая воду получаем кусок льда?) - это не интересно. Зациклился на "больше ста"? Ну вот пример с > 100%.
Что эти примеры доказывают? Да ничего собственно не доказывают: какой параметр и как нам _надо_ посчитать - так и посчитаем (чем все и руководствуются).

Цитировать
Уже в двух "серьезных" программах (ISA Server'е и Squid'е) считается процент запросов! Странное совпадение? Ошибки их создателей?! Подмигивающий
Я бы сказал, что ошибка "толкователя". Если кратко - Squid с ISA и HandyCache разного поля ягоды, а ты не задумываясь о смысле этого параметра для пользователя ограничиваешься только фактом существования этого параметра в "серьезных" прокси. Подробнее ниже.

Цитировать
Именно за счет того, что HC сам обрабатывает эти запросы, пользователь экономит трафик и время! Чем больше запросов HC сам обработал, тем выше его эффективность, как кэширующего прокси-сервера!
Не зря "серьезные" программы считают этот показатель!
И ISA Server и Squid имеют а) ограничение на размер кэша б) автоматическое удаление устаревших объектов из кэша.
Т.е. там кэш ограниченного размера всегда поддерживаемый в актуальном состоянии. И соотношение запросы из кэша / общее количество запросов (Hit Ratio) нам показывает насколько кэш удовлетворяет потребности: низкий процент показывает необходимость увеличить размер кэша/вообще включить кэширование. Высокий процент - что кэш близок к оптимальности по размеру и содержимому.  И... все, других выводов не сделать. И, кстати, ни слова про экономию. Ну не оценить по количеству запросов экономию - невозможно! Не считают экономию по количеству монет - считают по достоинству этих монет. Соотношением запросов оценивается эффективность имеющегося кэша, а не экономия от его использования.
А вот Byte Hit Ratio показывает процент "чистой" экономии - так же как сейчас в HandyCache, с той лишь разницей, что в) и Squid и ISA - прозрачные прокси: _весь_ трафик идет через них. И у них Byte Hit Ratio - это реальная эффективность/экономия, а у HC - не пойми что.

В нашем случае с НС мы имеем бездонный кэш, в котором может храниться все что угодно и сколь угодно долго. Какие выводы мы можем сделать из знания величины Hit Ratio (процента запросов)? Если Hit Ratio мал - значит мы еще не нагуляли достаточный кэш / у нас его вообще нет. А если высок - значит можно радоваться? А нифига нельзя! У нас может быть несколькогиговый кэш из которого 90% - мертвый груз. Может Hit Ratio нам это показать? В Squid и ISA - может и покажет, а в HC - нет. Т.е. не важно, отличный кэш или помойка - Hit Ratio покажет, что все великолепно. Т.е. в HC соотношение запросов не покажет ни эффективность кэша (в отличие от Squid'a и ISA), ни экономию - этого Hit Ratio в принципе не показывает.

И нынешний процент, и предлагаемый тобой процент запросов основаны на некорректных данных: считается процент от общего трафика, хотя общий трафик в расчете липовый; предлагается оценивать эффективность кэша, но ни количество объектов в кэше, ни их размер неизвестны.



Я не предлагаю вообще убирать нынешний процент показываемый в НС, я предлагаю считать _другой_ процент на основании только трафика который возможно сэкономить.

Нужна конкретная формула? Пожалуйста:

Общий трафик (ОТ) - весь трафик запрошенный пользователем: внешний трафик + затребованное из кэша (MB).
Трафик не поддающийся экономии (ТНЭ) - все, что было передано клиенту без записи в кэш (MB).
Трафик поддающийся экономии (ТПЭ) = ОТ - ТНЭ (MB).
Взято из кэша (ВК) - взятое из кэша (MB).
Отношение кэширования (ОК) - то, что считаем.

ОК = (ВК/ТПЭ)*100%

Здесь исходные данные абсолютно точно поддаются определению - только то, что мы действительно можем посчитать. И никаких > 100% нет.

Пример: общий трафик 200М из которого - 40М трафик не поддающийся экономии (например https), 60М - взято из кэша. ТПЭ = 200 - 40 = 160М

ОК = (60/160)*100% = 37,5%
Нынешний расчет:
ВК% = (60/200)*100%= 30%

Как не трудно заметить, если у нас нет трафика не поддающегося экономии (протоколов отличных от http и файлов, которые согласно правилам не помещаются в кэш) оба расчета покажут одинаковый результат.

Что нам показывает вычисленное значение? Говоря человеческим языком это "процент сэкономленного от того, что вообще можно сэкономить".
Какие выводы можно сделать смотря на результат? Низкое значение означает, что кэша вообще нет или он еще не накоплен, высокое (>50%) - что мы больше читаем из кэша, чем записываем в него. В автономном режиме значение -> 100%, при запрещенных чтении/записи в кэш -> 0%.

Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #82 : 08 марта 2007, 12:54:18 »

Ну вот пример с > 100%.

Пример вообще не о том! Там речь о "ratio of failed-to-successful requests", а не о "Request Hit Rate" или "Byte Hit Rate"!

Цитировать
Соотношением запросов оценивается эффективность имеющегося кэша, а не экономия от его использования.

И я о том же говорил в посте, который ты выше уже цитировал: "Чем больше запросов HC сам обработал, тем выше его эффективность, как кэширующего прокси-сервера!"

Цитировать
У нас может быть несколькогиговый кэш из которого 90% - мертвый груз. Может Hit Ratio нам это показать?

А что нам покажет твой Byte Hit Rate в HC? Да тоже только то, что какие-то файлы читаются из кэша чаще, чем другие! А "мертвый груз" 90% в кэше в твоей формуле также никак не учитывается, т.к. в HC мы его учесть вообще не можем! Мы можем только его временами чистить из кэша.

Так что, и Byte Hit Rate в HC не отражает реальную эффективность использования всего того, что лежит в его бездонном кэше!

Цитировать
Нужна конкретная формула? Пожалуйста:

Общий трафик (ОТ) - весь трафик запрошенный пользователем: внешний трафик + затребованное из кэша (MB).
Трафик не поддающийся экономии (ТНЭ) - все, что было передано клиенту без записи в кэш (MB).
Трафик поддающийся экономии (ТПЭ) = ОТ - ТНЭ (MB).
Взято из кэша (ВК) - взятое из кэша (MB).
Отношение кэширования (ОК) - то, что считаем.

ОК = (ВК/ТПЭ)*100%

Вообще-то, я уже давно предлагал убрать из твоей первоначальной формулы НФ и перейти к варианту, который ты сейчас и озвучил в немного другой интерпретации ОТ (которая раньше не включала ВК)!
Рад, что помог осознать ненужность переменной HФ... Улыбка

На слабые места такого подхода я также уже указывал:

Но придется делать допущения, что пользователь знает, что творит (какие правила он включил в списке "Запись в кэш", какие исключения добавил в "Белый список" и т.п.), т.к. высокий процент вовсе не будет означать, что он получает максимально возможную экономию!

Но ради высоких целей привлечения новых пользователей готов согласиться с твоей обновленной формулой расчета эффективности на пару с моей формулой эффективности обработки запросов... Подмигивающий
Сообщить модератору   Записан
Nick
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #83 : 10 марта 2007, 16:34:37 »

голосовал за 2й пункт

считаю что в статистике нужно показывать и сколько было взято из кэша
и тут же рядом показывать экономию

не буду предлагать никаких формул, но считаю что как минимум "304 Not Modified (HC)" нужно включить в расчет экономии
« Последнее редактирование: 10 марта 2007, 16:39:05 от Nick » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #84 : 10 марта 2007, 17:55:11 »

не буду предлагать никаких формул, но считаю что как минимум "304 Not Modified (HC)" нужно включить в расчет экономии

А не смущает, что "экономия" при этом может превысить 100% и потребуются лишние обращения к относительно медленному диску (MFT/FAT)?
Читал последние пару страниц этого топика?
Сообщить модератору   Записан
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #85 : 10 марта 2007, 19:33:36 »

Цитировать
как минимум "304 Not Modified (HC)" нужно включить в расчет экономии
Возможно можно посчитать взятым из кэша, если не размер файла, то размер ответа. При загрузке мелких рисунков (а их часто бывает очень много не странице) размер заголовка ответа может быть сравним или даже больше самого рисунка.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #86 : 10 марта 2007, 20:06:02 »

Возможно можно посчитать взятым из кэша, если не размер файла, то размер ответа. При загрузке мелких рисунков (а их часто бывает очень много не странице) размер заголовка ответа может быть сравним или даже больше самого рисунка.

Я уже предлагал:

А раз мы не можем точно посчитать экономию на "304", то либо не стоит и пытаться, либо считать по минимуму:  НФ = 1,5кб * Количество ответов "304" - но, как ты понимаешь, в итоге НФ получится мизерным!

но что-то не "прижилось"... Подмигивающий Да и величина эта получится относительно небольшой...
Сообщить модератору   Записан
Nick
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #87 : 11 марта 2007, 13:30:02 »

А не смущает, что "экономия" при этом может превысить 100% и потребуются лишние обращения к относительно медленному диску (MFT/FAT)?
Читал последние пару страниц этого топика?
читал, и мое мнение полностью совпадало с мнением Ricka, до тех пор пока он не убрал из формулы учет НФ...может он случайно не вписал его туда ? =)
лично у меня за день в мониторе около 3/4 "Ответов" - "304 Not Modified (HC)"...экономия есть? есть, так почему она не должна учитываться? не хотите "накручивать", а занижать лучше чтоли?
и меня не смущают "лишние обращения к относительно медленному диску"...хотя бы опционально можно же сделать расчет с учетом этого?
Сообщить модератору   Записан
cepera_ang
Beta tester
*****

Репутация: +9/-4
Offline Offline

Сообщений: 355


« Ответ #88 : 11 марта 2007, 14:11:27 »

Почитал, подумал и хочу выразить свое мнение, которое хрен оспоришь Улыбка
Во первых - как я уже выяснял, основное бутылочное горлышко в НС - это монитор, поэтому "лишние обращения к относительно медленному диску" вообще практические не сказываются на скорости работы, да еще и надо учесть, что размер файла хранится в МФТ, и при повторных запросах с вероятностью 80% никаких обращений к диску вообще не будет, так как эта информация будет закеширована Windows.
Теперь по поводу показателей. Может быть нам уже отказаться от попыток рассчитать интегральный показатель "экономии"? А показывать несколько величин: кол-во и процент обработанных запросов, и запросов из кеша, число и процент байт из кеша. А степень экономии уже пусть оценивает пользователь, на основании своих представлений. Ведь в серьезных прокси, как оказалось нет некой "сводной" (суммарной) величины, показывающей экономию, но есть руководство, помогающее оценить эту величину, в зависимости от значений показателей, и указывающее на возможные проблемы.
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #89 : 13 марта 2007, 12:44:58 »

Имхо, надо б все-таки и экономию времени оценивать. Вместе с экономией трафика это два основных показателя. Если уж вообще что-то рассчитывать в реалтайме, то только их. Все остальные показатели можно считать на вкладке "статистика" по отдельному запросу пользователя.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #90 : 13 марта 2007, 16:14:59 »

Имхо, надо б все-таки и экономию времени оценивать.

Как оценить "экономию времени"? По максимальной скорости канала?

Это как "из пушки по воробьям"... Улыбка Думаю, не стоит рассказывать, что максимальная пропускная способность канала часто не совпадает с реальной скоростью закачки в каждый конкретный момент времени! Скорость зависит от конкретного сервера, нагрузки на него в данный момент, настроек ограничения доступа на сервере, а также от провайдера, "ширины" его внешнего канала и его загруженности в данный конкретный момент и в конкретном направлении и т.д.

Т.е. даже приблизительно посчитать экономию времени мы не в состоянии!
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #91 : 13 марта 2007, 18:01:05 »

Как оценить "экономию времени"? По максимальной скорости канала?
Почему по максимальной? Считать реальную скорость в каждом запросе, проходящем к серверу, и усреднять. Тогда при оценке экономия времени на одном конкретном запросе может и не совпасть с гипотетическим реальным значением, а вот взятая по многим запросам совпадет.
« Последнее редактирование: 13 марта 2007, 18:34:45 от Михаил » Сообщить модератору   Записан
safistaction
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 12


« Ответ #92 : 06 апреля 2007, 15:49:46 »

Предложений по изменению методов расчёта масса. У меня только одно, которое будет наиболее полезно для меня: учитывать файлы взятые из кэша браузера (304 not modified). И ни в коем случае из Label->Caption "Взято из интернет" не убирать файлы загруженные единоразово(exe,zip,..) Иначе мы качаем из сети одно, программа считает только свой хлеб, и выходит, что трафик можно посмотреть только щёлкнув на свойство соединения по значку значку в трее. Думаю, что большинство считает так, да?
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #93 : 06 апреля 2007, 15:57:02 »

Думаю, что большинство считает так, да?

Если ты читал всю эту тему, то сам знаешь, что нет... Подмигивающий
Сообщить модератору   Записан
safistaction
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 12


« Ответ #94 : 06 апреля 2007, 16:15:15 »

 УлыбкаИ жена, и друзья, и собака так считают Показывает язык
В этой ветке не много народа, значит кто-то даже не посчитал нужным суда обращаться - всех устраивает.
Если будут в новых версия функции в виде экономии времени Веселый
... сделайте галку, чтоб отключить можно было. У меня опыт обращения и с диал-апом, и с xDSL, сейчас выделенка. И никогда экономия времени не интересовала...
Меня больше волнует, что в мониторе горизонтальная полоса прокрутки улетает влево как только нажмёшь на ячейку таблицы в столбике "правило". Приходится растягивать главное окно по экрану "от уха до уха", чтобы посмотреть что же там за правило!

Ладно, всё это проблемы переходного возраста. Показывает язык

Ещё добавлю, что эта ветка-есть голосование, и на момент 16:30 06.04.2007 это моё мнение. Может изменится, поживём увидим. Лишь бы польза была. Улыбка
« Последнее редактирование: 06 апреля 2007, 16:22:23 от safistaction » Сообщить модератору   Записан
blakjocer
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 2


« Ответ #95 : 09 апреля 2007, 00:27:59 »

Да простят новичка, но в ответ safistaction замечу, что эту тему прочитали более 2700 человек.
  Хотя простого обывателя более беспокоит Сколько он экономит денег, а не байты и их способы подсчёта. А сам лично полностью согласен с Rick в методе подсчёта экономии трафика. Такой подход более точен и рационален.


       ____________________________________________________________
                                      Мы имеем то, что имеем....
 
Сообщить модератору   Записан
safistaction
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 12


« Ответ #96 : 10 апреля 2007, 20:23:02 »

blakjocer
ты пользователь диалапа? Есть же всякие дайлеры, которые считают с учётом всех выходных и т.д.

Для меня в начале был важен расчёт экономии(как только установил прогу взамен КулПрокси). И много было недоразумений, в обсуждении которых помог модератор DenZzz.
Потом, когда проблемы были ликвидированы, я увидел что экономия х%, а в мониторе все записи "302". Ну дык всё ясно! Лучшего результата получить... не знаю как. Правила придумывать по размеру реферата? Так придумывайте! Смотреть на экономию, чтобы её просто узнать - красивые циферки? Эта прога экономит по максимуму, весь алгоритм обработки её событий изложен в факе. Чего ещё ждать? Кроме улучшенных правил-ничего!

Я клоню к тому, что расчёт экономии для людей не позволит получит представление об экономии. Это азарт. Просто азарт. Если мне скажут, что вода из кэша будет литься меньше, то реже мыться я не стану. А в кэширующем прокси главное удобство управления, наглядность, дружественность интерфейса. А правила пишите сами, если не нравится.

Извините если сумбур.

Лишь бы польза для россиян была.
Сообщить модератору   Записан
NetmaN
Новичок
*

Репутация: +0/-1
Offline Offline

Сообщений: 7


Пожалейте котенка:)


« Ответ #97 : 06 мая 2007, 16:46:48 »

Народ, а знаете почему на форуме так много недопониманий с вопросом" Типа что у меня так мало трафика из кэша берет" .. Мы выяснили, что HC не учитывает с ответом /304 Not Modified (HC)/. ... а это зря..ведь при открытии любой страници, уже занее посещенной, графика с него не загружается, выдавая ответ в HC /304 Not Modified (HC)// А ведь это экономия, ведь реально браузер не загрузил повторно эту картинку с сайта, значит сэкономил на этом изображении...поэтому считаю предложение обоснованным  считать в экономию то, что браузер взял из своего кэша, а от НС получил только подтверждение актуальности файла /304 Not Modified (HC)/. Сразу уйдут все недопонимания..т.к. этот реально сэкономленный трафикбудет учитываться в HC, что экономия будет на лицо!
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621



« Ответ #98 : 24 мая 2007, 13:24:56 »

HC не может залезть в кэш браузера. Следовательно посчитать эту экономию мы не сможем.
Сообщить модератору   Записан
Villi
Старожил
****

Репутация: +1/-3
Offline Offline

Сообщений: 347


WWW
« Ответ #99 : 05 июня 2007, 17:38:59 »

Как сделать, чтобы файлы, загружаемые с ссылок вида: http://forum.doom55.ru/index.php?act=attach&type=post&id=7934 не считались как трафик и не загружались НС в кэш?
Сообщить модератору   Записан
Страниц: 1 ... 3 4 [5] 6 7   Вверх
  Отправить эту тему    Печать  

 
Перейти в: