HandyCache форум

ЗДрасти Вам!

Предлагаю сделать статистику поинформативней

1. добавить статистику по сайтам - то есть какой сайт и скока сожрал траффика

2. также сделать отдельные столбцы  Загруженно / Взято из кэша /  - так нагляднее

А также:
в мониторе HC не совсем понятно в какой единице измеряется размер загружаемых файликов.

Предлагаю конвертацию находу, то есть

начинается загрузка какого-нить файлика - пошли первые байты..... 1 2 3
если размер стал превышает 1 Килобайт - в соответствующем столбце и строке начинается исчисление в килобайтах и в конец числа добавляется буковка К   - 1К 2К 3К
как только размер превышает один Мб - тут же размер переводится в мегабайты и в конец добавляется Мб - 1М 2М 3М

che@TTer

По "Статистике" уже много всяких предложений было! Некоторые даже занесены в ToDo (http://handycache.ru/component/option,com_smf/Itemid,10/topic,20.0/).

Но из-за нехватки на все времени mai62 предложил любому добровольцу-программисту написать программку для анализа лога Монитора HC.

HC может сохранять полный лог своего Монитора в файлы в текстовом виде, которые можно анализировать любыми другими программами, даже Excel'ем!

Почитай тему: WrSpy - программа для анализа логов прокси (в т.ч. HC) (http://handycache.ru/component/option,com_smf/Itemid,10/topic,756.0/)



Что тут непонятно - всегда в байтах! Конвертация "на ходу" может вызвать трудности с точным подсчетом статистики, сохранением данных в лог и его последующим анализом! Да и нагрузку на процессор может увеличить... В общем, ни к чему это! ;)

Ну хотя бы в названиях колонки укажиет, что в байтах - это есть дружелюбность интерфейса

подскажите, а как сохранить полный лог своего Монитора в файл?

che@TTer

"Настройки / Общие / Вид" поставить галку на "Сохранять содержимое монитора".

Файлы сохраняются в папку:  HandyCache\Logs\ и имеют уникальное название.

Сохранение в файл производится при выходе из HC, а также при автоматической или ручной очистке Монитора HC.

В "Ограничить количество записей в мониторе ... строк" можно задать периодичность автоматической очистки Монитора HC.

На вкладке "Статистика" добавить галку: Подсчитывать сумму при открытии этой вкладки. Мелочь, но как приятно...  :)
И не надо писать мне: мол, нажми сам, и т.п.

Что бы я мог создавать свой шаблон для сохранения статистики. (Всё равно ведь шаблон есть :) нужно только дать к нему доступ :))
+
Хотелось что бы автоматом експортировалась статистика[дописывалась] (Что бы пользователи меня не дёргали, а сами смотрели) ИЛИ чтобы HC отсылал им статистику в браузер по спец-запросу (К примеру http://192.168.1.1:8080/userstat/)

Есть предложение реализовать что-то похожее. Если есть возможность конечно)
Например. Дома есть 3 активных пользователя интернет, на каждого заведен логин и пароль. И каждому, чтобы контролировать свой расход трафика и для меня удобно было бы смотреть не только кто сколько накачал и какой кеш при этом составил, но и сайты по которым ходили с количеством накаченного.
Пример на скриншотах. В первом-пользователи, во 2-м (нажимаем на нужного юзера) выведен список посещаемых сайтов сайтов, с количеством накаченного (по убыванию).
 

Уверен: такие вещи будут появлятся после реализации плагинной архитектуры самой программы. (то есть: кому нужно — допишет сам :) и поделится с другими)

Это долго, хотелось бы поскорее) Что скажет по этому поводу разработчик?

Скорее всего разработчик вообще промолчит, ибо все уже ответили и ответили правильно. И скорее всего эта тема уже не раз обсуждалась на руборде, здесь и есть в TODO

Shadow

Разработчик уже не раз отвечал на этот вопрос! Да, делать что-то со статистикой надо, но время на все не хватает! Поэтому mai62 сделал сохранение лога Монитора HC в файл и предложил добровольцам-программистам написать отдельную программу для его анализа...

Вот творение одного из добровольцев: WrSpy - программа для анализа логов прокси (в т.ч. HC) (http://handycache.ru/component/option,com_smf/Itemid,10/topic,756.0/)

Кстати! Отличная программа - анализатор статистики WrSpy (http://handycache.ru/component/option,com_smf/Itemid,10/topic,756.0/) (оф.сайт http://www.wrspy.ru/ ). Автор весьма быстро реагирует на пожелания пользователей!

Сейчас попробовал в Excel импортировать лог. Получается, к вечеру ждите написанную в excel простенькую анализировалку. Пока сводные данные по пользователям, если будет необходимость (и время чтобы делать) попробую и по сайтам сделать.

В общем, что-то накропал, требуется тестирование, отзывы и т.д.
Инструкция внутри, нужно включить макросы, нужен еxcel.

cepera_ang

В Excel 2002 при формировании сводных таблиц выводится сообщение об ошибке:

Если нажать на Debug, то в редакторе VB будет подсвечена строка:

Есть возможность сделать, чтобы макросы успешно работали в старых версиях Excel?

Если поменять на xlPivotTableVersionCurrent будет работать? Там еще ниже такая строчка. Просто нет возможности протестировать на старой версии.

Нет, все также.

Могу еще предложить написать xlPivotTableVersionXX где XX = 10 или 11 или 2000. Еще эти строчки можно закомментировать и обновлять просто сводную таблицу вручную.
Сейчас на работу, там есть 2003 офис, посмотрю, подправлю, выложу.

cepera_ang, спасибо
есть проблема если кол-во строк больше 65535, макрос  вылетает по ошибке :(
можно добавить эту проверку ?

PS ошибка 1004

У меня в объединенном логе за месяц получилось более 115 тысяч строк :)

Вылетает потому что в экселе максимум 65535 строчек (( до версии 2007 - там сделали миллион. Поэтому либо долго кодить проверки, обходные пути, либо вручную ограничивать кол-во логов. Все таки для анализа нужна база данных, а не табличка.
Давненько я не программировал на VB позабыл все. Если будет время сделаю на Access + передача порциями в эксель для анализа. Но это врядли скоро.
Пишите что можно в этой версии поправить по мелочи, добавить и т.д.

если бы разделителем был бы не "пробел" а например "TAB" то можно было бы просто слинковать .cvs файл с таблицей в Access и из него вытаскивать все данные
а так придется еще что то с импортом заморачиватся (прощек всего на мой взгляд будет сделать внешнее что то и запихнуть его в файл.

никто формат  log файла для последней версии не подскажет?
вечерком хочу потестировать пару идей...

Формат лога, разделитель пробел:

Примаются предложения по изменению формата лог-файла. Вероятно, имеет смысл сделать по образцу какого-нибудь популярного прокси, чтобы можно было использовать софт, заточенный под него.

Squid?
думаю надо делать голосование после набора популярных проксей,
желательно с freeware анализаторами логов

Для сквида логвьюеров более, чем много :)

Посмотрел формат логов сквида, черезчур помоему, многие поля относятся к работе с кешем, который в сквиде реализован подругому (одним файлом), это и номер файла, и действие над ним...
Мой выбор - Novell Border Manager - в нем пишут логи Apache, WinRoute, WinProxy и тд только с входящим и исходящим трафиком.

cepera_ang
я тут за полчаса набросал прогу котораяс переводит log handycache в формат удобоваримый для access
за текст сильно не пинайте, писалось на одном дыхании
пользоваться так же
сначало батником, потом all-relog.csv  подцепить как linked table в access
там простенький отчет я сделал должно сработать
в принципе осталось сделать выборку по датам

текст проги прилагаю, написана на freepascal с синтаксисом delphi
похоже для удобства придется переписывать кусок  ReResponce

PS на больших объемах думаю будет тормозить но работать

Работает, вроде бы. Хотя анализ excel'a несравним ни с чем. На лог файле 1.5 мегабайта работает мгновенно, хотя это конечно не объем.

А может реализовать нечто вроде :
и сделать настройку куда пользователь будет забивать строку для выдачи нужного ему лога, и по умолчанию будет лог winroute например?

Формат squid и httpd (NBM, BSB, winroute, apache и тд) имеют один недостаток - отсутствие исходящего трафика. Кроме того, httpd не дает информации о кэшировании. В него пишутся удовлетворенные запросы мимо кэша. Любая модификация стандартного формата не гарантирует правильной работы существующих анализерок.
Форматы с поддержкой исходящего трафика сложны и специфичны для конкретных прокси.
Существующий формат вполне пристоен, ежели добавить в него поле IP адреса и, при необходимости, исходящего трафика.
Жду решения автора НС, для реализации его поддержки в бесплатной анализерке WrSpy. Это можно сделать в течении недели.

---

Обсуждение WrSpy перенесено в отдельную тему: WrSpy - программа для анализа логов прокси (в т.ч. HandyCache) (http://handycache.ru/component/option,com_smf/Itemid,10/topic,756.0/)

Предлагаю следующий формат лога, все поля разделены 1 пробелом:


Дата       Время     IP клиента   Пользователь Адрес                Размер Получено Отправлено Код ответа Ответ          НС/Инет Gzip Правило
1          2         3            4            5                    6      7        8          9          10             11      12   13
ДД.ММ.ГГГГ ЧЧ:ММ:СС  IP           ИМЯ          "http://domen/url"   БАЙТ   БАЙТ     БАЙТ       @@@ ЧИСЛО  "СТРОКА"       H|I      +|-  У П Б Ч З Н Т А
25.02.2007 08:55:10  192.168.20.1 Local        "http://www.ya.ru/"  516    516      128        200        "OK"           I        +    1 0 0 0 5 0 0 0
25.02.2007 08:55:10  192.168.1.1  Local        "http://www.ya.ru/"  516    516      0          304        "Not modified" H        +    0 0 0 0 0 8 0 0

Пояснения: первая строка содержит названия полей, вторая номер пункта, третья формат данных, 4-5 пример лога
1.   Дата в формате ДД.ММ.ГГГГ
2.   Время в формате ЧЧ:ММ:СС. Может быть еще миллисекунды? Если они вообще фигурируют в работе программы.
3.   IP-адрес с которого поступил запрос.
4.   Имя пользователя, если имя пользователя определить не удалось записывать «–» или «none»
5.   Запрос (URL) окруженный для верности кавычками.
6.   Размер: если известен размер файла записывать его здесь, или 0 если размер неизвестен.
7.   Получено: писать сколько получено байт или 0 если данные не получены.
8.   Отправлено: писать сколько отправлено байт при запросе. При выдаче из кеша писать 0.
9.   Код ответа: писать числовой код ответа сервера/НС 200, 300 … и т.д. либо 000 при ответе типа Request repeated
10.   Ответ: записывать строку ответа сервера/НС в кавычках либо FAIL в случае ошибок (вообще подумать какие ответы оставить)
11.   Кеш/Инет: записывать 1 символ “Н” если данные взяты из кеша, либо ответ сформирован НС или символ “I” если данные/ответ из интернета.
12.   Gzip: писать + или – в зависимости от наличия/отсутствия gzip
13.   Правила: писать через пробел номера правил в определенном порядке (например У П Б Ч З Н Т А), если правило не сработало – на этом месте писать 0
Также предлагаю удалить поля не несущие смысловой нагрузки: процент и состояние, так как в 99,6% случаев они равняются 100% и 2 соответственно.
Еще хотелось бы какое-нибудь поле для группировки запросов по рефереру (как это сделано в мониторе), но это мелочь.

Только пробелом не надо, лучше {Табом}, так проще в access загнать, а потом там анализировать
с пробелами возникают проблемы "Not modified" и правилами прошедшими при запросе.

теоретически может сработать несколько правил из одного списка?

Если исходить из того, что лог будет просматриваться с помощью программы-анализатора необязательно писать в текстовом виде - в двоичном будет меньше.

Имхо не хватает полей для протокола, записан файл в кэш или нет, внешнего прокси.

По пробелу: насколько я знаю это стандарт для логов, хотя по-моему не принципиально. Для того и нужны кавычки, чтобы проблем с пробелами в ответах не возникало. В access загонять однозначно лучше с помощью процедуры на VB, можно и домен выделить и т.д. да и есть такая нужда если будет работать wrspy?
По правилам: afaik нет.
Зато усложнится написание этого самого анализатора + текст = стандарт. Можно хоть на perl'e писать анализатор (так и сделано например для squid'a)
Условный прокси виден в правилах, запись в кеш тоже видно - если З не ноль - значит запись была. Что значит протокол? У нас же не пускается ничего кроме http(s)|ftp, а это видно из запроса.
2All
Хотелось бы еще предостеречь от включения в лог лишних полей, которые мы все равно не сможем использовать при анализе. Ведь логи растут очень быстро и анализ затрудняется с каждым добавленным полем. Не сомневаюсь что будут люди у которых логи будут измеряться гигабайтами в месяц (и я наверное буду первым), и каждый символ будет увеличивать лог на десятки мегабайт.

В списках П и А может сработать несколько правил! Это абсолютно точно!

Надо думать о будущем. ;)

Дык может все-таки не нужен текстовый вид?  ::)

Точно :) Только не представляю как можно использовать знание о сработавших правилах преобразования и переадресации, кроме как для статистики по кол-ву сработавших правил.  ::) Может их совсем не писать в лог?
Хорошо + протокол.
Текстовый вид нужен, потому что
1. Экономия не так велика. Рассмотрим предложенный мною вариант.
a. Экономия от кодирования даты/времени = 19-4=15 байт на строку.
b. Самая объемная информация лога это имя пользователя и URL. На них в бинарном виде сэкономить не удастся. + это поля переменной длины, значит надо будет либо хранить длину (лишние 1+4 байта), либо ограничитель строки (+2 байта). Тоже самое касается ответа сервера.
c. Экономия на поле адрес - 12 байт.
d. Размер, оправлено, получено. Как уже выясняли, средний размер запроса - <100000байт следовательно размер текста <6 байт. В поле отправлено - вообще меньше 4 символов. Длинное целое - 4 байт. Причем в поле получено в 30%-40% случаев будет 0. А в полях размер и отправлено - в 80%. Итого экономия = (6-4)*60%+(1-4)*40%+(6-4)*20%+(1-4)*80%+(4-4)*20%+(1-4)*80%=-4,4 байта на строку.
e. Код ответа - текст 3 символа, число - 4 байта
f. НС/Инет Gzip - текст 2 символа, число - 1.
g. Правила - текст у меня почти всегда 1 символ, число - 4 байта (на случай тысяч правил в списках)
h. разделители - 19 штук.
Итого: экономия = 15-5(2)+12-4,4-1+1-3*8+19=12,6(15,6)  байт на строку. Естественно это лишь оценка, и можно найти кучу притянутостей в моих рассуждениях, не стоит этим заниматься, ибо только практика может показать.
2. Опять же легкость анализа различными средствами - хоть excel хоть скрипт на любом языке обработки текста, хоть загрузка в базу данных, хоть сторонние программы специально написанные для этого. Бинарный вид - только последнее.
3. Читабельность человеком. Мало ли захочется найти какую-нибудь штуку, или проверить что-нибудь. Чесслово возникает такая необходимость иногда.

А чем они хуже правил из других списков?
Их можно использовать для статистики срабатываний. Можно произвести отбор по интересующему правилу и посмотреть, когда и у кого оно срабатывало и правильно ли отработало. Или просто для того, чтобы легче было узнать, где теперь искать файл в кэше... ;)

Значит надо писать так: сначала все номера правил, которые могут быть только один раз, потом: П"номер номер номер номер..." А"номер номер номер" или только сработавшие правила, и перед номером ставить код например П11 П123 Ч10. Думаю так как эти поля находятся в конце строки, то если их кто-то (программа) не захочет обрабатывать - можно будет легко проигнорировать и проблем не возникнет.

Тут переключился на английский язык, чтобы помочь нашим зарубежным гостям и увидел что в лог стали писаться названия правил по английски. Надо будет сделать один вариант, думаю английский будет лучше. Тогда формат поля правила будет такой:

P W B S D O U"# [# #]" R"# [# #]"
Пример:
0 0 0 0 0 0 U" 1 5 8" R" 0" или
0 0 0 0 0 0 "U 1 5 8" "R 0" (другое расположение кавычек)

У "серьезных" прокси ведется аж несколько логов в нескольких файлах. Это конечно не самоцель, но стоит хотя бы попробовать подумать с точки зрения не "что мы сейчас можем получить в статистике", а "что мы хотим получить в статистике". Насколько я понял, у тебя НС обслуживает 15 машин в сетке - так тебе и карты в руки: какая статистика тебе нужна сейчас и может понадобится в будущем?

Walker
Может быть ты дашь какие-то рекомендации со своей колокольни (опыта)?

Насколько на данный момент могу судить хватает полей date time IP user url in out cache|inet для осуществления достаточно полного анализа средствами например wrspy, а это как я видел по отзывам и по собственным ощущениям один из продвинутых анализаторов. Просто при анализе никто не запрещает распарсить url вытащить оттуда дополнительную информацию - домен, протокол, тип файла и т.д. 
Кстати. content-type в логе мог бы пригодиться например для отчета "типы файлов по сотрудникам."

Мой опыт подсказывает, что нельзя объять необъятное. Изобрести формат, который устраивал бы все запросы и при этом был бы компактен и читаем - невозможно. Выход - или настраиваемый, типа w3c e ISA или 3proxy; или минимально достаточный, как существующий НС или squid.
Кстати, content-type не самый лучший вариант, Эта информация в 99,9% случаев достается из расширения скачанного файла.

здрасти. :D
у некоторых интернет провайдеров тарифы на трафик зависят от времени скачивания информации!!!!
у меня хорошее предложение!
усовершенствовать систему сбора статистики.
сделать возможным учет скаченой информации пользователями по часам.
вверх совершенства чтоб можно было тудаже вбивать тарифы
и ваще суппер если каждый пользователь, подключеный через прокси сервер, сам смог просматривать в любой момент времени
собственый трафик через вэб интерфейс
это сделает проект НАМНОГО популярнее. :good:

я попробовал в 2007 екселе выдает ошибку не найден файл

Уже много раз это обсуждалось! HC не биллинговая система! Для анализа статистики пользуйся сторонними прогами, например WrSpy (http://handycache.ru/component/option,com_smf/Itemid,10/topic,756.0/), или Excel-ем!

Кстати, для WrSpy есть отдельная приблуда, WsTarif называется. Там реализована возможность задания разных величин стоимости входящего и исходящего мегабайта в зависимости от времени суток и дня недели.

здрасти  :'(, подскажите плиз как можно через командную строку обнулить статистику, эта инфа необходима для разработки системы билинга   :help:

Нет такой команды! HC хранит статистику в файле stat.txt - можешь его удалить при незапущенном HC.

А какой прок от обнуления статистики для системы биллинга? Она по датам не может сама определить, что брать в расчет, что нет?

меня интересует почасовая оплата мой провайдер в 2 часа ночи запрашивает за гиг 135 а 21.00 уже 600 если по часам снимать срез и обнулять файл можно выделить данные за последнее время
Добавлено: 06 Декабря 2007, 20:18:06

да еще к томуже пользователей до фига это  попытка автомотизировать расчеты
Добавлено: 06 Декабря 2007, 20:19:21

и желательно чеб система работола без перезагрузок типа сервак

К чему такие сложности с обнулением статистики? Чем не устраивает лог Монитора, который HC сам сохраняет? Там есть и время, и пользователи, и размер данных - бери, складывай и анализируй в своем биллинге!
Даже программа (http://handycache.ru/component/option,com_smf/Itemid,10/topic,238.msg9008/#msg9008) уже есть, которая умеет этот лог анализировать в зависимости от времени суток!

спасиба не рассмотрел сразу буду копать в том направлении

Хочу обратиться к разработчикам HC  -  есть или планируете ли вы  создать статистику доступную пользователю по WEB интерфейсу например

proxy_adress:port/statistics  с возвращением браузеру таблицы пользователей с трафиком по дням...ну или не таблицы.... ну вобщем куска статитстики со вкладки статистики HC . ну и конечно настроика какие из пользователей могут ее смотреть и какие графы допускать к просмотру...


Кто что думает по этому поводу ???

хотелось  дождаться бы ответа разработчика )

Этот функционал планируется во второй версии. Но это будет нескоро. Вторая версия будет почти полностью переписанной программой. Пока посмотри программу AnaServ http://handycache.ru/content/view/41/4/

Огромное просто человеческо СПАСИБО!

а нельзя ли разделить на отдельные колонки скачано, кэш, отдано. с меня требуют ежемесячный отчет. а даже при экспорте в ексель приходится ручками все это перебивать. надо показат кто сколько скачал, отправил. и сколько наэконопили.
И хорошо бы и меть кнопочку экспорт, чтобы данная таблица открылась в екселе или опен офисе.

Тебе нужен отчет по трафику по дням или достаточно суммы по месяцам?

По месяцам по людям (скачано\кэш\отдано) и суммарно за месяц в таком же формате.
и попутно, поставил майл портер, как бы выделить отдельно трафик мыла для каждого пользователя.
Добавлено: 06 Мая 2010, 15:45:25

версия купленая
20 пользователей

Что если сделаю html в таком виде:
Сейчас в НС есть встроенное перенаправление портов, как им пользоваться написано здесь http://handycache.ru/content/view/44/26/ В случае использования встроенного перенаправления портов почтовый трафик будет начислятся тем пользователям, которые пользуются почтой.

по трафику устроит, но хорошо бы подсчет помесячно. а не непрерывно, как сейчас.

по почте, сейчас весь трафик одет на счет той машины где майл портер? (у меня на сервере,где и HC)

Можно будет выбрать за какой месяц выбрать данные.
Нужно отказаться от MailPorter и использовать встроенное перенаправление портов (как использовать тут http://handycache.ru/content/view/44/26/). Тогда трафик будет начисляться тем, кто пользуется почтой.

попробовал перенаправление портов. чтото не заработало.
 а с портером работает.
 диапазон IP юзеров забил через -


Добавлено: 06 Мая 2010, 17:20:14

и когда удобная статистика будет?
Добавлено: 06 Мая 2010, 17:21:01

с перенаправлением разобрался,забыл поставить галочку разрешить!
заработало

В следующей версии.

ждемс

Статистика, то что надо. Спасибо огромное!

А можно ли в генератор HTML отчёта, установить опцию вывода содержимого по дням, а не только по месяцам? Было бы очень удобно иметь возможность генерации отчёта по дням.
Также, есть пожелание вывода в различных единицах измерения, на выбор пользователя (Кб, Мб, Гб).

Хорошо, сделаю.

Хотелось бы иметь возможность автоматической статистики.
все тоже самое что ручками, за какой период, куда класть и т.д.
и указав периодичность обновления этого файла.
а то я каждый день с утра иду и создаю  файл отчета и смотрю, как там дела.
Анасерв не предлагать. он стоит но работает както криво.да и мне не ограничения нужны, а кто сколько за сутки высосал. по тому как был случай, какойто вирус у юзера высосал за сутки 1.5 гига.

Хорошо. А периодичность какая может понадобиться? Раз в сутки, раз в неделю, раз в месяц. Этого достаточно?

мне раз в сутки, просто обновлять стандартный месячный файл в указаное мне время и с теми настройками что я сделал, просто чтобы не я раз в сутки подходил и нажимал создать отчет, а программа это делала сама!

ОК. А время, в которое обновлять задавать надо? Или как сутки кончились в 0 часов так и сохранять?

лучше указывать во сколько создавать. черт его знает чем будет занят сервак в момент перехода суток, мы как разработчики софта с эти часто сталкиваемся

Чем бы ни был занят сервер, хоть выключен даже. В 0 часов будет означать при первой возможности после 0 часов. Ведь если задать любое другое время, нельзя рассчитывать на то, что сервер всегда ровно в этот час сможет выполнить задание.

ну тут секундная точность не нужна, но лучше в указанное время

При сохранении в 0 часов будет сохраняться статистика за только что закончившиеся сутки. Если будет сохраняться, например, в 8:00, то будет статистика за прошедшие сутки и частичная за текущие. Хорошо ли это, не будет вводить в заблуждение? Или правильнее сохранять только за полные сутки?

 я просто смотрю за полные сутки. хотя пусть пишет на момент сохранения, можно имя файла формировать из слова + дата, время.
наверно лучше в автомате за полные, а ручками как есть.
главное класть файл по указанному пути.