che@TTer
Новичок
Репутация: +0/-0
 Offline
Сообщений: 16
Мягкий и пушистый
|
 |
« : 10 января 2007, 11:46:27 » |
|
ЗДрасти Вам!
Предлагаю сделать статистику поинформативней
1. добавить статистику по сайтам - то есть какой сайт и скока сожрал траффика
2. также сделать отдельные столбцы Загруженно / Взято из кэша / - так нагляднее
А также:
в мониторе HC не совсем понятно в какой единице измеряется размер загружаемых файликов.
Предлагаю конвертацию находу, то есть
начинается загрузка какого-нить файлика - пошли первые байты..... 1 2 3
если размер стал превышает 1 Килобайт - в соответствующем столбце и строке начинается исчисление в килобайтах и в конец числа добавляется буковка К - 1К 2К 3К
как только размер превышает один Мб - тут же размер переводится в мегабайты и в конец добавляется Мб - 1М 2М 3М
|
|
|
|
|
|
|
DenZzz
|
|
« Ответ #1 : 10 января 2007, 13:01:18 » |
|
che@TTer По "Статистике" уже много всяких предложений было! Некоторые даже занесены в ToDo. Но из-за нехватки на все времени mai62 предложил любому добровольцу-программисту написать программку для анализа лога Монитора HC. HC может сохранять полный лог своего Монитора в файлы в текстовом виде, которые можно анализировать любыми другими программами, даже Excel'ем! Почитай тему: WrSpy - программа для анализа логов прокси (в т.ч. HC)в мониторе HC не совсем понятно в какой единице измеряется размер загружаемых файликов. Что тут непонятно - всегда в байтах! Конвертация "на ходу" может вызвать трудности с точным подсчетом статистики, сохранением данных в лог и его последующим анализом! Да и нагрузку на процессор может увеличить... В общем, ни к чему это! 
|
|
|
|
|
|
che@TTer
Новичок
Репутация: +0/-0
Offline
Сообщений: 16
Мягкий и пушистый
|
|
« Ответ #2 : 10 января 2007, 13:14:30 » |
|
Что тут непонятно - всегда в байтах!
Ну хотя бы в названиях колонки укажиет, что в байтах - это есть дружелюбность интерфейса |
|
|
|
|
|
che@TTer
Новичок
Репутация: +0/-0
Offline
Сообщений: 16
Мягкий и пушистый
|
|
« Ответ #3 : 10 января 2007, 13:18:28 » |
|
HC может сохранять полный лог своего Монитора в файлы в текстовом виде, которые можно анализировать любыми другими программами, даже Excel'ем!
подскажите, а как сохранить полный лог своего Монитора в файл? |
|
|
|
|
|
|
DenZzz
|
|
« Ответ #4 : 10 января 2007, 13:38:10 » |
|
che@TTer
"Настройки / Общие / Вид" поставить галку на "Сохранять содержимое монитора".
Файлы сохраняются в папку: HandyCache\Logs\ и имеют уникальное название.
Сохранение в файл производится при выходе из HC, а также при автоматической или ручной очистке Монитора HC.
В "Ограничить количество записей в мониторе ... строк" можно задать периодичность автоматической очистки Монитора HC.
|
|
|
|
|
|
|
DIGGER
|
 |
« Ответ #5 : 20 февраля 2007, 06:22:39 » |
|
На вкладке "Статистика" добавить галку: Подсчитывать сумму при открытии этой вкладки. Мелочь, но как приятно...  И не надо писать мне: мол, нажми сам, и т.п. |
|
|
|
|
|
|
DIGGER
|
|
« Ответ #6 : 20 февраля 2007, 06:31:07 » |
|
Что бы я мог создавать свой шаблон для сохранения статистики. (Всё равно ведь шаблон есть нужно только дать к нему доступ ) + Хотелось что бы автоматом експортировалась статистика[дописывалась] (Что бы пользователи меня не дёргали, а сами смотрели) ИЛИ чтобы HC отсылал им статистику в браузер по спец-запросу (К примеру ) |
|
|
|
« Последнее редактирование: 20 февраля 2007, 07:18:55 от DIGGER_KSS »
|
Сообщить модератору
Записан
|
|
|
|
|
Shadow
Новичок
Репутация: +0/-0
Offline
Сообщений: 2
|
|
« Ответ #7 : 22 февраля 2007, 11:29:19 » |
|
Есть предложение реализовать что-то похожее. Если есть возможность конечно)
Например. Дома есть 3 активных пользователя интернет, на каждого заведен логин и пароль. И каждому, чтобы контролировать свой расход трафика и для меня удобно было бы смотреть не только кто сколько накачал и какой кеш при этом составил, но и сайты по которым ходили с количеством накаченного.
Пример на скриншотах. В первом-пользователи, во 2-м (нажимаем на нужного юзера) выведен список посещаемых сайтов сайтов, с количеством накаченного (по убыванию).
|
|
|
|
|
|
|
DIGGER
|
|
« Ответ #8 : 24 февраля 2007, 01:53:15 » |
|
Уверен: такие вещи будут появлятся после реализации плагинной архитектуры самой программы. (то есть: кому нужно — допишет сам и поделится с другими) |
|
|
|
|
|
Shadow
Новичок
Репутация: +0/-0
Offline
Сообщений: 2
|
|
« Ответ #9 : 24 февраля 2007, 08:02:17 » |
|
Это долго, хотелось бы поскорее) Что скажет по этому поводу разработчик?
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #10 : 24 февраля 2007, 15:17:12 » |
|
Скорее всего разработчик вообще промолчит, ибо все уже ответили и ответили правильно. И скорее всего эта тема уже не раз обсуждалась на руборде, здесь и есть в TODO
|
|
|
|
|
|
|
DenZzz
|
|
« Ответ #11 : 24 февраля 2007, 21:10:41 » |
|
ShadowРазработчик уже не раз отвечал на этот вопрос! Да, делать что-то со статистикой надо, но время на все не хватает! Поэтому mai62 сделал сохранение лога Монитора HC в файл и предложил добровольцам-программистам написать отдельную программу для его анализа... Вот творение одного из добровольцев: WrSpy - программа для анализа логов прокси (в т.ч. HC)
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #12 : 25 февраля 2007, 00:41:06 » |
|
Кстати! Отличная программа - анализатор статистики WrSpy (оф.сайт ). Автор весьма быстро реагирует на пожелания пользователей! |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #13 : 25 февраля 2007, 02:54:58 » |
|
Сейчас попробовал в Excel импортировать лог. Получается, к вечеру ждите написанную в excel простенькую анализировалку. Пока сводные данные по пользователям, если будет необходимость (и время чтобы делать) попробую и по сайтам сделать.
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #14 : 28 февраля 2007, 02:31:03 » |
|
В общем, что-то накропал, требуется тестирование, отзывы и т.д.
Инструкция внутри, нужно включить макросы, нужен еxcel.
|
|
|
« Последнее редактирование: 28 февраля 2007, 02:46:30 от cepera_ang »
|
Сообщить модератору
Записан
|
|
|
|
|
|
DenZzz
|
|
« Ответ #15 : 28 февраля 2007, 08:07:20 » |
|
cepera_angВ Excel 2002 при формировании сводных таблиц выводится сообщение об ошибке: Run-time error '438'
Object doesn't support this property of method Если нажать на Debug, то в редакторе VB будет подсвечена строка: ActiveSheet.PivotTables("СводнаяТаблица1").ChangePivotCache ActiveWorkbook. _
PivotCaches.Create(SourceType:=xlDatabase, SourceData:="Данные!C1:C12", _
Version:=xlPivotTableVersion12) Есть возможность сделать, чтобы макросы успешно работали в старых версиях Excel?
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #16 : 28 февраля 2007, 08:53:27 » |
|
Version:=xlPivotTableVersion12
Если поменять на xlPivotTableVersionCurrent будет работать? Там еще ниже такая строчка. Просто нет возможности протестировать на старой версии. |
|
|
|
|
|
|
DenZzz
|
|
« Ответ #17 : 28 февраля 2007, 09:06:19 » |
|
Если поменять на xlPivotTableVersionCurrent будет работать?
Нет, все также. |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #18 : 28 февраля 2007, 09:09:51 » |
|
Могу еще предложить написать xlPivotTableVersionXX где XX = 10 или 11 или 2000. Еще эти строчки можно закомментировать и обновлять просто сводную таблицу вручную.
Сейчас на работу, там есть 2003 офис, посмотрю, подправлю, выложу.
|
|
|
|
|
|
Oneri
Новичок
Репутация: +2/-0
Offline
Сообщений: 34
|
|
« Ответ #19 : 28 февраля 2007, 09:55:22 » |
|
cepera_ang, спасибо есть проблема если кол-во строк больше 65535, макрос вылетает по ошибке  можно добавить эту проверку ? PS ошибка 1004 У меня в объединенном логе за месяц получилось более 115 тысяч строк |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #20 : 28 февраля 2007, 13:33:37 » |
|
cepera_ang, спасибо есть проблема если кол-во строк больше 65535, макрос вылетает по ошибке можно добавить эту проверку ? PS ошибка 1004 У меня в объединенном логе за месяц получилось более 115 тысяч строк Вылетает потому что в экселе максимум 65535 строчек (( до версии 2007 - там сделали миллион. Поэтому либо долго кодить проверки, обходные пути, либо вручную ограничивать кол-во логов. Все таки для анализа нужна база данных, а не табличка. Давненько я не программировал на VB позабыл все. Если будет время сделаю на Access + передача порциями в эксель для анализа. Но это врядли скоро. Пишите что можно в этой версии поправить по мелочи, добавить и т.д. |
|
|
|
|
|
Oneri
Новичок
Репутация: +2/-0
Offline
Сообщений: 34
|
|
« Ответ #21 : 28 февраля 2007, 15:34:09 » |
|
если бы разделителем был бы не "пробел" а например "TAB" то можно было бы просто слинковать .cvs файл с таблицей в Access и из него вытаскивать все данные
а так придется еще что то с импортом заморачиватся (прощек всего на мой взгляд будет сделать внешнее что то и запихнуть его в файл.
никто формат log файла для последней версии не подскажет?
вечерком хочу потестировать пару идей...
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #22 : 28 февраля 2007, 17:17:20 » |
|
Формат лога, разделитель пробел: Дата/Время Пользователь Адрес [Размер] [Получено] [Процент] Состояние "Ответ сервера" [Правило[, правило[, ...]]] |
|
|
|
|
|
|
mai62
|
|
« Ответ #23 : 28 февраля 2007, 18:03:19 » |
|
Примаются предложения по изменению формата лог-файла. Вероятно, имеет смысл сделать по образцу какого-нибудь популярного прокси, чтобы можно было использовать софт, заточенный под него.
|
|
|
|
|
|
Oneri
Новичок
Репутация: +2/-0
Offline
Сообщений: 34
|
|
« Ответ #24 : 28 февраля 2007, 19:54:44 » |
|
Squid?
думаю надо делать голосование после набора популярных проксей,
желательно с freeware анализаторами логов
|
|
|
|
|
|
NothingAnother
Beta tester
Репутация: +7/-2
Offline
Сообщений: 434
Spoiler
|
|
« Ответ #25 : 28 февраля 2007, 20:21:34 » |
|
имеет смысл сделать по образцу какого-нибудь популярного прокси, чтобы можно было использовать софт, заточенный под него Для сквида логвьюеров более, чем много |
Мы тоже не всего читали Шнитке!..
© В. Вишневский
|
|
|
|
|
cepera_ang
|
|
« Ответ #26 : 28 февраля 2007, 20:23:53 » |
|
Посмотрел формат логов сквида, черезчур помоему, многие поля относятся к работе с кешем, который в сквиде реализован подругому (одним файлом), это и номер файла, и действие над ним... Мой выбор - Novell Border Manager - в нем пишут логи Apache, WinRoute, WinProxy и тд только с входящим и исходящим трафиком. ip - логин [dd/mm/yyyy:hh:mm:ss временная_зона] "метод url протокол" код_завершения трафик трафик_исходящий |
|
|
|
|
|
Oneri
Новичок
Репутация: +2/-0
Offline
Сообщений: 34
|
|
« Ответ #27 : 28 февраля 2007, 22:13:21 » |
|
cepera_ang
я тут за полчаса набросал прогу котораяс переводит log handycache в формат удобоваримый для access
за текст сильно не пинайте, писалось на одном дыхании
пользоваться так же
сначало батником, потом all-relog.csv подцепить как linked table в access
там простенький отчет я сделал должно сработать
в принципе осталось сделать выборку по датам
текст проги прилагаю, написана на freepascal с синтаксисом delphi
похоже для удобства придется переписывать кусок ReResponce
PS на больших объемах думаю будет тормозить но работать
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #28 : 28 февраля 2007, 23:25:19 » |
|
Работает, вроде бы. Хотя анализ excel'a несравним ни с чем. На лог файле 1.5 мегабайта работает мгновенно, хотя это конечно не объем.
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #29 : 28 февраля 2007, 23:31:42 » |
|
Примаются предложения по изменению формата лог-файла. Вероятно, имеет смысл сделать по образцу какого-нибудь популярного прокси, чтобы можно было использовать софт, заточенный под него.
А может реализовать нечто вроде : logformat <format>
Format for log record. First symbol in format must be L (local time)
or G (absolute Grinwitch time)
It can be preceeded with -XXX+Y where XXX is list of characters to be
filtered in user input (any non-printable characters are filtered too
in this case) and Y is replacement character. For example, "-,%+ L" in
the beginning of logformat means comma and percent are replaced
with space and all time based elemnts are in local time zone.
You can use:
%y - Year in 2 digit format
%Y - Year in 4 digit format
%m - Month number
%d - Day
%H - Hour
%M - Minute
%S - Second
%t - Timstamp (in seconds since 01-Jan-1970)
%. - milliseconds
%z - timeZone (from Grinvitch)
%D - request duration (in milliseconds)
%b - average send rate per request (in Bytes per second)
this speed is typically below connection speed shown by dlownload
manager.
%B - average receive rate per request (in Bytes per second)
this speed is typically below connection speed shown by dlownload
manager.
%U - Username
%N - service Name
%p - service Port
%E - Error code
%C - Client IP
%c - Client port
%R - Remote IP
%r - Remote port
%n - requested hostname
%I - bytes In
%O - bytes Out
%h - Hops (redirections) count
%T - service specific Text
%N1-N2T - (N1 and N2 are positive numbers) - log only fields from
N1 thorugh N2 of service specific text
и сделать настройку куда пользователь будет забивать строку для выдачи нужного ему лога, и по умолчанию будет лог winroute например? |
|
|
|
|
|
Walker
Новичок
Репутация: +2/-0
Offline
Сообщений: 14
|
|
« Ответ #30 : 01 марта 2007, 06:29:06 » |
|
Формат squid и httpd (NBM, BSB, winroute, apache и тд) имеют один недостаток - отсутствие исходящего трафика. Кроме того, httpd не дает информации о кэшировании. В него пишутся удовлетворенные запросы мимо кэша. Любая модификация стандартного формата не гарантирует правильной работы существующих анализерок. Форматы с поддержкой исходящего трафика сложны и специфичны для конкретных прокси. Существующий формат вполне пристоен, ежели добавить в него поле IP адреса и, при необходимости, исходящего трафика. Жду решения автора НС, для реализации его поддержки в бесплатной анализерке WrSpy. Это можно сделать в течении недели.
Обсуждение WrSpy перенесено в отдельную тему: WrSpy - программа для анализа логов прокси (в т.ч. HandyCache) |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #31 : 01 марта 2007, 21:11:11 » |
|
Предлагаю следующий формат лога, все поля разделены 1 пробелом:
Дата Время IP клиента Пользователь Адрес Размер Получено Отправлено Код ответа Ответ НС/Инет Gzip Правило
1 2 3 4 5 6 7 8 9 10 11 12 13
ДД.ММ.ГГГГ ЧЧ:ММ:СС IP ИМЯ "" БАЙТ БАЙТ БАЙТ @@@ ЧИСЛО "СТРОКА" H|I +|- У П Б Ч З Н Т А
25.02.2007 08:55:10 192.168.20.1 Local "" 516 516 128 200 "OK" I + 1 0 0 0 5 0 0 0
25.02.2007 08:55:10 192.168.1.1 Local "" 516 516 0 304 "Not modified" H + 0 0 0 0 0 8 0 0
Пояснения: первая строка содержит названия полей, вторая номер пункта, третья формат данных, 4-5 пример лога 1. Дата в формате ДД.ММ.ГГГГ 2. Время в формате ЧЧ:ММ:СС. Может быть еще миллисекунды? Если они вообще фигурируют в работе программы. 3. IP-адрес с которого поступил запрос. 4. Имя пользователя, если имя пользователя определить не удалось записывать «–» или «none» 5. Запрос (URL) окруженный для верности кавычками. 6. Размер: если известен размер файла записывать его здесь, или 0 если размер неизвестен. 7. Получено: писать сколько получено байт или 0 если данные не получены. 8. Отправлено: писать сколько отправлено байт при запросе. При выдаче из кеша писать 0. 9. Код ответа: писать числовой код ответа сервера/НС 200, 300 … и т.д. либо 000 при ответе типа Request repeated 10. Ответ: записывать строку ответа сервера/НС в кавычках либо FAIL в случае ошибок (вообще подумать какие ответы оставить) 11. Кеш/Инет: записывать 1 символ “Н” если данные взяты из кеша, либо ответ сформирован НС или символ “I” если данные/ответ из интернета. 12. Gzip: писать + или – в зависимости от наличия/отсутствия gzip 13. Правила: писать через пробел номера правил в определенном порядке (например У П Б Ч З Н Т А), если правило не сработало – на этом месте писать 0 Также предлагаю удалить поля не несущие смысловой нагрузки: процент и состояние, так как в 99,6% случаев они равняются 100% и 2 соответственно. Еще хотелось бы какое-нибудь поле для группировки запросов по рефереру (как это сделано в мониторе), но это мелочь. |
|
|
|
|
|
Oneri
Новичок
Репутация: +2/-0
Offline
Сообщений: 34
|
|
« Ответ #32 : 01 марта 2007, 21:30:38 » |
|
Только пробелом не надо, лучше {Табом}, так проще в access загнать, а потом там анализировать
с пробелами возникают проблемы "Not modified" и правилами прошедшими при запросе.
теоретически может сработать несколько правил из одного списка?
|
|
|
|
|
|
|
Rick
|
|
« Ответ #33 : 01 марта 2007, 21:39:39 » |
|
Если исходить из того, что лог будет просматриваться с помощью программы-анализатора необязательно писать в текстовом виде - в двоичном будет меньше.
Имхо не хватает полей для протокола, записан файл в кэш или нет, внешнего прокси.
|
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #34 : 01 марта 2007, 21:49:52 » |
|
Только пробелом не надо, лучше {Табом}, так проще в access загнать, а потом там анализировать
с пробелами возникают проблемы "Not modified" и правилами прошедшими при запросе.
теоретически может сработать несколько правил из одного списка?
По пробелу: насколько я знаю это стандарт для логов, хотя по-моему не принципиально. Для того и нужны кавычки, чтобы проблем с пробелами в ответах не возникало. В access загонять однозначно лучше с помощью процедуры на VB, можно и домен выделить и т.д. да и есть такая нужда если будет работать wrspy? По правилам: afaik нет. Если исходить из того, что лог будет просматриваться с помощью программы-анализатора необязательно писать в текстовом виде - в двоичном будет меньше.
Зато усложнится написание этого самого анализатора + текст = стандарт. Можно хоть на perl'e писать анализатор (так и сделано например для squid'a) Имхо не хватает полей для протокола, записан файл в кэш или нет, внешнего прокси.
Условный прокси виден в правилах, запись в кеш тоже видно - если З не ноль - значит запись была. Что значит протокол? У нас же не пускается ничего кроме http(s)|ftp, а это видно из запроса. 2AllХотелось бы еще предостеречь от включения в лог лишних полей, которые мы все равно не сможем использовать при анализе. Ведь логи растут очень быстро и анализ затрудняется с каждым добавленным полем. Не сомневаюсь что будут люди у которых логи будут измеряться гигабайтами в месяц (и я наверное буду первым), и каждый символ будет увеличивать лог на десятки мегабайт. |
|
|
|
« Последнее редактирование: 01 марта 2007, 21:55:32 от cepera_ang »
|
Сообщить модератору
Записан
|
|
|
|
|
|
DenZzz
|
|
« Ответ #35 : 01 марта 2007, 22:17:22 » |
|
теоретически может сработать несколько правил из одного списка? afaik нет. В списках П и А может сработать несколько правил! Это абсолютно точно! |
|
|
|
|
|
|
Rick
|
|
« Ответ #36 : 01 марта 2007, 22:27:54 » |
|
Что значит протокол? У нас же не пускается ничего кроме http(s)|ftp, а это видно из запроса. Надо думать о будущем. Не сомневаюсь что будут люди у которых логи будут измеряться гигабайтами в месяц (и я наверное буду первым), и каждый символ будет увеличивать лог на десятки мегабайт. Дык может все-таки не нужен текстовый вид? : |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #37 : 01 марта 2007, 22:58:51 » |
|
В списках П и А может сработать несколько правил! Это абсолютно точно!
Точно Только не представляю как можно использовать знание о сработавших правилах преобразования и переадресации, кроме как для статистики по кол-ву сработавших правил. : Может их совсем не писать в лог? Надо думать о будущем. Дык может все-таки не нужен текстовый вид? : Хорошо + протокол. Текстовый вид нужен, потому что 1. Экономия не так велика. Рассмотрим предложенный мною вариант.a. Экономия от кодирования даты/времени = 19-4=15 байт на строку. b. Самая объемная информация лога это имя пользователя и URL. На них в бинарном виде сэкономить не удастся. + это поля переменной длины, значит надо будет либо хранить длину (лишние 1+4 байта), либо ограничитель строки (+2 байта). Тоже самое касается ответа сервера. c. Экономия на поле адрес - 12 байт. d. Размер, оправлено, получено. Как уже выясняли, средний размер запроса - <100000байт следовательно размер текста <6 байт. В поле отправлено - вообще меньше 4 символов. Длинное целое - 4 байт. Причем в поле получено в 30%-40% случаев будет 0. А в полях размер и отправлено - в 80%. Итого экономия = (6-4)*60%+(1-4)*40%+(6-4)*20%+(1-4)*80%+(4-4)*20%+(1-4)*80%=-4,4 байта на строку. e. Код ответа - текст 3 символа, число - 4 байта f. НС/Инет Gzip - текст 2 символа, число - 1. g. Правила - текст у меня почти всегда 1 символ, число - 4 байта (на случай тысяч правил в списках) h. разделители - 19 штук. Итого: экономия = 15-5(2)+12-4,4-1+1-3*8+19= 12,6(15,6) байт на строку. Естественно это лишь оценка, и можно найти кучу притянутостей в моих рассуждениях, не стоит этим заниматься, ибо только практика может показать. 2. Опять же легкость анализа различными средствами - хоть excel хоть скрипт на любом языке обработки текста, хоть загрузка в базу данных, хоть сторонние программы специально написанные для этого. Бинарный вид - только последнее. 3. Читабельность человеком. Мало ли захочется найти какую-нибудь штуку, или проверить что-нибудь. Чесслово возникает такая необходимость иногда. |
|
|
|
|
|
|
DenZzz
|
|
« Ответ #38 : 01 марта 2007, 23:22:04 » |
|
В списках П и А может сработать несколько правил! Это абсолютно точно! Точно Только не представляю как можно использовать знание о сработавших правилах преобразования и переадресации, кроме как для статистики по кол-ву сработавших правил. : Может их совсем не писать в лог? А чем они хуже правил из других списков? Их можно использовать для статистики срабатываний. Можно произвести отбор по интересующему правилу и посмотреть, когда и у кого оно срабатывало и правильно ли отработало. Или просто для того, чтобы легче было узнать, где теперь искать файл в кэше... |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #39 : 01 марта 2007, 23:31:28 » |
|
А чем они хуже правил из других списков? Их можно использовать для статистики срабатываний. Можно произвести отбор по интересующему правилу и посмотреть, когда и у кого оно срабатывало и правильно ли отработало. Или просто для того, чтобы легче было узнать, где теперь искать файл в кэше... Значит надо писать так: сначала все номера правил, которые могут быть только один раз, потом: П"номер номер номер номер..." А"номер номер номер" или только сработавшие правила, и перед номером ставить код например П11 П123 Ч10. Думаю так как эти поля находятся в конце строки, то если их кто-то (программа) не захочет обрабатывать - можно будет легко проигнорировать и проблем не возникнет. |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #40 : 02 марта 2007, 00:37:13 » |
|
Тут переключился на английский язык, чтобы помочь нашим зарубежным гостям и увидел что в лог стали писаться названия правил по английски. Надо будет сделать один вариант, думаю английский будет лучше. Тогда формат поля правила будет такой:
P W B S D O U"# [# #]" R"# [# #]"
Пример:
0 0 0 0 0 0 U" 1 5 8" R" 0" или
0 0 0 0 0 0 "U 1 5 8" "R 0" (другое расположение кавычек)
|
|
|
|
|
|
|
Rick
|
|
« Ответ #41 : 02 марта 2007, 11:10:13 » |
|
Хотелось бы еще предостеречь от включения в лог лишних полей, которые мы все равно не сможем использовать при анализе. Ведь логи растут очень быстро и анализ затрудняется с каждым добавленным полем. Не сомневаюсь что будут люди у которых логи будут измеряться гигабайтами в месяц (и я наверное буду первым), и каждый символ будет увеличивать лог на десятки мегабайт. У "серьезных" прокси ведется аж несколько логов в нескольких файлах. Это конечно не самоцель, но стоит хотя бы попробовать подумать с точки зрения не "что мы сейчас можем получить в статистике", а "что мы хотим получить в статистике". Насколько я понял, у тебя НС обслуживает 15 машин в сетке - так тебе и карты в руки: какая статистика тебе нужна сейчас и может понадобится в будущем? WalkerМожет быть ты дашь какие-то рекомендации со своей колокольни (опыта)? |
|
|
|
|
|
|
cepera_ang
|
|
« Ответ #42 : 02 марта 2007, 12:44:11 » |
|
Насколько я понял, у тебя НС обслуживает 15 машин в сетке - так тебе и карты в руки: какая статистика тебе нужна сейчас и может понадобится в будущем?
Насколько на данный момент могу судить хватает полей date time IP user url in out cache|inet для осуществления достаточно полного анализа средствами например wrspy, а это как я видел по отзывам и по собственным ощущениям один из продвинутых анализаторов. Просто при анализе никто не запрещает распарсить url вытащить оттуда дополнительную информацию - домен, протокол, тип файла и т.д. Кстати. content-type в логе мог бы пригодиться например для отчета "типы файлов по сотрудникам." |
|
|
|
|
|
Walker
Новичок
Репутация: +2/-0
Offline
Сообщений: 14
|
|
« Ответ #43 : 02 марта 2007, 13:34:40 » |
|
Мой опыт подсказывает, что нельзя объять необъятное. Изобрести формат, который устраивал бы все запросы и при этом был бы компактен и читаем - невозможно. Выход - или настраиваемый, типа w3c e ISA или 3proxy; или минимально достаточный, как существующий НС или squid.
Кстати, content-type не самый лучший вариант, Эта информация в 99,9% случаев достается из расширения скачанного файла.
|
|
|
|
|
|
asgrigor
Новичок
Репутация: +0/-0
Offline
Сообщений: 13
|
|
« Ответ #44 : 05 декабря 2007, 15:49:48 » |
|
здрасти.  у некоторых интернет провайдеров тарифы на трафик зависят от времени скачивания информации!!!! у меня хорошее предложение! усовершенствовать систему сбора статистики. сделать возможным учет скаченой информации пользователями по часам. вверх совершенства чтоб можно было тудаже вбивать тарифы и ваще суппер если каждый пользователь, подключеный через прокси сервер, сам смог просматривать в любой момент времени собственый трафик через вэб интерфейс это сделает проект НАМНОГО популярнее.  |
|
|
|
|
|
asgrigor
Новичок
Репутация: +0/-0
Offline
Сообщений: 13
|
|
« Ответ #45 : 05 декабря 2007, 16:21:03 » |
|
я попробовал в 2007 екселе выдает ошибку не найден файл
|
|
|
|
|
|
|
DenZzz
|
|
« Ответ #46 : 05 декабря 2007, 20:58:24 » |
|
усовершенствовать систему сбора статистики.
сделать возможным учет скаченой информации пользователями по часам.
вверх совершенства чтоб можно было тудаже вбивать тарифы
Уже много раз это обсуждалось! HC не биллинговая система! Для анализа статистики пользуйся сторонними прогами, например WrSpy, или Excel-ем! |
|
|
|
|
|
Walker
Новичок
Репутация: +2/-0
Offline
Сообщений: 14
|
|
« Ответ #47 : 06 декабря 2007, 04:28:42 » |
|
Кстати, для WrSpy есть отдельная приблуда, WsTarif называется. Там реализована возможность задания разных величин стоимости входящего и исходящего мегабайта в зависимости от времени суток и дня недели.
|
|
|
|
|
|
asgrigor
Новичок
Репутация: +0/-0
Offline
Сообщений: 13
|
|
« Ответ #48 : 06 декабря 2007, 18:28:44 » |
|
здрасти  , подскажите плиз как можно через командную строку обнулить статистику, эта инфа необходима для разработки системы билинга  |
|
|
|
|
|
|
DenZzz
|
|
« Ответ #49 : 06 декабря 2007, 19:10:20 » |
|
подскажите плиз как можно через командную строку обнулить статистику
Нет такой команды! HC хранит статистику в файле stat.txt - можешь его удалить при незапущенном HC. А какой прок от обнуления статистики для системы биллинга? Она по датам не может сама определить, что брать в расчет, что нет? |
|
|
|
|
|
asgrigor
Новичок
Репутация: +0/-0
Offline
Сообщений: 13
|
|
« Ответ #50 : 06 декабря 2007, 20:21:54 » |
|
меня интересует почасовая оплата мой провайдер в 2 часа ночи запрашивает за гиг 135 а 21.00 уже 600 если по часам снимать срез и обнулять файл можно выделить данные за последнее время
Добавлено: 06 Декабря 2007, 20:18:06
да еще к томуже пользователей до фига это попытка автомотизировать расчеты
Добавлено: 06 Декабря 2007, 20:19:21
и желательно чеб система работола без перезагрузок типа сервак
|
|
|
|
|
|
|
DenZzz
|
|
« Ответ #51 : 06 декабря 2007, 21:11:37 » |
|
меня интересует почасовая оплата мой провайдер в 2 часа ночи запрашивает за гиг 135 а 21.00 уже 600 если по часам снимать срез и обнулять файл можно выделить данные за последнее время
К чему такие сложности с обнулением статистики? Чем не устраивает лог Монитора, который HC сам сохраняет? Там есть и время, и пользователи, и размер данных - бери, складывай и анализируй в своем биллинге! Даже программа уже есть, которая умеет этот лог анализировать в зависимости от времени суток! |
|
|
|
|
|
asgrigor
Новичок
Репутация: +0/-0
Offline
Сообщений: 13
|
|
« Ответ #52 : 07 декабря 2007, 08:54:15 » |
|
спасиба не рассмотрел сразу буду копать в том направлении
|
|
|
|
|
|
Core2Duo
Новичок
Репутация: +0/-0
Offline
Сообщений: 5
|
 |
« Ответ #53 : 13 августа 2009, 18:03:21 » |
|
Хочу обратиться к разработчикам HC - есть или планируете ли вы создать статистику доступную пользователю по WEB интерфейсу например proxy_adress:port/statistics с возвращением браузеру таблицы пользователей с трафиком по дням...ну или не таблицы.... ну вобщем куска статитстики со вкладки статистики HC . ну и конечно настроика какие из пользователей могут ее смотреть и какие графы допускать к просмотру... Кто что думает по этому поводу  хотелось дождаться бы ответа разработчика ) |
|
|
|
|
|
|
mai62
|
|
« Ответ #54 : 13 августа 2009, 21:20:12 » |
|
Этот функционал планируется во второй версии. Но это будет нескоро. Вторая версия будет почти полностью переписанной программой. Пока посмотри программу AnaServ http://handycache.ru/content/view/41/4/ |
|
|
|
|
|
Core2Duo
Новичок
Репутация: +0/-0
Offline
Сообщений: 5
|
|
« Ответ #55 : 13 августа 2009, 21:49:27 » |
|
Огромное просто человеческо СПАСИБО!
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #56 : 06 мая 2010, 15:07:14 » |
|
а нельзя ли разделить на отдельные колонки скачано, кэш, отдано. с меня требуют ежемесячный отчет. а даже при экспорте в ексель приходится ручками все это перебивать. надо показат кто сколько скачал, отправил. и сколько наэконопили.
И хорошо бы и меть кнопочку экспорт, чтобы данная таблица открылась в екселе или опен офисе.
|
|
|
|
|
|
|
mai62
|
|
« Ответ #57 : 06 мая 2010, 15:16:39 » |
|
Тебе нужен отчет по трафику по дням или достаточно суммы по месяцам?
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #58 : 06 мая 2010, 15:45:58 » |
|
По месяцам по людям (скачано\кэш\отдано) и суммарно за месяц в таком же формате.
и попутно, поставил майл портер, как бы выделить отдельно трафик мыла для каждого пользователя.
Добавлено: 06 Мая 2010, 15:45:25
версия купленая
20 пользователей
|
|
|
|
|
|
|
mai62
|
|
« Ответ #59 : 06 мая 2010, 16:29:37 » |
|
По месяцам по людям (скачано\кэш\отдано) и суммарно за месяц в таком же формате. Что если сделаю html в таком виде: Пользователь Скачано Кэш Отдано
user1 xxx xxx xxx
user2 xxx xxx xxx
.................
usern xxx xxx xxx
----------------------------------------------
Всего xxx xxx xxx попутно, поставил майл портер, как бы выделить отдельно трафик мыла для каждого пользователя Сейчас в НС есть встроенное перенаправление портов, как им пользоваться написано здесь http://handycache.ru/content/view/44/26/ В случае использования встроенного перенаправления портов почтовый трафик будет начислятся тем пользователям, которые пользуются почтой. |
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #60 : 06 мая 2010, 16:57:20 » |
|
по трафику устроит, но хорошо бы подсчет помесячно. а не непрерывно, как сейчас.
по почте, сейчас весь трафик одет на счет той машины где майл портер? (у меня на сервере,где и HC)
|
|
|
|
|
|
|
mai62
|
|
« Ответ #61 : 06 мая 2010, 17:08:09 » |
|
по трафику устроит, но хорошо бы подсчет помесячно. а не непрерывно, как сейчас Можно будет выбрать за какой месяц выбрать данные. по почте, сейчас весь трафик одет на счет той машины где майл портер? (у меня на сервере,где и HC) Нужно отказаться от MailPorter и использовать встроенное перенаправление портов (как использовать тут http://handycache.ru/content/view/44/26/). Тогда трафик будет начисляться тем, кто пользуется почтой. |
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #62 : 06 мая 2010, 17:22:58 » |
|
попробовал перенаправление портов. чтото не заработало.
а с портером работает.
диапазон IP юзеров забил через -
Добавлено: 06 Мая 2010, 17:20:14
и когда удобная статистика будет?
Добавлено: 06 Мая 2010, 17:21:01
с перенаправлением разобрался,забыл поставить галочку разрешить!
заработало
|
|
|
|
|
|
|
mai62
|
|
« Ответ #63 : 06 мая 2010, 17:38:04 » |
|
и когда удобная статистика будет? В следующей версии. |
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #64 : 06 мая 2010, 23:47:15 » |
|
ждемс
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #65 : 12 мая 2010, 11:56:52 » |
|
Статистика, то что надо. Спасибо огромное!
|
|
|
|
|
|
BaT
Новичок
Репутация: +0/-0
Offline
Сообщений: 16
|
|
« Ответ #66 : 12 мая 2010, 12:27:53 » |
|
А можно ли в генератор HTML отчёта, установить опцию вывода содержимого по дням, а не только по месяцам? Было бы очень удобно иметь возможность генерации отчёта по дням.
Также, есть пожелание вывода в различных единицах измерения, на выбор пользователя (Кб, Мб, Гб).
|
|
|
|
|
|
|
mai62
|
|
« Ответ #67 : 12 мая 2010, 21:35:18 » |
|
Хорошо, сделаю.
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #68 : 18 марта 2011, 14:23:07 » |
|
Хотелось бы иметь возможность автоматической статистики.
все тоже самое что ручками, за какой период, куда класть и т.д.
и указав периодичность обновления этого файла.
а то я каждый день с утра иду и создаю файл отчета и смотрю, как там дела.
Анасерв не предлагать. он стоит но работает както криво.да и мне не ограничения нужны, а кто сколько за сутки высосал. по тому как был случай, какойто вирус у юзера высосал за сутки 1.5 гига.
|
|
|
|
|
|
|
mai62
|
|
« Ответ #69 : 18 марта 2011, 15:26:07 » |
|
и указав периодичность обновления этого файла. Хорошо. А периодичность какая может понадобиться? Раз в сутки, раз в неделю, раз в месяц. Этого достаточно? |
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #70 : 18 марта 2011, 15:32:41 » |
|
мне раз в сутки, просто обновлять стандартный месячный файл в указаное мне время и с теми настройками что я сделал, просто чтобы не я раз в сутки подходил и нажимал создать отчет, а программа это делала сама!
|
|
|
|
|
|
|
mai62
|
|
« Ответ #71 : 18 марта 2011, 15:40:10 » |
|
ОК. А время, в которое обновлять задавать надо? Или как сутки кончились в 0 часов так и сохранять?
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #72 : 18 марта 2011, 15:50:49 » |
|
лучше указывать во сколько создавать. черт его знает чем будет занят сервак в момент перехода суток, мы как разработчики софта с эти часто сталкиваемся
|
|
|
|
|
|
|
mai62
|
|
« Ответ #73 : 18 марта 2011, 15:58:59 » |
|
Чем бы ни был занят сервер, хоть выключен даже. В 0 часов будет означать при первой возможности после 0 часов. Ведь если задать любое другое время, нельзя рассчитывать на то, что сервер всегда ровно в этот час сможет выполнить задание.
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #74 : 18 марта 2011, 16:03:17 » |
|
ну тут секундная точность не нужна, но лучше в указанное время
|
|
|
|
|
|
|
mai62
|
|
« Ответ #75 : 18 марта 2011, 16:15:56 » |
|
При сохранении в 0 часов будет сохраняться статистика за только что закончившиеся сутки. Если будет сохраняться, например, в 8:00, то будет статистика за прошедшие сутки и частичная за текущие. Хорошо ли это, не будет вводить в заблуждение? Или правильнее сохранять только за полные сутки?
|
|
|
|
|
|
Ol_3
Пользователь
Репутация: +0/-0
Offline
Сообщений: 69
|
|
« Ответ #76 : 18 марта 2011, 16:19:19 » |
|
я просто смотрю за полные сутки. хотя пусть пишет на момент сохранения, можно имя файла формировать из слова + дата, время.
наверно лучше в автомате за полные, а ручками как есть.
главное класть файл по указанному пути.
|
|
|
|
|
|
|
