Управление памятью есть, просто когда наблюдаешь надо иметь терпение (управление памятью не терпит суеты  ). Вот графики работы моего НС за прибл. 36 часов.

Не знаю что это было, но по моему ты просто хотел изнасиловать НС. Я насчитал больше 150 потоков, предназначенных для обработки запросов.
Нормально. Эти 150 потоков работают с регулярными выражениями, которые изрядно жрут стэк из-за рекурсивного вызова подпрограмм. Так что несколько мегобайт на стэк потока, к сожалению, горькая реальность.
Отказ в выделении памяти произошел при попытке получить память для лога. Подозреваю, что у тебя был включен лог с отладочной информацией. Лог хранится в памяти и это еще одна статья расхода. Понимаю, что хранение всего лога в памяти, не лучшее решение. Но пока это так.

Создание/удаление потоков съедает немало процессорного времени. Поэтому потоки не убиваются сразу после использования (закрытия соединения), а остаются в кэше потоков, откуда и берутся для повторного использования. НС наблюдает за средним количеством реально занятых работой потоков и когда в кэше накапливаюся лишние потоки, НС их удаляет. Но делает это не сразу, а спустя какое-то время (вдруг снова понадобятся).
Вызывается функция SetProcessWorkingSetSize(GetCurrentProcess, $FFFFFFFF, $FFFFFFFF);
Цитата отсюда http://msdn2.microsoft.com/en-us/library/ms686234.aspx
Когда я пишу $FFFFFFFF, это и значит (SIZE_T)-1.
При запуске НС создает штук 8 (не помню точно сколько) потоков, чтобы можно было быстро обработать первые запросы.
Кроме другой работы при старте: загрузка настроек, компилирование правил из списков.
Столько памяти нужно было НС при старте. И даже если столько уже не нужно, менеджер памяти системы оставляет ее 'закрепленной' за программой. Тоже на всякий случай: раз понадобилась однажды, может понадобиться снова и незачем лишний раз тратить время на выделение/освобождение памяти пока можно себе позволить такую вольность.

При запуске НС создал 6 потоков, взял памяти 11,4 МБ. В принципе, ничего в этом криминального нет, просто казалось (не уверен), что раньше ело 4-5 МБ.

Понаблюдал за НС в сравнении с Проксомитроном в ходе работы. Весь трафик шел: клиент-НС-Проксомитрон-сервер. Каждое новое соединение и/или запрос вызывает телодвижения (сопровождаются захватом дополнительной виртуальной памяти) как НС, так и Прокса. После отработки соединения/запроса Прокс всю эту память с точностью до байта сразу освобождает. НС освобождает кусок, меньший выделенной памяти. В итоге отводимая под НС виртуальная память неуклонно прирастает. Память под Прокс остается теми же 2,4 МБ.

Что делается с отработанными соединениями keep-alive между клиентом-НС и НС-сервером? Кто их закрывает? Какова величина таймаута, после которого они закрываются?

Тем не менее бОльшая часть освобождается, а оставляется лишь маленький кусочек. Очень уж похоже на leak.
Почему эта память не уменьшается менеджером системы, когда НС вообще не нагружен, а я запускаю очень ресурсоемкую игру? Может, память все-же держит сам НС?

mai62
Есть смысл вникать в эту тему дальше? Если я правильно понимаю, версия 1 все равно не ориентирована на интенсивную сетевую нагрузку, а версия 2 пишется с нуля.

Полностью согласен. Еще оцени, отвечают ли требованиям оперативности реагирования на ситуацию блокирующие сокеты. Имхо, их хорошо использовать только в приложениях, где скорость/пропускная способность связи не имеет критического значения.

Дабы не создавать новую тему, пишу сюда.

В диспечере задач для НС выделено памяти (частный рабочий набор) порядком 150 000 кб. Это нормально? Доступ через НС имеют 5 пользователей.

Есть большая активность пользователей, использование расширений. Количество строк в мониторе 5000 - это много? Ведение лога отключено.

Я вот что заметил: при первом запуске НС потребляет что-то около 10-15 метров, а может и того меньше. Но при длительной работы без перезагрузки (комп днями не выключается) НС как раз и выходит на потребление в 150 мб! И при этом активность пользователей не очень большая. Вот сейчас НС забирает уже 50 мб. Последний раз я перезагружал НС вчера вечером.

Как-то можно замерить этот рост потребления? Или только визуально?

Это я понял. Просто может есть смысл в течении дня пронаблюдать за ростом потребления? Вот к примеру сейчас уже судя по монитору 71 420. Т. е. где-то часа за 4 прибавилось еще 10 метров.

НС за выходные сьел более 600метров, хотя никто не пользовался максимум 1 человек. и перестал обробатывать запросы. Кончилась виртуальная память винды.
А сейчас за 3-4 часа опять отьел 300метров. и пользуют его не очень то активно. и неспеша но уверенно растёт...

подключение к аське и всё.

лог вообще отключен. а начлось как то само после выходных.
пожаловались что не открываются сайты и выдается сообщение:
Error occurred! Description: Error reading WWW server response (HTTP Header).

и что интересно сейчас было 418 с копейками прошло 2 запроса и стало 420 с копейками.
а из постоянно активных так и есть 5 соединений.

настройки как гоовриться, один раз настроил и забыл.
если только обновил CM. Все списки отключены. Работает только CM.
Попробую и его отключть и перезапусть.

что то подсказывает что виной этому CM или те библиотеки с которыми он теперь работает.

К сожалению библиотека регулярных выражений PCRE, которую интенсивно использует CM, потребляет много памяти. Причем использует не динамическую память (т.н. кучу), а стэк. Из-за этого разрастается размер стэка, а он так устроен, что может только увеличиваться. Память, занятая под стэк, освобождается только при разрушении потока. PCRE можно скомпилировать так, что будет использоваться динамическая память. Я пробовал это делать, но тогда PCRE работает на порядок медленнее (память из кучи выделяется гораздо медленнее, чем в стэке). Как часто бывает: если пытаешься в чем-то выиграть, тут же выясняется, что в чем-то другом проиграл.
Конкретно у тебя получается, что соединения аськи висят долго. Поэтому потоки долго не разрушаются и держат под своими стэками много памяти.

По поводу расхода памяти могу сообщить, что в следующей версии он будет существенно уменьшен.
По поводу записи в кэш: "Только для Get запросов" можно включить, для ослабления вреда от sessionid можно поискать правила у нас на форуме (кажется в теме про написание правил по запросам).

HandyCache RC3 1.0.0.270

Вчера за полдня HandyCache "сожрал" 388 Mb ОЗУ + 438 своп
см. скриншот:

AdBlockPlus не использую. Суть понятна. Включение опции CM:AdMuncher:"Удаление картинок и др. по URL"
отражается на более сильной загрузке ЦП во время обработки URL-а.
Но память это в таааких объемах не пожирает 

mai62, когда выложите следующую версию?
Надо полагать, много пользователей попало на "утечку памяти"
при обновлении на HandyCache RC3 1.0.0.270.

Когда Вы планируете выпустить переписанную версию 2.0 ?
(примерные сроки - конец 2010 года, 2011 год)

Подтверждаю всё выше написанное. Точь в точь такое поведение. Легче стало при выключенном RAM-кэше. (за сутки скушал только два десятка ОЗУ) Если нужно могу записывать данные. (А то память-то у меня человеческая, ещё))))

Висят соединения строками в мониторе HC (точно помню мучался в бете, сейчас такого вроде нет), а сами соединения в ОС не висят. (юзал TCPView)

nickston, посмотрите мои недавние посты (через мой профиль) про Win7+HC+кэш+I/O приоритет. Может и Вам поможет описанное решение. (У меня комп включён 24/7, тоже)

Все замеры делал при 0 подключениях.
Обращал внимание на HC когда Win7 предлагал убить его по причине прожорливости ОЗУ (не менее 4-5 дней работы HC)

mail62, прокомментируйте, пожалуйста скриншот:

 смущает число 353868

Почему так много: Virtual Size = 881Mб (смотрел в Process Explorer) (я понимаю, что это не реально занимаемый объём ОЗУ)

настаивать на соединениях не буду (просто было похоже)
но вот какая интересная статистика:
вчера когда об этом писал ВАП был 300 на 600 сейчас уже 400 на 800.
при этом активных соединений у меня всегда висит одно от аськи  и сейчас одна закачка на 200 мб, и вчера
3 штуки по 200. что говорит о том что с активными соединениями в данный момент не связано никак, что процесс просто зависит от времени.
вчера правда скриншот не делал, с сегодняшнего дня начну делать как наберу побольше статистика отпишу (если что надо смотреть мерить скажите)

рам кеш всего 5 мб вроде не страшная цифра что бы его отключить, (ни 5 мб не жалко ни проц у меня не грузиться больше 10 процентов обычно)
винда у меня хп могу поменять приоритет для хк но смысла опять таки не вижу: 1) проц не загружен особо ресурсов урывать не у кого 2) каждый раз в ручную его менять не охота
памяти у меня всего 2 гб при этом с учетом того что хк ее постепенно отжирает то дело доходит до нехорошего

win7 не мой вариант (у меня ноут и с дровами проблема) io прикольно, но переживу
эффект может и будет заметен, но скорость 2 мегабита не такая высокая скорость, и менять вручную приоритеты не имею желания

Половину расхода памяти дает Content Master. В самом Content Master по моим наблюдениям больше других расходуют память правила AdMuncher.

itt, используйте возможности ОС — "Планировщик заданий".
P.S. HC сам не течёт, смотрите что к нему цепляется: всякие ВКонтакте саверы, Firewall/Antivirus…