+  HandyCache форум
|-+  Главная категория» Общие вопросы» Особенности хранения кэша на диске (NTFS-сжатие, размер кластера, фрагментация и т.д.)
Имя пользователя:
Пароль:
Страниц: [1] 2 3  Все   Вниз
« предыдущая тема следующая тема »
  Отправить эту тему    Печать  
Автор Тема: Особенности хранения кэша на диске (NTFS-сжатие, размер кластера, фрагментация и т.д.)  (Прочитано 34091 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Madsly
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 4
« : 23 июня 2007, 17:24:03 »
Вот мои параметры папки:
size 3.97G
size of disk 4,73G
326200 files, 174460 folders
---

Вероятно там больше всего картинок, которые просто не жмутся и эффект нулевой.

HandyCache делает отчистку только по ресурсам целиком, а не по отдельным файлам.

Стоит ли включать ntfs compress в винде?
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #1 : 23 июня 2007, 22:28:26 »
Цитата: Madsly от 23 июня 2007, 17:24:03
Стоит ли включать ntfs compress в винде?

Было много разных мнений, но однозначного ответа на этот вопрос нет...

Кто включил сжатие, утверждают, что экономится 15-20% дискового пространства без заметного снижения скорости работы с кэшем. Хотя теоретически, процедура компрессии/декомпрессии должна потреблять больше ресурсов, чем без ее использования...

Цитировать
Вероятно там больше всего картинок, которые просто не жмутся и эффект нулевой.

В том и суть! Многие файлы несжимаемые, а процедура компрессии будет работать впустую, потребляя ресурсы...
Поэтому в ToDo даже было внесено предложение о выборочной установке средствами HC атрибута сжатия только для определенных файлов:
Цитировать
Выставлять для (текстовых) данных, записываемых в кэш, атрибут "Compressed", если файловая система NTFS (опционально). В качестве критерия использовать расширения файлов и/или инфу "Content-Type"
Возможно, это будет реализовано в будущем...

Приличную экономию дискового пространства еще можно получить на остатках кластеров, разместив кэш на диске с размером кластера 512 или 1024 байт, т.к. многие файлы в кэше имеют размер, меньший стандартного размера кластера в 4 кб.


Цитировать
HandyCache делает отчистку только по ресурсам целиком, а не по отдельным файлам.

Это неверно! HC производит очистку "по отдельным файлам"!
Сообщить модератору   Записан
Madsly
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 4
« Ответ #2 : 23 июня 2007, 23:17:38 »
Это неверно! HC производит очистку "по отдельным файлам"!
Возможно я спутал с удалением директорий меньше указанного размера. Ведь в списках не выводятся файлы.. только директории.

Хотел поудалять много мелких файлов чтобы уменьшить общее кол-во и небольшую экономию в размере.

Да пожалуй экономия места от NTFS сжатия будет низкая... меня больше не размер беспокоит а крайне медленная загрузка файлов, когда в автономном режиме в maxthon грузится 100-200 страниц... возможно это баги браузера... да и файлов грузится крайне много, скорость от фрагментации падает.
Сообщить модератору   Записан
mzr
Новичок
*

Репутация: +1/-0
Offline Offline

Сообщений: 17
« Ответ #3 : 27 июня 2007, 19:01:44 »
Виртуальный диск TrueCrypt
Size: 4500,0  MB
Used: 3815,1  MB
Free: 684,9  MB
512 Bytes per Cluster (NTFS)


Size: 3302,1  MB
Allocated: 3225,8  MB
Files: 344566
Wasted: 83,3  MB
Compr: 2,3%

Почти все занимают jpg, gif, png.
Сообщить модератору   Записан
Дем
Постоялец
***

Репутация: +6/-3
Offline Offline

Сообщений: 167
« Ответ #4 : 28 июня 2007, 16:23:50 »
Собственно, сжатие можно включать не на весь кеш, а для конкретных папок.
В которые попадает много легкожмушегося контента, например форум или ещё что.
А при желании сжать ещё сильнее - можно и гзипом по кешу пройтись
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #5 : 29 июня 2007, 10:34:17 »
Цитата: Дем от 28 июня 2007, 16:23:50
можно и гзипом по кешу пройтись

А это неплохая идея  Отлично!
Можно написать внешнюю утилитку, которая бы искала текстовые файлы и сжимала их в gz.
Но только не всегда можно достоверно распознать тип файла.
Лучше конечно реализовать это как я предлагал - чтобы HC сам выставлял атрибут сжатый для данных с типом text/html. По заголовкам сервера это узнать легче.
Тогда бы не пришлось сжимать все подряд. А то итак скорость доступа к кэшу хромает.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #6 : 29 июня 2007, 11:56:29 »
Цитата: Сергей от 29 июня 2007, 10:34:17
чтобы HC сам выставлял атрибут сжатый для данных с типом text/html.

Только за исключением уже сжатых текстовых данных, т.е. с gzip (deflate и т.д.) в "Content-Encoding", т.к. повторно сжимать уже сжатое не имеет смысла...


P.S. А кто-нибудь анализировал в своем кэше, сколько процентов сайтов не применяют GZIP-сжатие? И какой объем в кэше занимают несжатые тексты? Стоит ли вообще овчинка с NTFS-сжатием выделки?

P.P.S. Видимо, более заметный выигрыш от сжатия кэша получат пользователи Проксомитрона и прочих сетевых прог, разжимающих трафик перед отдачей HC...
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #7 : 29 июня 2007, 17:26:23 »
Забыл сказать -  желательно чтобы HC расжимал gzip данные и потом ставил аттрибут сжатия.
Так намного удобнее копаться в кэше Улыбка
Сообщить модератору   Записан
Дем
Постоялец
***

Репутация: +6/-3
Offline Offline

Сообщений: 167
« Ответ #8 : 30 июня 2007, 14:11:17 »
Цитировать
Но только не всегда можно достоверно распознать тип файла.
Ну тогда можно попробовать их сжать. Если эффект есть - то сохранять Улыбка
Цитировать
чтобы HC сам выставлял атрибут сжатый для данных с типом text/html.
Это да, интересное предложение. Хотя экономия места не очень большая - например 333Мб хтмлок ужались всего в 146М. гзип ужимает раза в два лучше.
Цитировать
Забыл сказать -  желательно чтобы HC расжимал gzip данные и потом ставил аттрибут сжатия.
А мне лучше наоборот - чтобы он в гзип зажимал Улыбка
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #9 : 30 июня 2007, 15:50:50 »
Цитата: Дем от 30 июня 2007, 14:11:17
можно попробовать их сжать. Если эффект есть - то сохранять
Да больно уж  эта операция (сжать) ресурсоёмкая (используется в большинстве тестов производительности системы), и если только ради "попробовать" - не очень как-то...
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Дем
Постоялец
***

Репутация: +6/-3
Offline Offline

Сообщений: 167
« Ответ #10 : 01 июля 2007, 13:41:07 »
Ну, во-первых, гзип - "нетяжёлый" алгоритм, а во-вторых - если этим будет заниматься какая-нибуть прога в фоновом режиме - мешать не будет...
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #11 : 01 июля 2007, 14:32:25 »
Цитата: Дем от 01 июля 2007, 13:41:07
гзип - "нетяжёлый" алгоритм
По сравнению с чем "нетяжёлый"? 7Z, RAR? Непонимаю При чём здесь это - сравнивать-то приходится с отсутствием оного ваще, а в таком случае как раз - "тяжёлый" Показывает язык
Цитировать
если этим будет заниматься какая-нибуть прога
Ну а тогда при чём здесь HC? Смущен Да и как в таком случае синхронизировать доступ к файлам?
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Кирилл
Beta tester
*****

Репутация: +5/-1
Offline Offline

Сообщений: 124
« Ответ #12 : 01 июля 2007, 15:19:29 »
NothingAnother
Ну gzip вполне позволяет сжимать текстовый трафик в реальном времени и как опция для держателей персонального кеша (особенно на FAT32 на флешке) это будет полезно.
Но у распакованных файлов куча преимуществ в плане просмотра другими программами и поиска по содеримому.
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #13 : 01 июля 2007, 18:53:27 »
Цитата: Кирилл от 01 июля 2007, 15:19:29
gzip вполне позволяет сжимать текстовый трафик в реальном времени
Вообще-то, GZip сам по себе не может позволить/не позволить - это определяется именно ресурсами, которые система может под это выделить (что в свою очередь зависит как от харда, так и от софта, выполняющегося в это же время). Так что, если у кого-то доп. нагрузка (даже и при более эффективных алгоритмах сжатия) будет просто незаметной, то у кого-то напротив - заставит систему поразмышлять. Поэтому, могу лишь повторить: если это только ради "попробовать" - не очень как-то...
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #14 : 02 июля 2007, 11:41:05 »
Цитата: Дем от 30 июня 2007, 14:11:17
Ну тогда можно попробовать их сжать. Если эффект есть - то сохранять Улыбка
Мы не можем сжимать все подряд. Браузер нас не поймет Грустный
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #15 : 02 июля 2007, 12:14:10 »
Цитата: Сергей от 02 июля 2007, 11:41:05
Мы не можем сжимать все подряд. Браузер нас не поймет
Ну, почему же - это решаемо, другое дело - а оно надо?
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #16 : 02 июля 2007, 13:14:06 »
Цитата: NothingAnother от 02 июля 2007, 12:14:10
Ну, почему же - это решаемо, другое дело - а оно надо?

Мне не надо. GZip в кэше только мешает.
А вот избирательное сжатие NTFS позволило бы эффективнее расходовать место на диске без потери производительности.
Сообщить модератору   Записан
Rick
Администратор
*****

Репутация: +15/-1
Offline Offline

Сообщений: 868


WWW
« Ответ #17 : 02 июля 2007, 13:19:34 »
Цитата: Сергей от 02 июля 2007, 13:14:06
сжатие NTFS позволило бы эффективнее расходовать место на диске без потери производительности.
За счет энергии космоса?
Сообщить модератору   Записан
NothingAnother
Beta tester
*****

Репутация: +7/-2
Offline Offline

Сообщений: 434

Spoiler
« Ответ #18 : 02 июля 2007, 13:21:22 »
Цитата: Сергей от 02 июля 2007, 13:14:06
сжатие NTFS позволило бы эффективнее расходовать место на диске без потери производительности
Корректнее было бы сказать - "без ощутимой потери производительности", да то - не у каждого юзера...
Сообщить модератору   Записан
Мы тоже не всего читали Шнитке!..
© В. Вишневский
Rick
Администратор
*****

Репутация: +15/-1
Offline Offline

Сообщений: 868


WWW
« Ответ #19 : 02 июля 2007, 13:36:52 »
Сжатие _всегда_ требует ресурсов системы. Одно дело файл читается с диска и сразу отдается клиенту, другое - файл читается в память, потом происходит его разархивирование (промежуточныей результат так же помещается в память) и лишь затем передается клиенту.
Лично я негативно отношусь к сжатию. Большинство файлов в кэше - мелкие файлики немалая часть из которых несжимаема (т.е. их сжатие - пустая трата системных ресурсов). На мой взгляд оптимальный шаг - выделить для кэша отдельный раздел и отформатировать его с размером кластера 512B.
Подчеркиваю: это лично мое мнение.
Сообщить модератору   Записан
Страниц: [1] 2 3  Все   Вверх
  Отправить эту тему    Печать  

« предыдущая тема следующая тема »
 
Перейти в:  



Powered by SMF 1.1.3 SMF © 2006, Simple Machines LLC
Joomla Bridge by JoomlaHacks.com