+  HandyCache форум
|-+  Главная категория» Новые предложения» Индексирование кэша
Имя пользователя:
Пароль:
Страниц: 1 ... 3 4 [5] 6   Вниз
« предыдущая тема следующая тема »
  Отправить эту тему    Печать  
Автор Тема: Индексирование кэша  (Прочитано 77345 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #80 : 27 марта 2007, 10:40:52 »
Цитата: DenZzz от 27 марта 2007, 09:00:22
А с чего вы взяли, что HC сейчас определяет типы файлов по их URL ?  Подмигивающий
Вы ошибаетесь! HC определяет известные ему типы файлов по сигнатурам...
Об этом и речи не было. Это как раз понятно. Речь о другом. Хорошо бы дать пользователю возможность использовать не только URL, а и тип данных, указанный в Content-Type ответа сервера и/или определенный НС самостоятельно по сигнатуре, для задания правил кэширования.
Цитировать
Мы и сейчас можем смело кэшировать и читать из кэша аватары на этом форуме!
Несомненно. И такое правило давно стоит и работает. Но это только на данном форуме. Речь же идет об универсальности. Ты можешь сейчас, к примеру, задать правило: Не обновлять везде и всегда контент типа "рисунки"? Нет. Любой рисунок с нестандартным URL останется неохваченным.
« Последнее редактирование: 27 марта 2007, 11:29:23 от Михаил » Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #81 : 27 марта 2007, 11:49:50 »
В правилах мы анализируем URL запроса.
Content-Type содержится в ответе сервера.
Чтобы получить ответ, надо, как минимум, послать запрос.
Значит, в списке Не обновлять мы не можем анализировать Content-Type.
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621
« Ответ #82 : 27 марта 2007, 12:00:50 »
Еще вариант - когда файл уже есть в кэше - сохранять Content-Type в индексе или вытаскивать на лету по сигнатурам. В списки Не обновлять и Только из кеша надо придумать синтаксис для таких правил.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #83 : 27 марта 2007, 12:20:22 »
Михаил
Сергей

 Стоп-оффтоп!

Управление загрузкой по заголовкам обсуждается в отдельной теме!
И реализовывать анализ заголовков, ИМХО, лучше отдельным списком и безотносительно к наличию/отсутствию индексов!
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #84 : 27 марта 2007, 13:18:40 »
Цитата: DenZzz от 27 марта 2007, 12:20:22
Управление загрузкой по заголовкам обсуждается в отдельной теме!
И реализовывать анализ заголовков, ИМХО, лучше отдельным списком и безотносительно к наличию/отсутствию индексов!
Речь о необходимости хранить в индексе тип данных. И не обязательно из заголовка, можно и самостоятельно определенный по сигнатуре.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #85 : 27 марта 2007, 13:27:08 »
Цитата: Михаил от 27 марта 2007, 13:18:40
Речь о необходимости хранить в индексе тип данных. И не обязательно из заголовка, можно и самостоятельно определенный по сигнатуре.

Кроме индекса, есть еще несколько вариантов, где можно взять/хранить "Content-Type" для анализа и вовсе необязательно хранить их где-то отдельно для абсолютно всех файлов в кэше!
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #86 : 27 марта 2007, 16:05:34 »
Цитата: DenZzz от 27 марта 2007, 13:27:08
Кроме индекса, есть еще несколько вариантов, где можно взять/хранить "Content-Type" для анализа и вовсе необязательно хранить их где-то отдельно для абсолютно всех файлов в кэше!
Да где ты такие цитаты берешь: "для абсолютно всех файлов в кэше"?! Об этом речи нет. Предлагается иметь в индексе поле для сохранения информации о типе данных в необходимых нам случаях (тип данных может быть любым независимо от умения распознавать его НС по сигнатурам). Необходимо сохранить - заполняем поле, нет необходимости - нет поля.
Почти каждое планируемое поле в конкретной записи индекса может быть, может отсутствовать. К примеру, нет необходимости хранить "Location" в конкретной записи индекса - не храним. Так же и с типом данных.
Ладно... Проехали.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #87 : 27 марта 2007, 16:28:28 »
Цитата: Михаил от 27 марта 2007, 16:05:34
Да где ты такие цитаты берешь: "для абсолютно всех файлов в кэше"?! Об этом речи нет.

Здесь:  Читай доки!
Цитата: Михаил от 26 марта 2007, 23:50:33
Цитировать
Может тогда для всех хранить?
На мой взгляд, да, для всех.

Ладно, проехали - "для всех" не храним, а только "в необходимых нам случаях"...
« Последнее редактирование: 27 марта 2007, 16:35:10 от DenZzz » Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #88 : 27 марта 2007, 18:11:20 »
DenZzz
Цитата: Nike от 26 марта 2007, 22:14:03
а почему контент тайп хранить только для неизвестных типов? А если какой-то извращуга передаст .gif с контенттайпом текст? Мало ли какие извращенцы встречаются. Может тогда для всех хранить?
Речь шла не о всех файлах в кэше, а о всех типах данных Подмигивающий

Но я о другом. Навеянная недавними постами по организации структуры кэша в целях упрощения работы с ним вручную, пришла мысль хранить файлы индексов не в каталогах с файлами кэша, а в отдельном. Например, каталог "Cache" будет состоять из "Files" и "Metadata". Тогда индексы не будут мешаться и мозолить глаза любителям ручной правки в кэше. Правда, обидно, что никто до сих пор не обозначил конкретные случаи, цели и преимущества ручной правки кэша. Если кто может, дайте, плиз, такую информацию.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #89 : 27 марта 2007, 19:27:45 »
Цитата: Михаил от 27 марта 2007, 18:11:20
каталог "Cache" будет состоять из "Files" и "Metadata". Тогда индексы не будут мешаться и мозолить глаза любителям ручной правки в кэше.

Проблема не в том, что индексы "будут мешаться и мозолить глаза" при ручной правке кэша, а в том, что их придется постоянно синхронизировать с поправленным вручную кэшем!
 :Улыбка
Чем дальше мы обсуждаем эту тему, тем больше я склоняюсь к мысли, что индекс нужно использовать только для хранения дополнительных метаданных для некоторых (не всех!) файлов кэша. А проверку наличия файла в кэше, критериев свежести и т.п. осуществлять обращением к диску, как сейчас. Тогда последствия рассинхронизации индекса с кэшем не будут столь критичны...
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #90 : 27 марта 2007, 21:04:13 »
Предложенное выше (п.2), имхо, решает проблему синхронизации. Для тех, кому актуально править кэш вручную, все остается как есть (обращение к диску). Те, у кого опция отключена, будут использовать возможности индексов на полную катушку. Выиграют и те, и другие.

PS 1. Как предлагаешь ты, проблема синхронизации ведь все равно остается.
    2. Она есть уже и сейчас с RAM-кэшем.
« Последнее редактирование: 27 марта 2007, 21:14:23 от Михаил » Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #91 : 27 марта 2007, 23:33:59 »
Цитата: Михаил от 27 марта 2007, 21:04:13
PS 1. Как предлагаешь ты, проблема синхронизации ведь все равно остается.

Уже озвучил свое мнение выше и оно частично совпадает с твоим п.2, но отличие в том, что этот вариант я вижу как базовое и единственное компромиссное решение для сглаживания последствий рассинхронизации индекса в результате ручной правки кэша, переноса/слияния кэшей, системных сбоев, ошибок HC и т.д.
В этом случае рассинхронизация возможна, но не так критична, т.к. мы изначально не собираемся хранить в индексе данные обо всех файлах в кэше и проверять их наличие, даты и т.п. только по индексу.

Цитировать
2. Она есть уже и сейчас с RAM-кэшем.

С RAM-кэшем все просто - его очистка решает все проблемы и эта процедура не критична, т.к. не требуется ресурсоемких процедур его синхронизации и восстановления - все необходимые данные есть в кэше на диске и будут оттуда считаны в RAM-кэш при следующем запросе файла!
А вот индекс в случае порчи полностью восстановить "с нуля" будет невозможно, т.к. некоторые метаданные больше нигде на диске не хранятся!
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513
« Ответ #92 : 28 марта 2007, 00:36:45 »
DenZzz
Тогда предлагаю перейти от изложения абстрактной необходимости ручной правки кэша к описанию реального наполнения этой задачи. Мне, к примеру, видится здесь много неясных вопросов.
Сообщить модератору   Записан
Дем
Постоялец
***

Репутация: +6/-3
Offline Offline

Сообщений: 167
« Ответ #93 : 28 марта 2007, 13:38:52 »
Цитировать
А вот индекс в случае порчи полностью восстановить "с нуля" будет невозможно, т.к. некоторые метаданные больше нигде на диске не хранятся!
А что делать? Сейчас мы без этих данных живём ведь как-то?
Сообщить модератору   Записан
romantk
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 20


Сначала подумай, а потом - промолчи.
« Ответ #94 : 06 апреля 2007, 16:32:57 »
интересно-можно ли сохранить-записать кеш HC на compact disk (на всякий случай) Улыбка ,а потом использовать его (к примеру через месяц) или кеш устареет?
Сообщить модератору   Записан
Out...Time out
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #95 : 06 апреля 2007, 21:34:36 »
Цитата: romantk от 06 апреля 2007, 16:32:57
интересно-можно ли сохранить-записать кеш HC на compact disk (на всякий случай) Улыбка ,а потом использовать его (к примеру через месяц) или кеш устареет?

Можно. Устареет или нет - можешь сам настроить с помощью "критериев свежести" в списке "Не обновлять"! Если контент на сайте статический (картинки и т.п.), то он долго не устареет...
Сообщить модератору   Записан
sergo
Постоялец
***

Репутация: +5/-1
Offline Offline

Сообщений: 112
« Ответ #96 : 26 февраля 2008, 22:37:52 »
тема кажется чуть ли не главной для далтьнейшего прогресса handycash в области кэширования. она так и умерла тогда? в todo этого не вижу
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589
« Ответ #97 : 26 февраля 2008, 23:00:06 »
Цитата: sergo от 26 февраля 2008, 22:37:52
тема кажется чуть ли не главной для далтьнейшего прогресса handycash в области кэширования.

Есть разные мнения на этот счет (см. выше)...

Цитировать
в todo этого не вижу

Плохо смотрел!
Сообщить модератору   Записан
sergo
Постоялец
***

Репутация: +5/-1
Offline Offline

Сообщений: 112
« Ответ #98 : 26 февраля 2008, 23:42:58 »
Цитата: DenZzz от 26 февраля 2008, 23:00:06
Есть разные мнения на этот счет (см. выше)...
ни одного мнения за точ что это понизит качество кэширования не вижу. абсолютно все в поддержку того что эффективность увеличится. прозябает просто предложение тобой же кстати и инициированое уж не знаю почему нельзя делать его опциональное. как имя и тип файла узнавать как докачивать, как узнавать один ресурс в различной кодировке, сжатии, на разных языках как использовать заголовки кэширования http. длеать то что другие кэши от рождения умеют и должны делать?
здесь кажется недоработка программы. в основном своем деле кэшировании.
« Последнее редактирование: 26 февраля 2008, 23:47:43 от sergo » Сообщить модератору   Записан
key939
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5
« Ответ #99 : 24 мая 2008, 23:06:47 »
интересно какие нибудь работы ведутся по этой теме или только теоретические споры в этой ветке?
Сообщить модератору   Записан
Страниц: 1 ... 3 4 [5] 6   Вверх
  Отправить эту тему    Печать  

« предыдущая тема следующая тема »
 
Перейти в:  



Powered by SMF 1.1.3 SMF © 2006, Simple Machines LLC
Joomla Bridge by JoomlaHacks.com