+  HandyCache форум
|-+  Главная категория» Новые предложения» Распределенный кэш
Имя пользователя:
Пароль:
Страниц: 1 [2]  Все   Вниз
  Отправить эту тему    Печать  
Автор Тема: Распределенный кэш  (Прочитано 16622 раз)
0 Пользователей и 1 Гость смотрят эту тему.
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #20 : 28 ноября 2007, 16:21:54 »

Мне кэш не нужен для автономных похождений. Мне он для максимальной степени экономии денег/времени. Подозреваю, не один я такой.

Возможно, но таких меньшинство! Подмигивающий Иначе, правило .* в списке "Запись в кэш" не стало бы самым популярным и программ, подобных "Историку" и "Offline Explorer"-у никогда б не возникло!



DenZzz ты говорил
Цитировать
Но каскад возможен и не в ущерб привату!

Млин, еще раз:
Т.е. если мы доверяем нашему провайдеру-админу, то личные данные условно в безопасности!

Утечка личных данных из каскада прокси возможна только от халатности (или злого умысла) админа сервера! Простые пользователи влиять на этот процесс не могут! Если ты доверяешь своему админу, то твои личные данные в безопасности!

P.S. И закончили это лыко-мочало!
Сообщить модератору   Записан
Сергей
Beta tester
*****

Репутация: +9/-2
Offline Offline

Сообщений: 621



« Ответ #21 : 28 ноября 2007, 16:59:08 »

Осталось продумать как реализовать это дело Улыбка
Сообщить модератору   Записан
Михаил
Gold beta tester
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #22 : 29 ноября 2007, 13:28:08 »

Возможно, но таких меньшинство! Подмигивающий Иначе, правило .* в списке "Запись в кэш" не стало бы самым популярным и программ, подобных "Историку" и "Offline Explorer"-у никогда б не возникло!
Статистики не имею, думаю, ее нет ни у кого. Все относительно. Я, к примеру, полагаю, что юзающих именно оффлайн браузеры меньшинство по сравнению с общим количеством пользователей, кэширующих трафик с помощью той или иной программы.
Правило "." в списке З приват не трогает. Имеют значения правила в списке Б и колонка Исключения в списке З.
Распределенный кэш в плане обеспечения приватности полностью равноценен описанному тобой Варианту2, уже давно применяющемуся в НС. Нареканий по несоблюдению привата при использовании вкладки "Доступ" не видел. То, что эта вкладка сделана в угоду единичному меньшинству, тоже, думаю, нельзя сказать.
В общем, обсуждаемую функциональность добавить можно, имхо, безотносительно к теме обеспечения приватности.
Сообщить модератору   Записан
ivan386
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #23 : 12 октября 2008, 14:40:46 »

Предлагаю организовать некоторую систему P2P в HandyCache.

В локальных сетях скорости обычно не ограничены. Да и трафик бесплатный. Я прелагаю сделать систему кооперативного кеша.

Если файл не изменился но его уже нет в кеше то HandyCache опрашивает поочерёдно извесные ему адреса других HandyCache на наличие этого файла.

Если находит то передает из того HandyCache.
Если нет то берёт напрямую из интернета.
-----------------------------------------------------------------
Минимальная реализация.

1 В условные прокси добавляются адреса других HandyCache. В ручную.
2 В доступ добавляются пользователи которым разрешено только читать из кеша.
3 Последовательный опрос условных прокси при получении от них 404.

Далее.
1 Правила для доступа и запроса.
-----------------------------------------------------------------

Ограничения из опыта P2P.

1 Опрашивать по одному Кешу на файл.
2 Желательно иметь базу хешей (которая пишется при записи в кеш) и по ним запрашивать конкретные данные а не ссылку. TTH можно выбрать с заделом на будушее (скачка больших файлов по частям)
3 Кеш держит постоянный открытый канал с 3мя другими. 3и соседа выбираются автоматически по скорости ответа и передачи данных.
4 В кеше сохраняются адреса всех других кешей для возможности входа в сеть.
5 Для P2P отдельный список фильров (Какие адреса данные можно спрашивать у соседей. Чтобы можно было контроллировать анонимность)
6 Можно реализовать также поддежку DHT.
7 Соседи выдают адреса своих после того как не найдут у себя файла или при входе в сеть.
------------------------------------------------------------------------------
Сообщить модератору   Записан
ivan386
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #24 : 14 октября 2008, 23:43:38 »

Вот так вот думал я поднял тему ан нет. Ну и отлично что кроме  меня уже об этом задумались.

Думаю запрос файла по хешу будет самым эффективным.
1 Сравнением хешей можно будет понять что файлы являются копиями и копию заменить на HardLink для NTFS диков.
2 Сохранение хеша при удалении файла что позволит его в далнейшем восстановить не только из HandyCache сети но и из других сетей.
3 Также поскольку запрос происходит по хешу братский прокси не увидет ссылки откуда грузится файл и данные уже проверенные поскольку вы их уже грузили.

Самая удобная для HandyCache сеть будет Gnutella2. Запрос и передача данных в ней происходит именно по протоколу HTTP. В ней можно тогда и шарить доступное для общественности. Также в Gnutella2 есть обмен источниками. 

HandyCache уже имеет два набора. Осталось во всех правилах добавить дополнительные CheckBox'ы "Разрешить для первого набора" и "Разрешить для второго набора"

Второй набор будет публичным. Туда можно картинки, музыку и видео (flv) писать.

Для часто меняющегося контента не имеет смысла хранить хеш.
Сообщить модератору   Записан
DenZzz
Модератор
*****

Репутация: +179/-11
Offline Offline

Сообщений: 5589



« Ответ #25 : 15 октября 2008, 12:29:23 »

Думаю запрос файла по хешу будет самым эффективным.

Сомневаюсь в этом!

1. Запрос файла по хешу абсолютно не пригоден для поиска файлов, которые ты никогда раньше не качал, но зато качали другие. Тебе придется сначала закачать файл из интернета, затратив на это время и трафик, вместо того, чтобы быстро спросить файл у друга в локалке.

2. Как следствие из п.1: если файл уже был тобой раньше скачан из инета и он не для одноразового использования, то вероятно он был записан тебе в основной кэш, поэтому искать его по хешу в локалке не придется.
Исключая форс-мажор, не могу представить случаи, когда постоянно нужный тебе файл вдруг пропал из твоего основного кэша. Что с ним вдруг стало?
Вообще, постоянно зависеть в этом плане от режима работы других пользователей несколько напрягает и увеличивает время ожидания, поэтому раньше уже звучало предложение копировать к себе в основной кэш файлы, взятые у других пользователей.

3. Хеширование - весьма ресурсозатратная процедура и производить ее придется для каждого скачанного файла, что в итоге снизит производительность не только HC, но всей системы.

Цитировать
Для часто меняющегося контента не имеет смысла хранить хеш.

В эту категорию попадают почти все HTML и даже некоторые картинки. Если исключить еще музыку, фильмы, архивы, софт и игры, т.к. подобного рода контент обычно качается из сети один раз и, как правило, торрент-клиентами или даунлодерами в обход HC, то останутся лишь некоторые картинки, которые по непонятным причинам куда-то пропали из кэша, но это уже частный случай неправильной настройки HC или действий пользователя...

В общем, применимость хеширования в HC вызывает у меня большие сомнения. Это хорошо для пиринговых сетей, но неэффективно для кэширующего прокси-сервера.
Сообщить модератору   Записан
ivan386
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #26 : 15 октября 2008, 16:34:01 »

1. Запрос файла по хешу абсолютно не пригоден для поиска файлов, которые ты никогда раньше не качал, но зато качали другие. Тебе придется сначала закачать файл из интернета, затратив на это время и трафик, вместо того, чтобы быстро спросить файл у друга в локалке.

Мы веть и хотим сделать подобие пиринговой сети. DC без хешей был да вот пришлось ввести поскольку файл портился при частой передаче. А благодаря TTH его стало возможно проверять и восстанавливать. Ну и также качать с нескольких источников.

Хешироваться будет только то что попадает в публичную папку. То что в приватной оно приватно как и для отдачи так и для запроса. При запросе у другого кеша по адресу он возвращает тебе как и файл так и хеш (для этого существует специальный заголовок).

mp3 и видео сделали удобным для просмотра и прослушивания на веб странице благодаря FlashPlayer но они занимают много места на диске. Поэтому их чаще удалять приходится.

Картинки (Тобиш то что меньше 1МБ) наверно стоит хешировать алгоритмом Sha1. Файлы больше 1МБ (Mp3, Fla) уже отдаются по частям тем самым для них уже нужен TTH для проверки частей и восстановления.

HTML и мелкие картинки (определяется по размеру файла в настройках) вообще хешироваться не будут.  Они будут отдаваться только при прямом запросе. И опять же если находятся в публичной папке.

Потом когда инет начнет осваивать технологию Content-Addressable Web (http://open-content.net/specs/draft-jchapweske-caw-03.html) сайт сам будет возвращать хеш файла.
« Последнее редактирование: 15 октября 2008, 16:49:38 от ivan386 » Сообщить модератору   Записан
Страниц: 1 [2]  Все   Вверх
  Отправить эту тему    Печать  

 
Перейти в: