+  HandyCache форум
|-+  Главная категория» Новые предложения» Как улучшить производительность НС ?
Имя пользователя:
Пароль:
Страниц: [1]   Вниз
  Отправить эту тему    Печать  
Автор Тема: Как улучшить производительность НС ?  (Прочитано 5156 раз)
0 Пользователей и 1 Гость смотрят эту тему.
alex10e100
Beta tester
*****

Репутация: +0/-0
Offline Offline

Сообщений: 26


« : 26 мая 2013, 15:27:23 »

Как улучшить производительность НС ?
  На форуме есть темы авторы которых сообщают об использовании нескольких экземпляров НС с общим кэшем, на сервере или на отдельной машине.
При таком использовании могут возникать разные колизии с использованием общего кэша.
Скажем: одновременные запросы разных НС на запись одних и тех же файлов-папок; одновременные запросы одного и того же сайта с динамическим содержимым кагда в кэше может оказаться информация не та которую запросил первый обратившийся к сайту. и т.д.
Есть предложение:
Разрешить в обоих наборах кэшей, не один, а несколько кэшей для чтения, в общем случае не ограниченное их число устанавливаемое в параметрах.
И тогда можно организовать следующий алгоритм работы нескольких экземпляров НС с одним "ПсевдоОбщиМ" кэшем.
Каждый Экземпляр НС имеет свой каталог для основного кэша и имеет доступ в режиме только чтения к каталогам остальных зкземпляров НС. Тогда при запросе клиента к НС он сначала ищёт в своём кэше, если не находит, то обращается к кэшам остальных НС и только если там нет нужного контента, только тогда шлёт запрос в сеть. Улыбка
Кто что скажет по моему предложению?  Отлично!
p.s.
И совсем хорошо размещать все эти кэши на разных физических дисках, так как для HDD количество операций ввода вывода вероятно не больше сотни в секунду. Отлично!
« Последнее редактирование: 26 мая 2013, 15:37:37 от alex10e100 » Сообщить модератору   Записан

Alex
mai62
Автор HC
*****

Репутация: +226/-4
Offline Offline

Сообщений: 6383


« Ответ #1 : 27 мая 2013, 01:16:16 »

Есть две папки кэша, из которых могут браться данные. Я плохо представляю ситуацию когда двух папок кэша мало. К тому же увеличение количества папок приведет к увеличению времени поиска файлов в кэше и Вы вместо ускорения получите замедление.
Сообщить модератору   Записан
alex10e100
Beta tester
*****

Репутация: +0/-0
Offline Offline

Сообщений: 26


« Ответ #2 : 27 мая 2013, 02:47:53 »

Имею ввиду тот случай когда запущено несколько экземпляров НС и они обращаются к отдельной машине где находится КЭШи их всех.
Тогда для экз НС A кэш 1 это запись/чтение, а кэши 2,3,4,5 и т.д. только чтение,
         для экз НС Б кэш 2 это запись/чтение, а кэши 1,3,4,5 и т.д. только чтение,
         для экз НС В кэш 3 это запись/чтение, а кэши 1,2,4,5 и т.д. только чтение...
При этом сначала экз НС обращается к кэшу запись/чтение и только потом к остальным кэшам.
И если физически все кэши 1,2,3,4,5 расположить ёще и на разных дисках, то производительность при обслуживании нескольких сотен клиентов должна получится высокой.
ИМХО.
Сообщить модератору   Записан

Alex
LordMerlin
Старожил
****

Репутация: +12/-8
Offline Offline

Сообщений: 488


« Ответ #3 : 27 мая 2013, 10:53:46 »

Бред.
У вас диски не справятся, это раз, и во вторых лаг обращения к файлу по сети будет больше, чем дождаться скачивания с инета.
Лучше сделайте 1 комп проксиком для всех, толку в разы больше.
Сообщить модератору   Записан
alex10e100
Beta tester
*****

Репутация: +0/-0
Offline Offline

Сообщений: 26


« Ответ #4 : 27 мая 2013, 13:00:56 »

Бред.
У вас диски не справятся, это раз, и во вторых лаг обращения к файлу по сети будет больше, чем дождаться скачивания с инета.
Лучше сделайте 1 комп проксиком для всех, толку в разы больше.
1.Диски справятся, так как обращение к ним будет идти почти одновременно, пропускной способности каналов DMA, даже на паршивых мат.платах, более чем достаточно.
канал с интетом 100мбит/с реальный download и того меньше, пинги меньше 20мсек не видел.
2.Локальная сеть от сервера 1Gb, пинг меньше 1мс.
3.В нек.уч.заведениях, по такой схеме на каждой локальной машине по экземпляру НС и единственный кэш на виндовом шлюзе, (типа НС бесплатно) и работают.
 Кстати здесь на форуме о такой схеме уже писали, про единственный кэш. Я же спрашиваю по сути о наборе независимых кэшей, на одной машине  и разных винтах.
P.S.
Одна линия PCIe имеет пропускную способность 2 Гигабит/сек в одну сторону, то есть 250Мбайт/сек. Контоллер SATA редко имеет подключение меньше чем по 4 линиям. Итого 1000 МегаБайт/сек. Так что пропускной способности от контроллера до оперативной памяти хватает на одновременное обращение к 10 дискам,(почти хватает) и если учесть, что к каждому диску будет обращаться только 2 экземпляра НС (один чтение/запись, другой только чтение), то должно работать. Улыбка
 Ещё мнения ? Читай доки!
« Последнее редактирование: 27 мая 2013, 13:43:42 от alex10e100 » Сообщить модератору   Записан

Alex
LordMerlin
Старожил
****

Репутация: +12/-8
Offline Offline

Сообщений: 488


« Ответ #5 : 28 мая 2013, 09:12:53 »

Простите в каком из моих слов вы поняли что идет разговор о линейной скорости чтения?
Вообще то вчитавшись и подумав, вы поймете что речь шла о скорости произвольного доступа. Я почти уверен что там стоит обычный САТА у которого ИОПС ну никакой, и вот с него еще по сети будут читать и не дай бог писать толпа клиентов, там такой рандом будет что у него головы отвалятся (утрирую) через пол-года.
И уж если у вас такой быстрый инет то темболее, лаг диска наложеный на тормоза системы дадут большую задержку в получении данных чем вы напрямую загрузите.
При вашей схеме кеш надо на ССД, ибо быстро и нестрашно потому как там у вас чтение, либо в РАМ диск складывать.
Сообщить модератору   Записан
alex10e100
Beta tester
*****

Репутация: +0/-0
Offline Offline

Сообщений: 26


« Ответ #6 : 28 мая 2013, 13:07:41 »

Простите в каком из моих слов вы поняли что идет разговор о линейной скорости чтения?
Вообще то вчитавшись и подумав, вы поймете что речь шла о скорости произвольного доступа. Я почти уверен что там стоит обычный САТА у которого ИОПС ну никакой, и вот с него еще по сети будут читать и не дай бог писать толпа клиентов, там такой рандом будет что у него головы отвалятся (утрирую) через пол-года.
И уж если у вас такой быстрый инет то темболее, лаг диска наложеный на тормоза системы дадут большую задержку в получении данных чем вы напрямую загрузите.
При вашей схеме кеш надо на ССД, ибо быстро и нестрашно потому как там у вас чтение, либо в РАМ диск складывать.
   Я  был не точен. :Улыбка
Имея по 100МегаБайт линейной скорости чтения с каждого винта (SATA), естественно при случайном доступе скажем блоками по 4 КилоБайта, мы вероятно получим не больше 2Мб на чтение и 3-х Мб на запись.
Для примера возьмём 2Мб умножим на 5ть винтов и получим 10Мегабайт в секунду произвольных записей/чтения. Что в целом равняется заявленной скорости внешней сети, реальная меньше намного.
Что касается SSD или RAM дисков, абсолютно согласен, но железо не выбирают, не приходится.
В качестве шлюза, довольно стврый IBM сервак на двух двух головых ксеонах, 8Гб оперативки, Правда вот винты сказёвые десятитысячники по 36 гигов, зато восемь штук.
Итого имеют...
Шлюз на W2k3, 200 слишним компов в основном старье, попадаются даже пни 4, точка hotspot  с хрен его знает сколькими клиентами. Внешний трафик от 11(выходные) до 82(рекорд) ГигоБайт за сутки, внутрений трафик по сумме данных нескольких НС в среднем за сутки 100-110 Гиг. Так что имеем почти трёх кратную экономию, при тарифе для юр.лиц это много, И суммарный кэш на 5ти винтах в районе 100 Гигов.  Читай доки!
« Последнее редактирование: 28 мая 2013, 13:22:03 от alex10e100 » Сообщить модератору   Записан

Alex
LordMerlin
Старожил
****

Репутация: +12/-8
Offline Offline

Сообщений: 488


« Ответ #7 : 28 мая 2013, 14:02:07 »

Мдяя. При таких объемах и потребностях грех на Хэнди жаловаться. Вам туда надо Линуксовый проксик ставить и тонко-тонко тюнить.
Сообщить модератору   Записан
alex10e100
Beta tester
*****

Репутация: +0/-0
Offline Offline

Сообщений: 26


« Ответ #8 : 28 мая 2013, 16:31:48 »

Мдяя. При таких объемах и потребностях грех на Хэнди жаловаться. Вам туда надо Линуксовый проксик ставить и тонко-тонко тюнить.
   Не спорю! Но надо пояснить... Веселый
1.Держать хорошего Линуксового админа им средства не позволяют (бюджетная контора).
2.Объяснить почему надо снести, лицензионную серверную винду( и в за пару дней поднять и настроить сервак скажем на CentOS), а следовательно, остановить доступ в инет для хомячков, задача непосильная и вою будет на весь областной центр.
3. И есть не сразу очевидная вещь! Пользователи ХОМЯЧКИ... А в качестве клиентов виндовые машины почти сплошь XPSP3Home(лицензия блин), и на всех касперов или NIS не напасёшься. Как сканировать на вирусы и угрозы?! Из приемлемых по цене, в этих условиях, только Dr.web для серверов LINUX vis SMB и то с ограниченным функционалом и довольно тормознутый.
   В итоге имеем шлюз, на W2k3 с Нортоном для проверки трафика, да майкрасофтовский антивирус на клиентских машинах. Читай доки!
  Ваше мнение? Шокирован
p.s.
 На НС никто не жалуется! Наоборот. Хочеться улучшить. Да и админить его попроще для студетов, особо умных... (Лезут блин).
« Последнее редактирование: 28 мая 2013, 16:37:31 от alex10e100 » Сообщить модератору   Записан

Alex
Страниц: [1]   Вверх
  Отправить эту тему    Печать  

 
Перейти в: