Как закешировать много мелких файлов на диск?

Question

[Виталий Кияшко]

Ситуация. Есть сервис для просмотра видео. Трафик где-то 6 гбит/с. Контент - файлы размером до 4 мб.
Есть 5 промежуточных серверов которые пропускают через себя трафик с основного хранилища. Трафик около 1.5 гбит/с. На промежуточных серверах стоят ssd в рейд 0, ёмкость около 1.7 Тб на каждом.
Задача - закешировать часть контента.
Проблема. При одновременной записи в кеш и чтение с кеша начинаются тормоза при просмотре видео с этого промежуточного сервера.
Вопрос. Как организовать кеш на дисках чтобы тормозов не было? Замечено что тормоза появляются только при одновременной записи и чтении с диска. Если только писать на диск или только читать с диска тормозов при просмотре нет.
Как решить эту задачу?
Тормозов нет так же если использовать varnish с кешем в ram. Но это не вариант. Нужен именно кеш на дисках.
Какое еще может быть решение?

Comments

[Иван Филатов]

RAID 0 пробовали?

[Александр]

А RAID какой? Что с аппаратным кешем у рейд? Если софтовый, то лучше отказаться от RAID в сторону отдельных накопителей.
Ещё можно попробовать увеличить время кеширования.

[Виталий Кияшко]

Иван Филатов, ssd в raid 0 аппаратный.
Iowait не могут сказать так как владелец не жалеет больше експерементов. Нашел показатели скорости чтения записи с Кеша nginx вот так

[Виталий Кияшко]

Александр, рейд 0, не софтовый. Время Кеша ставил 10 дней. На таких скоростях 1 Тб Кеша забиваться через 8 часов. Пробовал кешировать только после того как запросят 8 раз один и тот же файл. Кеш в этом случае заполняется намного медленнее но только сервер захочет одновременно читать с Кеша и писать в кеш появляются тормоза при просмотре

Answer 1

[Владимир Олохтонов]

А насколько высокий iowait на ваших машинках?

Вообще, отвечать с диска — не слишком удачная идея, лучше всего будет держать в памяти второй уровень кэширования, тогда вы сможете отвечать на существенную часть запросов вообще не трогая дисковую подсистему.

Для справки:
SSD latency ~ 1 ms
RAM latency ~ 100 ns
SSD throughout ~ 1Gb/sec
RAM throughout ~ 10Gb/sec

Answer 2

[Виталий Кияшко]

Спасибо за информацию. Сейчас работает varnish с кешем в ram. Но даже с 20gb кеша на 5 серверах даёт выигрыш в трафике около 20 Мбит/с с каждого сервера в лучшем случае. Nginx на файлах выдавал до 120 Мбит/с.

Вопрос как организовать это чтобы часть Кеша была в памяти а часть на диске?