Как оптимизировать новостной сайт на 16000 записей?

Question

[Elena_11]

У клиента есть новостной сайт почти на 16тыс записей (WordPress). Объём данных с каждым годом растёт и уже достиг внушительных размеров (50гб), т.к. каждая статья содержит медиа-файлы (картинки, видео и пр). Как оптимизировать размер такого большого сайта, чтобы он не разрастался в объёмах аки монстр? Уже не хватает квоты тарифа на хостинге, а дальше будет только хуже.

Удалять старые записи и медиа-файлы? А что если они приводят трафик и это повлияет на сео? Что является грамотным решением в данном случае?
P.S. Вопрос не про сжатие и оптимизацию картинок, а скорее про работу с большими объёмами данных. Даже при сжатии и пр примочках, объём данных всё равно будет непреклонно расти с каждым годом.

Comments

[mayton2019]

Соберите цифры. Эти 50Гб состоят из чего? Html? Jpeg? Какие-то видосы?

Вот после того как будет понятно распределение этого пространства - тогда и можно думать про оптимизацию.
Обычно текст много не занимает.

[GeKskill]

Объем медиа данных будет расти и это вполне естественно...
Варианты:
1) Таки повысить лимиты хостинга
2) Вывести все медиа на какой-либо CDN
3) Поискать дубли файлов и оверсайз картинки ( бывает админы грузят что попало, по 20-50 мб hires фотки) + WP делает немало кропов изображений по умолчанию, отключить не нужное.

[Elena_11]

mayton2019, конечно именно медиа (картинки и видео) занимают основной объём данных. Хотя сами отдельные медиа не огромных размеров, но из-за их кол-ва сжирается объём памяти

[mayton2019]

Elena_11, вот ты сейчас говоришь - конешно... огромных. Тыж понимаешь как это несеръезно да?

Это-же не измерения а просто поэтические метафоры. Зайди на хост и посчитай файлы по расширениям.

Я-бы мог предложить пере переархивировать (пережать видео) но чтоб давать такие советы - надо хотя-бы
быть в теме цифр. Сколько там видео? Если 20% то я-бы не стал париться. Если 80% - (Ага Паретто) - то есть
смысл глянуть.

[Elena_11]

GeKskill, 1) повышать планируем, но на будущее все равно возник вопрос, 50гб для сайта это большая цифра. А когда будет 100гб, то по фтп сайт скопировать будет наверное неделю занимать?)
2) Предложение с CDN звучит разумно, правда осилят ли контент-менеджеры работу с ними. И опять же они платны, но вариант рабочий вполне, в крайнем случае думаю можно прибегнуть.
3) Разумный совет, можно обратить внимание.
Спасибо за толковые мысли

[Elena_11]

mayton2019, предпочитаю общаться на вы. Вы же понимаете, что перед тем, как задавать такие вопросы, была проведена некоторая аналитика. "Конечно не огромных", это означает что каждая картинка весит не более 100-200кб в среднем. Есть конечно исключения. Если бегло пробежаться по папкам - видео занимает не более 10-20%. Но как понимаете зайти в каждую папку с 2010 года и достоверно убедиться физически нереально.
Опять же при любом объеме медиа-файлов новостной сайт будет расти со временем и тут возникает вопрос как грамотно организовать процесс хранения данных, чтобы не вырастить неповоротливого монстра, который растёт с геометрической прогрессией

[mayton2019]

Elena_11, дружище ну конечно же я не имел в виду заходить в каждую папку вручную. Любой сисадмин вам напишет скриптик для подсчета файлов по расширению. Ну если не сможет написать - значит такой плохой у вас сисадмин.

Как организовать хранение толстых файлов? Я-бы предложил просто разбить на 2 части. Новое и Старое. И старое поместить на более дешевый хостинг. Кому нужны видосы за 2010 год? Что там было в 2010? Извержение Эйяфрякюдля? Да кому он нужен?

Если нужна более тонкая сортировка по популярности - тогда включите логгирование загрузок. Пособирайте в течение месяца статистику кликов. Потом проанализируйте. И получите другие 2 части. Популярное. И непопулярное. Тоже метод.

[EvgenyMorozov]

Вы не про ту оптимизацию думаете. Медиафайлы -- это мелочи, их количество будет расти с каждым постом. Вам про размеры и оптимизацию базы данных думать надо. Про показатели Lighhouse и PageSpeed.

Answer 1

[Василий Банников]

50гб медиа контента за несколько лет - это не так уж и много.
Просто уходи с этого говношаред хостинга и разворачивайся на нормальных серверах, где не будет подобных смешных лимитов.

Всякие картинки и видео можно перекинуть в объектное хранилище (Yandex Object Storage, AWS S3, VK Cloud Storage)- оно обычно очень дешёвое по сравнению с серверами.

Answer 2

[Dimonchik]

Уже не хватает квоты тарифа на хостинге, а дальше будет только хуже.

вот тут вам надо поменять мировоззрение

сейчас на VPS тариф $5-6 за террабайт, есть варианты (да, быстро разметают) по $2 и ниже
правда, это США / NL , у нас в RU подобную дешевизну предлагают чуть ли не на коленке сделанные...

короче, 50гб и места не хватает - это осталось в 2013м, просто смените хостера, но лучше конечно оптимизирвоать сам подход

Answer 3

[Виктор Петров]

Перед оптимизацией стоит проверить, что с этого новостника вообще в индексе и приносит реальный траф. Мусор непосещаемый на пользу в любом случае не пойдёт, так что есть смысл подумать - не стоит ли выраженное старьё и "зомби"-странички перенести в архив - может быть, просто на уровне фида без всяких медиа. Тем более, что картинки там обычно случайные, а смотреть протухшие видосики смотреть явно мало кому интересно.

Answer 4

[Юрий]

Дополню. Если не хочется связываться с CDN, можно к VPS с небольшим шустрым SSD прикупить дополнительно терабайт HDD под /uploads/ - места хватит надолго. (не у всех хостеров есть такая фишка)

Answer 5

[pantsarny]

Берите выделенный сервер или впс с достаточным обьемом и быстрыми дисками. Например хецнер