Какие решения подойдут для хранения и использования фото в сети?

Question

[Денис Петренко]

Есть база данных с фото. Порядка 90гб. Есть телеграм-бот, развёрнутый на VPS с 20гб места на диске. Расширять место очень дорого. Какое есть решение для такого по?
То есть мне необходимо сохранить БД с фото и запрашивать их в бота по FTP или HTTPS.

Comments

[d'Ivan]

То есть, будут частые обращения к удаленным от сервера фото в хранилище? А сами фото нужно как-то анализировать или же просто получить и отправить в ТГ?

[Денис Петренко]

Роман Мирр, да, обращения будут частыми, но на стороне ФС ничего выполнятся кроме как отдать фото не будет, но проблема в том что обращений будет много и не по одному фото нужно получать. Вариант с azure интересный, но не уверен будет ли справляться с трафиком.

[Dmitry Bay]

Как вариант ?
https://habr.com/ru/company/flant/blog/426739/

Ну либо поищите дешевый VPS сервис для этого дела.

[shurshur]

Владимир Коротенко, кажется, это комментарий к другому вопросу должен быть :)

[Владимир Коротенко]

shurshur, блин да

Answer 1

[Владимир Коротенко]

Попробуйте azure clob. Это самое дешевое хранилище

https://docs.microsoft.com/ru-ru/azure/storage/blo...

Answer 2

[d'Ivan]

Как вариант, использовать S3-совместимое хранилище в ближайшем регионе. Для сокращения количества обращений к нему использовать локальный кэш самых часто-запрашиваемых изображений.
В Memcached/Redis устанавливать время истечения, скажем 1 час и держать не более X локально. Если имя/путь файла присутствует в кэше - брать из локального файлового хранилища, иначе - загрузить с удаленного.
Правильно подобранный локальный кэш сэкономит использование S3 хранилища.
Кроме прочего, стоит выбрать хранилище, где уровень доступности сервиса не самый высокий.

Добавлено
Нашел
https://github.com/rhelmer/caching-s3-proxy

Comments

[Dmitry Bay]

По s3 осторожнее. Проблема в том, что можно прям попасть на хорошие деньги, если будет криво настроена отдача от s3.

[d'Ivan]

Dmitry Bay, криво - это как?

[Dmitry Bay]

Роман Мирр, мой первый опыт был без локального проксирования, и вместо ожидаемых 10-15 долларов в месяц получил счет на 1К долларов.

[d'Ivan]

Dmitry Bay, да, разумеется. Альтернативно можно использовать S3-совместимое хранилище MinIO, которое можно развернуть на том же арендуемом VPS. Сначала скинуть какой-то объем изображений, сколько хватит из 20гб. И протестировать на нем. Затем мигрировать в облако или же арендовать дополнительные VPS. Использование S3 унифицирует доступ к изображениям.

Answer 3

[Zettabyte]

Вам нужен либо т.н. "storage VPS", что-то наподобие вот этого (просто пример): https://hosthatch.com/storage-vps
либо специальный сервис:
-- https://www.hetzner.com/storage/storage-box (ФТП и прочее);
-- https://www.hetzner.com/storage/storage-share (NextCloud).

Последние два варианта по цене побить, наверное, можно, но полагаю, что немногие из известных игроков предложат дешевле (хотя не проверял). Младший план в обоих уже 100 ГБ.

Answer 4

[ComodoHacker]

Все тарифные планы всех хостингов ориентированы либо на большой трафик, либо на место, либо на проц., и т.д.
Такого, чтобы и трафик дешевый, и место дешевое, не найдете. Халявы не будет. Так что копите деньги.

Answer 5

[rPman]

Не надо облачных сервисов, они хороши когда требования можно гибко подстраивать под задачу, платя дополнительные деньги, и, если честно, для тех кому лень поднять аналог самому.

До 100 гигабайт места на диске это не много, не озвучена нагрузка (как много нужно сетевого трафика), если она маленькая то можно найти кучу не обслуживаемых ненадежных хостингов за 5-10 баксов в месяц, типа lowendstock.

Арендуешь 2-3, дублируешь данные для резервирования, поднимаешь там http сервер, простой статикой размещаешь файлы (в качестве 'авторизации' каталог, как часть пути, будет паролем). Не думаю что тут имеет смысл заморачиваться с https и сертификатами, это приватный веб сервер, дефолтную страничку пусть отдает пустую или ошибку 404

Твой бот пусть выступает балансером, выбирая на какой сервер делать запрос и контролируя доступность этих дешевых и ненадежных.

дешевле решения не придумать, может только что на домашнем сервере развернуть.

Comments

[Денис Юрьев]

если честно, для тех кому лень поднять аналог самому

поднять, обслуживать, обновлять, бэкапить. лень с экономической целесообразностью не путайте.
по вашей логике я сервера арендую потому что мне лень купить, отвезти в ДЦ, а потом периодически ездить туда, проводить профилактические работы с железом.

заморачиваться с https и сертификатами

а в чем там морока? из всего вашего списка это самое простое

[rPman]

морока?
эм, поднять приватный http сервер это пара команд в консоли, все настройки это фаервол и отключение всего что только можно (да в том же nginx ничего не придется делать).

настроить https на порядок сложнее чем раздавать статикой файлы

p.s. бакапить ваши данные так же придется, не обольщайтесь на этот счет про облака.

А остальное, это именно экономическая целесообразность. Хотите готовое - платите, не хотите - работайте, обслуживайте. И в данной задаче это реально экономия, так как обслуживать нечего (собственно все проблемы вылезать будут именно из-за использования дешевых хостеров, по третьему кругу реселящих машины)

Напоминаю, что себестоимость, учитывающая и бакапы и обслуживание и сла, в данной задаче на порядок ниже той что предлагает амазон или гугл, они реально зажрались, хорошо там пока данных и запросов очень мало (буквально начинающий бизнес)