Почитайте новые правила, вполне возможно, что вы больше не сможете взаимодействовать с репостами.
Например, мой q-parser.ru больше не выгружает товары на личные страницы в ФБ, потому что...ФБ тупо запретили это делать. И крутись как хочешь :)
А одобрение после мая 2018 года заняло примерно 3-4 месяца пустого ожидания.
Make Now, первый раз подавал заявку на русском и дублировал на английском, прокатило.
Замкнутый круг решил тем, что эмулировал работу приложения для записи видео и для их проверки. Т.е. если достучаться до API не получилось, то приложение выдавало сообщение вроде "Если бы АПИ работало, было бы так-то так-то".
На текущий момент у всех проблемы с новыми правилами ФБ - там какой-то жутких хаос и геморрой. У пользователей работает 50/50
Дмитрий Беликов, архивы собираются достаточно быстро, основное время - это именно Web запросы, т.к. сервера-доноры иногда попадаются очень и очень тормознутые.
Пока попробую Aerospike, как советуют выше. Судя по всему в прошлый раз я с ним ошибся.
Ну или остается БД с мета + файлы.
m0nym, Хм, спасибо, посмотрю.
Сейчас уже не найду, но натыкался на обсуждение именно о том, что он все данные в память грузит как Redis и перемещение данных на диск только в планах.
Если пользовались им, может подскажете сразу чать конфига для ограничения RAM до 1Гб?
Файловый кеш не устраивает отсутствием встроенного механизма автоматического удаления устаревших данных. Как выше предложили: связка БД под мета-данные и файлы - пока основной наш вариант, но все же ищу что-то более автоматизированное, вдруг кто сталкивался.
DO смотрел. Есть еще HotStorage от Mail.ru. Они впринципе дешевле AWS S3, но все же это удаленные хранилища. В идеале найти что-то локальное, чтоб не гонять гигабайты по внешней сети.
Бизнес задача сводится к следующему:
Есть список из десятков тысяч URL на изобаржения на различные ресурсы, который каждый день может быть разным, а может пересекаться.
Пользователь нажимает кнопку, сервис скачивает то что нужно пользователю их и отдает все в архиве.
Поскольку несколько пользователей могут качать одни и те же изображения, плюс могут качать одно и то же сегодня-завтра-послезавтра, требуется кэширование на уровне каждого отдельного URL.
А Aerospike умеет в TTL? Смотрел на него, но потом наткнулся на то, что у них не готова экспирация объектов и даже не пробовал. UPD: А нет, ошибся. У них проблемы со сбросом холодных данных на диск. По сути там получался тот же Redis, только в профиль.
На счет связки БД под мета данные тоже думал. Пока это, в общем-то, основная идея :)
Просто вдруг есть более готовые решения.
meekoka, я все еще жду прохождения проверки группы. Эти черти уже второй месяц ее "проверяют". На все сообщения "что так долго" говорят что групп много - ждите.
Раньше я думал что ВК самые придурошные. Сейчас даже ВК мне видится адекватным.
sim3x, а это имеет значение? Приложение прошло проверку еще несколько месяцев назад. Разрешение user_managed_groups получено. А теперь ФБ сломал свое же АПИ :(
Список нужен, чтобы пользователи могли выбрать свою же группу для использования в сервисе.
dimonchik2013, Ну почему же, тот же RabbitMQ у меня за пол года ни разу не упал и ничего не потерял. А вот для фильтрации и логики очереди не подходят конечно: они лишь доставляют сообщения, так что прийдется все же реализовывать все вручную.
ZeroMQ посмотрел - вполне может пригодится для связи между серверами/процессами. Довольно интересная и простая реализация сокетов. Вроде бы )
Ну, по факту в текущем решении мне не нравится, что сложную логику в RabbitMQ не впихнуть. Из-за этого приходится создавать свою псевдо-очередь из отфильтрованных элементов и синхронизировать ее с кроликом. Но поскольку в нем нет ни чтения, ни какай-то защиты от дублирования, то все это превращается в ад, который вроде бы работает, но до лучших времен. И иногда проскакивают дубли, иногда задания вообще игнорируются. Отладка практически нереальна. В общем - не лучшее решение и реализация, честно говоря. Хочу переделать и ищу варианты )
"Ограничения по параметру" - этот как раз сложная логика. Я понимаю, что в суть очередей это вообще не укладывается :) Но как-то же все это организуют.
Например, мой q-parser.ru больше не выгружает товары на личные страницы в ФБ, потому что...ФБ тупо запретили это делать. И крутись как хочешь :)
А одобрение после мая 2018 года заняло примерно 3-4 месяца пустого ожидания.