Сохранение в память данных из таблицы с периодическим обновлением?

Question

[kedavr13]

Есть данные которые я получаю из внешнего сервиса в свою структуру. Грубо говоря массив доступных языков. Как я могу сохранить их в память и обновлять например 1 раз в час? Просто мне они нужны довольно часто и постоянно кидать запрос на внешний сервис не хотелось бы. Данные обновляются очень редко поэтому думаю что такой подход будет подходящим для меня. Хотел использовать пакет sync но не разобрался что то с этими lock unlock не совсем понятно как они работают и как мне их использовать. Ссылка на пример в качестве ответа подойдет но если кто то разжует вообще будет великолепно=)

Answer 1

[12rbah]

Можно написать метод у структуры, который раз в час дергает сервис и в этот момент обновляет структуру, в момент обновления повесить мьютекс

Comments

[kedavr13]

Спасибо. Этот вариант мне кажется наиболее подходящим. Подскажите может быть где то есть ссылка на пример? Я просто не совсем понимаю как мьютекс работает и как метод заставить раз в час обновлять данные. Необходимо его вызывать в main.go раз в час?

[12rbah]

kedavr13, мьютексв целом можно не использовать, если к переменной в одном потоке обращаетесь

и как метод заставить раз в час обновлять данные

Создать бесконечный цикл и использовать time.Sleep со временем на час.

Answer 2

[darst]

https://pkg.go.dev/time@go1.21.0#Tick

Вот, что нужно, только в горутине запустить и промежуток тика поставить time.Hour. И в цикле делать запрос до внешнего сервиса и сохранение результата в map или в slice

Answer 3

[Владимир Коротенко]

Да без вопросов.
Создайте табличку в БД и раз в 1 час запускайте вытягивание в нее данных.
Это может быть MySql может быть Redis, а можете тупо хранить в памяти.

Comments

[kedavr13]

Таблица у меня есть. Но суть вопроса как раз таки в том чтобы данные не из таблицы брать. Таблицу то я и сам сделать додумался. Но вроде как можно сделать так что и в таблицу раз в час запрос слать а данные брать из памяти можно.

[kedavr13]

а можете тупо хранить в памяти. Собственно вопрос как раз в этом. Как хранить в памяти?:D

[Владимир Коротенко]

kedavr13, slices вроде подходит, просто складываете туда обьекты

[Владимир Коротенко]

kedavr13, Таблица затем и сделана что бы брать значения, причем она не зависит от приложения и перезагрузки. А память вещь хрупкая, может перезагрузка произойти.

В общем сами думайте

Answer 4

[d'Ivan]

Кэширование как раз делается для экономии обращения к более дорогим/медленным ресурсам. Устанавливается срок действия ключа, по необходимости. Самые главные преимущества - независимость от хранения при перезагрузке программы (при крахе или просто выпуске новой версии) и масштабируемость архитектуры. В случае Redis весь список можно держать в одном ключе. Можно, запуская (под)программу в планировщике задач ежечасно, просто в цикле получить структуру, сериализовать в виде JSON, XML, Msgpack и записать байты как элемент списка в Redis.
Затем, при получении нужного списка просто проверяешь есть ли данные по ключу и если есть, распаковываешь в свои структуры данных в памяти и используешь в логике программы.
А мьютексы и локи вообще не нужны для этих целей.

Добавлено
Использовать СУБД - тоже нормальный вариант и не надо стесняться его использовать. Тем более, не нужно добавлять дополнительные единицы хранения типа Redis.