Можно ли кешировать данные в Spark?

Question

[Николай Демидовец]

Для REST API использовал фреймворк Spark.

Каждый запрос клиента создает запрос на более сложный источник данных, который не очень быстро "выплевывает" данные.

Поэтому когда происходит много запросов ответы приходят очень медленно.

Можно ли каким-то образом кешировать данные?

Answer 1

[alfss]

hazelcast, redis,tarantool, etc

Answer 2

[mayton2019]

В книге Холдена Карау - "Изучаем Spark" - глава 9 Spark SQL этому вопросу уделелено 1-2 странички. Можно почитать.

Кешировать "каким-то образом" можно "всё что угодно". Redis и прочие коробочные решения для кешей - работают
но они к технологии Spark не имеют никакого отношения. Собственно их можно советовать как универсальный
совет для любых систем которые имеют back-end. Интеграция их же со спарком это вообще отдельный вопрос.

Comments

[alfss]

Ваш ответ не про то, что спрашивал автор.

sparkjava.com
https://spark.apache.org/