Спасибо за ответ.
Чем может помочь Apache Spark с учётом того, что нужно для Ruby MRI?
Во-вторых, не перебор ли?
Как всё это будет взаимодействовать с S3? Предполагается скачивать локально или этот фреймворк работает и с файлами S3? А даже если и так, то нет намерения использовать Джаву.