Как эффективно читать сжатый лог файл с S3 бакета в Ruby?

Question

[d'Ivan]

На бакете S3 находится сжатый файл размером до 20 ГБ, сжатый Zstd. Расжатый контент представляет из себя крупный лог файл (текстовый), который нужно обработать построчно.

Можно ли читать поблочно?
Идеально, если можно использовать как экземпляр от класса File, который умеет читать файл построчно.
Тогда можно просто читать:

file.each_line do |line|
  process line
end

Необходимо наиболее эффективно (с точки зрения использования CPU/Mem/Disk/Net) читать файл.
Среда исполнения: Линукс. Рассматривается Docker, так что можно потенциально включить необходимое ПО.

Добавлено
Скачивать файл на локальную файловую систему может быть долго. Может, можно считывать напрямую с S3?

Answer 1

[mayton2019]

Фреймворк Apache Spark судя по документации умеет работать с zstd.

https://spark.apache.org/docs/latest/configuration.html

Я имею в виду что он может извлекать сведентья из архива не распаковывая.
Но если выбирать между форматами то я-бы посоветовал перепаковать в bzip2.
Он судя по документации - splittable, тоесть несколько Workers смогут работать
с архивом одновременно и независимо и таким образом ваш парсер будет быстрее в разы.

Comments

[d'Ivan]

Спасибо за ответ.
Чем может помочь Apache Spark с учётом того, что нужно для Ruby MRI?
Во-вторых, не перебор ли?

Как всё это будет взаимодействовать с S3? Предполагается скачивать локально или этот фреймворк работает и с файлами S3? А даже если и так, то нет намерения использовать Джаву.

[d'Ivan]

я-бы посоветовал перепаковать в bzip2

это бессмысленная трата ресурсов. Zstd эффективен, особенно в скорости расжатия.

[mayton2019]

Иерокопус Таманский, я к сожалению не специалист по Ruby.

Ваша задача выглядит как типичная задача на BigData.

Я не буду спорить по поводу сравнения zstd и прочее. На это может ответить только практика
и бенчмарки. Если вы будете читать из Ruby в 1 поток - то используйте zstd.

[mayton2019]

Вот тут есть примеры S3/Ruby https://docs.aws.amazon.com/sdk-for-ruby/v3/develo... можно поискать API