Чем обрабатывать и хранить бинарные данные?

Question

[larrabee]

Собственно, требуется прочитать бинарный файл с заданным размером блока и сохранить примерно в таком формате:
1={binary block 1}
2={binary block 2}
....
n={binary block n}
Потом нужно будет работать с этим файлом. Обьем открываемого файла до нескольких терабайт, так что работать должно быстро (ограничиваться только скоростью работы диска). ОС Linux.

Только вот не знаю, в какую сторону копать. Если кто-то поделится парой ссылок, буду очень признателен. Желательно на питоне, но можно и на любом другом.
Спасибо.

Answer 1

[Сергей Протько]

Хоть петабайты читайте, у вас все будет ограничиваться скорость доступа к жесткому диску, задержки которых больше, чем время вычислений в десятки раз. Вам же нужно просто считать кусок данных и записать их, что будет работать одинаково медленно что на c++ что на python. В любом случае, это не займет больше пары минут времени работы.

Собственно... считываете по кускам (если размер блока относительно невелик, то можно его брать за размер куска, если он большой, то стоит читать по кусочкам меньше размера блока) в память, и записываете в другом формате.

Comments

[larrabee]

В этом собственно и вопрос- как записывать в другом формате. В питоне нашел pack()/unpack(), но пишут, что она тормознутая. Вопрос- чем лучше обрабатывать бинарные данные? Дальше уже сам разберусь.

[Сергей Протько]

pack/unpack насколько я помню нужен только для конвертации raw данных в типы данных python. То есть если у вас уже есть бинарные данные, и вам нужно только структуру поменять, можно обойтись операциями побитовых смещений и тому подобным. Извернуться можно.
Еще можно чуть уменьшить задержки путем использования неблокироемого или асинхронного I/O (вынести чтение/запись в отдельные потоки), то есть пока вы обрабатываете блок, вы можете запрашивать следующий. Эдакая конвееризация.

[larrabee]

Спасибо, буду ковырять питон дальше.