Какой способ чтения и записи в файл, а также сам тип файлов, наилучший в плане быстродействия при использовании Python для обработки больших данных?

Всем привет. Задался вопросом: какой способ записи в файл и чтения из этого файла наиболее быстрый для использовании языка Python? Каким при этом должен быть тип самого файла?
Планируется записывать в файл и читать из этого же файла информацию около десятка в секунду. Со временем объем данных увеличится значительно. Хотелось бы, чтобы при этом скорость чтения и записи понизилась минимально.
  • Вопрос задан
  • 223 просмотра
Пригласить эксперта
Ответы на вопрос 2
@dmshar
Есть такое понятие "бинарный файл". Грубо говоря - в некоторый момент времени делается "снимок" оперативной памяти, и все что там (точнее говоря, в тех объектах, которые вы решили записать в файл) есть переписывается во внешнюю память. Потом точно так можно вернуть назад. Разумеется, это работает, если вы точно понимаете, из какой структуры вы выгружаете данные в файл и абсолютно уверены, что назад вы их будете принимать в абсолютно такую-же структуру. Никаких преобразований, разбивок по строкам/записям, проверок типов - ничего. Искать что-то в этих данных вы будете не тогда, когда они находятся на внешнем носителе, а тогда, когда они уже в ОП. И еще - разумеется, это будет стандартный файл с точки зрения Windows (или другой ОС), вы его будете видеть в проводнике, но если попробуете открыть - например - текстовым редактором, то увидите нечитаемое множество каких-то значков. Все это - расплата за скорость обработки, которая достигается при чтении-записи этих файлов.
По сути, именно так работают, например, все стандартные приложения, которыми пользуемся, EXCEL, Word и пр.
Ответ написан
Комментировать
@vascodogama
pickle, avro, parquet
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы