Как происходит выделение памяти под читаемый файл?

Question

[beduin01]

Собственно чтобы прочитать файл, нужно выделить какую-то область памяти для него. А область мы можем выделить только зная размер файла. Так или нет?

Получается тогда нам нужно в начале размер файла прочитать, а потом уже все содержимое или как оно все происходит?

Answer 1

[abcd0x00]

Получается тогда нам нужно в начале размер файла прочитать, а потом уже все содержимое или как оно все происходит?

Размер файла записан на диске (в файловой системе). Сам файл хранится в виде кусочков в разных местах диска. Кусочки связаны друг с другом по очереди (в каждом кусочке записано, где следующий кусочек).

Собственно чтобы прочитать файл, нужно выделить какую-то область памяти для него.

Чтобы прочитать файл, выделяется небольшой буфер, в который загружается часть файла. Если ты его прочитал, то в него же загружается следующая часть файла. Ты читаешь файл как бы через окно в виде буфера, которое скользит по файлу вперёд.

Файлы бывают огромные, даже больше, чем оперативная память, но ты их спокойно можешь читать.

Comments

[beduin01]

О вот такой ответ я и ожидал услышать!

Пасибо огромное! Так получается есть много реализация чтения файла? В одних считается его размер в других используется буфер?

Реализации от языка зависят или от чего?

Хранит ли ФС информацию о размере файла или каждый раз она заново пересчитывается?

[abcd0x00]

beduin01:

Хранит ли ФС информацию о размере файла или каждый раз она заново пересчитывается?

Размер файла записан прямо на диске и хранится до тех пор, пока файл не изменится. Ты когда свойства папки нажимаешь в файловом менджере, он начинает собирать эту информацию из описания каждого файла в этой папке, чтобы показать тебе размер папки. То есть он не читает файлы, а читает их описания, которые хранятся рядом с файлами. Если бы он читал файлы до конца, чтобы определить их размер, ты бы не дождался информации.

То есть ты когда открываешь файл, его размер ты можешь узнать ещё до его открытия, выполнив запрос этой информации. При этом ты можешь вообще не узнавать его размер и просто читать его до конца. В конце тебе просто скажут, что файл закончился. Причём его размер ты так и не узнаешь, потому что он тебе не понадобился. Для того, чтобы читать файл, не нужно знать его размер. Ты просто даёшь команду "прочитай мне следующую часть данных", он тебе читает и сообщает в конце "прочитал, дальше есть ещё" или "прочитал, дальше ничего нет". И ты дальше проверяешь этот результат и читаешь новую порцию из файла или закрываешь его. При этом за всё время работы с файлом он весь лежит на диске, но с него читаются небольшие куски в одну и ту же область оперативной памяти (файловый буфер).

[beduin01]

abcd0x00: это всегда он читается небольшими кусками или иногда бывает что читается весь целиком?

Как выделятся размер буфера под него?

[abcd0x00]

beduin01: он читает через файловый буфер в любом случае. Размер файлового буфера фиксирован. Так система открывает много файлов и все их читает (у каждого свой буфер). Если бы она читала целиком, то у неё не хватило бы памяти на всё. Например, файл - 10Gb, а оперативной памяти - 4Gb. Если же ты читаешь целиком, то это просто чтение кусков через буфер и объединение их в одном месте.

Answer 2

[Алексей]

Если вы планируете прочитать файл целиком - то да, сначала выяснить размер файла, выделить память, прочитать файл. Если читать построчно - достаточно выделить память под одну строку (предположительно самую длинную, если строка окажется длиннее - "довыделить").

Comments

[beduin01]

Тоесть если этого явно нет, то функция получения размера выполняется не явно?

[Алексей]

beduin01: Что-то у вас на столько абстрактный вопрос, что я даже затрудняюсь дать конкретный ответ.

[beduin01]

Алексей: ну если нет разбиения на функцию подсчета размера и функцию чтения, то получается что функция чтения в начале читает размер, потом получает содержимое файла?

[Алексей]

beduin01: Разумеется, асбтрактная функция "прочитать_файл_в_память" сначала вызывает абстрактную функцию "получить_размер_файла" и далее по схеме - выделение памяти, чтение файла, либо выдача ошибки что память выделить не удалось.

Answer 3

[Василий]

а можно смапить файл в озу, и работать с ним как будто он там,
всю грязную работу по кешированию берёт на себя ОС

Answer 4

[Rou1997]

А как угодно, так и происходит, можно пропустить первые 1.000.000 байт файла, выделить 3 байта, считать 3 байта, и больше ничего не читать, так же и запись в файл, в базах данных только так.

Answer 5

[cijiw]

Не обязательно так.
Есть еще маппинг файлов в оперативную память.