Какой выбрать планировщик для последовательного чтения миллионов файлов в каталоге с подкаталогами, чтобы минимизировать перемещения головок?

Question

[kay]

Какой выбрать планировщик для последовательного чтения миллионов файлов в каталоге с подкаталогами, чтобы минимизировать перемещения головок? Или посмотреть в сторону оптимизации кода?

В настоящий момент чтение файлов в каталоге существующей программы происходит следующим образом:

while ((file = readdir(dir))) {
    fd = open(file, O_RDONLY);
... ... ...
    buf = mmap(NULL, size, PROT_READ, MAP_PRIVATE, fd, 0);
... ... ...
}

Есть подозрение, что чтение файлов происходит не в том порядке, в котором они были записаны. И возможно ли читать файлы в том порядке, в котором они были записаны, ориентируясь на inode?

Answer 1

[jcmvbkbc]

> Какой выбрать планировщик для последовательного чтения миллионов файлов в каталоге с подкаталогами, чтобы минимизировать перемещения головок?

Если ваше чтение происходит последовательно в один поток, планировщик ввода/вывода вам слабо поможет: ваша задача генерирует единственный запрос и блокируется до завершения его выполнения, планировщик же для какого-то видимого эффекта требует несколько запросов, которые он может переупорядочить/склеить.
По идее вам нужно сначала создать правильную нагрузку на файловую систему, например обходя каталоги и читая файлы в параллельных потоках или используя fadvise для управления чтением.

> buf = mmap(NULL, size, PROT_READ, MAP_PRIVATE, fd, 0);

не похоже на последовательное чтение.

> Есть подозрение, что чтение файлов происходит не в том порядке, в котором они были записаны

превратите его в уверенность или опровергните с помощью, например, blktrace.

Comments

[kay]

Про fadvise и blktrace не слышал ранее, спасибо, почитаю. "не похоже на последовательное чтение." а на что это похоже? Файлов миллионы и их средний размер около 21 кбайта.

[jcmvbkbc]

> а на что это похоже?
mmap больше похож на произвольное.

[kay]

Так mmap же читает файл, а вот путь к нему передает file = readdir(dir). Последовательность чтения указывается именно здесь.

[jcmvbkbc]

> Последовательность чтения указывается именно здесь.
последовательность чтения файлов -- да. Последовательность чтения данных -- нет. Файлы у вас немаленькие, в inode целиком наверно не влезают.

[kay]

Так как добиться того, чтобы список файлов был в той последовательности, в которой они были записаны на диск?

[jcmvbkbc]

Вот вам работа на тему: home.ifi.uio.no/paalh/publications/files/ipccc09.pdf

[jcmvbkbc]

Отвечая на ваш вопрос про порядок: согласно https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout в ext2 каталоги были линейным списком, но начиная с ext4 (или 3?) они -- b-дерево индексированное хешем от имени файла, следовательно в ext2 должно работать ровно как вы хотите, начиная с ext4 (или 3?) со включённым флагом EXT4_INDEX_FL -- видимо только самому их сортировать.

[kay]

Спасибо за ответ!

Answer 2

[bak]

Вам действительно нужно хранить всё это в мелких файлах? Для большого количества небольших записей лучше использовать дисковые базы данных, например leveldb.

Comments

[kay]

В том то и дело, что это требуется для конвертера данных из ФС в БД.