создавать точки расширения будет компания поставщик ПО, реализовывать уже конченый клиент написав какой- то код в этих точках расширения.
Вроде какого-то АОП.
не, я делал 1000 папок по 1000 файлов в каждой, все равно по сравнению с приведенными recordio/webdataset разница в скорости чтения десятки раз, почему именно -- не до конца понимаю