Попробуйте сделать индекс. В вконтакте, например, тоже все файлы с пользовательским контентом объединяет в один большой файл и потом отдает нужный кусочек.
Если у вас в каждой строке, например, int32, то просто вычисляете нужное смещение, затем вызываете
fseek и вуаля!