Как прочитать определенную строку в файле?

Question

[KuzmenkoArtem]

Есть файл csv, т.к. он может быть великанским не хочу полностью считывать его.
Необходимо достать строку по номеру
Адекватного решения не нагуглил.

Спасибо!

Answer 1

[DevMan]

большой насколько?
если он не гигабайтный, нагрузки особой нет и запускается не на кофемолке, самое простое (простое, не оптимальное) – прочитать в массив при помощи file() и выбрать нужную строку по индексу.
иначе, потоковый разбор.

Comments

[Сергей Карбивничий]

Так на кофемолках сейчас DOOM запускают)

[DevMan]

Сергей Карбивничий, зависит от кофемолки. у меня ручная.

Answer 2

[rPman]

Без полного чтения файла (хотя бы один раз, например построить индекс) до нужной строки, без знания о размерах этих строк - невозможно

Построить индекс очень просто - считываешь по строчке файл и после каждой запрашиваешь текущую позицию в файле, сохраняя полученные числа в массив, который сохраняешь и пользуешься. Для чтения в последствии достаточно сделать seek в нужную позицию.

p.s. если размер строк фиксированный, то само собой можно вычислить позицию в файле простым умножением номера на размер строки

p.p.s. если строка может быть приблизительной, то точно так же можно посчитать примерную длину строк в файле (сделав несколько чтений из разных частей файла и посчитав средний размер строк) и умножить ее на требуемую позицию, ошибка само собой будет уменьшаться в зависимости от распределения длин строк и количества проверочных чтений из файла для получения средней длины

Comments

[FanatPHP]

"и после каждой запрашиваешь текущую позицию" - эээ, а попроще нельзя?

[FanatPHP]

по поводу же этого велосипеда целиком: может быть, не заниматься этим костылестроением, а вместо этого сразу импортировать в БД?

[FanatPHP]

а, да - рекомендация читать приблизительную строку очень забавная. ну какая, действительно, разница - 999 строка попадётся, или 1005-я :)

если уж извращаться, то читать блоками и считать переводы строк
но опять же - это только в предположении что символ перевода строки в каждой строке csv только один

[rPman]

FanatPHP, а php строки читает как то по другому, не блоками?
это решение простое и такое же быстрое как и через вычисление размер строк

читать файлы в сложную базу, это если задача у тебя неопределенно сложная, если же она простая и может быть легко реализована вручную, то самому делать быстрее всего результат

автор задачу не сказал свою, а случайные строки, смутно помню у меня такая задачка была, график строил на основе средних локальных значений (не номера а по содержимому строк), исходя из данных этот график тем более выглядел практически точно так же что и с точными вычислениями

[FanatPHP]

У РНР задача прочитать одну строку, а здесь задача пропустить много => читать сразу много

"сложная" база vs. "после каждой запрашиваешь текущую позицию в файле, сохраняя полученные числа в массив, который сохраняешь и пользуешься" - это какая-то марсианская логика

[rPman]

FanatPHP, серьезно? запись в базу огромного количества данных, на порядки! более трудоемкая чем просто линейно прочитать файл, оставляя хранить данные в нем, где чтение данных их файла производится на максимально возможной скорости. Код работы в выбранном мной алгоритме наиболее простой, понятный, легко портируемый, так как в принципе не использует ничего кроме стандартной библиотеки

Такое ощущение что ты ни разу гигабайты или терабайты данных не обрабатывал. А потом с ними что делать? знаешь сколько гемороя создает резервное копирование базы данных? особенно если тебе нужно только часть а не все.

Да, чтобы сохранить сам индекс, я могу представить себе использование базы данных, но огромные объемы типа изображения или гигабайтовые файлы я буду держать подальше от нее.

[FanatPHP]

вот это я понимаю, полет фантазии
уже и изображения откуда-то в csv файле появились :)

Answer 3

[Vitsliputsli]

Для простых файлов csv можно воспользоваться командами ОС (в которых нет переносов строк внутри строки).
К примеру, у меня поиск 9 000 000 строки используя php занимает 31 секунду, а через sed менее чем за пол секунды.
Для сложных условий уже не такое большое различие.

Comments

[FanatPHP]

Вот мой CSV файл

1,"у попа была собака
он ее любил","в землю закопал, надпись написал""у попа была собака""",222
2,"она съела кусок мяса
он её убил","в землю закопал, надпись написал""у попа была собака""",333

какую строку в нем найдет sed?

[Vitsliputsli]

FanatPHP, да, забыл про переносы, нужно усложнять условие для sed, и выигрыш уже не такой большой. Поправил ответ.

Answer 4

[Дмитрий]

Я бы попробовал через SplFileObject и seek
https://www.php.net/manual/ru/splfileobject.seek.php
Туда же https://www.php.net/manual/ru/splfileobject.fgetcsv.php

Comments

[FanatPHP]

Это будут совершенно бессмысленные тормоза на ровном месте.

[Дмитрий]

FanatPHP, с чего бы вдруг?

[FanatPHP]

Сорри, это я перепутал с другой задачей, про чтение последней строчки. Тут тормозов не будет.
Но опять же, seek будет работать правильно только если в данных отсутствуют переводы строк.