От стороннего API приходит большой отчет в формате TSV. Его нужно обработать регулярками. Как оптимизировать код?

Question

[sorry_i_noob]

Хранить в переменной очень большой текст и обрабатывать его регулярками - очень дорого для процессора и памяти, насколько я знаю. Можно разбить текст по строкам и каждую строку обрабатывать регулярками - это по-лучше. А как еще можно оптимизировать?

Comments

[sim3x]

Для какого ЯП?
Какой размер файла?

[sorry_i_noob]

sim3x, по-моему, тут дело в общих принципах. Но если для вас так важен ЯП - PHP или Javascript.
Текстовый файл может быть достаточно большого размера - несколько МБ.

[sim3x]

sorry_i_noob, сотен Мб?
*большой размер начинается с Гб

https://stackoverflow.com/questions/13246597/how-t...
https://github.com/nodejs/help/issues/194

[sorry_i_noob]

sim3x, спасибо за ответ. А можно еще вопрос. Почему если разбить строку на массив, этот массив потребляет ресурсов меньше? Он ведь также в памяти находится, как и строка?

[sim3x]

sorry_i_noob,
Нужен пример измерений

Ответ с потолка - текст занимает в утф больше места чем инт

Answer 1

[vasiiil]

fgetcsv не подойдет и работать с ней уже как с массивом?