Как проверить вхождение строки в большой csv файл?

Question

[Василий Васильев]

Есть csv файл общим весом 50мб+ и есть список ключей(список строк). Необходимо с наименьшими затратами определить вхождение каждого ключа в csv. При этом csv находится на удаленном сервере(github) и регулярно обновляется.
Пример:
Есть ключ "О. Генри". Необходимо определить, есть ли хотя бы одно вхождение этого ключа в csv-файле.

Answer 1

[Игорь Махов]

Ну адекватное решение тут только одно: перестать использовать csv не по назначению, изучить любую SQL базу данных и использовать ее.

Comments

[Василий Васильев]

дата находится в одном источнике, в единственном экземпляре. И доступа к мозгам владельца нет, чтобы выковырять оттуда csv. А каждый раз загружать, парсить, заносить в БД, через которую потом искать - думаю, идея не из лучших.

Answer 2

[Василий Васильев]

Возможно кому-то поможет:
Пока нашел один вариант - парсинг в потоке с помощью scramjet. Работает не молниеносно, но с текущим размером файлов - довольно сносно, при около сотни ключей и ~50мб csv баз обработка заняла меньше минуты.