Как полнотекстового искать строку по множеству csv файлов?

Question

[Dav221]

Около пятидесяти CSV-файлов. Названия столбцов и количество в разных таблицах могут различаться. Как проиндексировать таблицы для быстрого поиска с использованием полнотекстового поиска. Разделители CSV могут быть разными, такими как ',', ':', ';', и табуляция. Следует ли объединить эти файлы в одну базу данных, и если да, то какой тип базы данных рекомендуется использовать для этой задачи.

Comments

[d'Ivan]

Предполагается работа с СУБД напрямую или при помощи языка программирования, для чего требуется написание программы?

[Dav221]

Ну во первых как импортировать 50 таблиц с разными количествами и названий столбцов в базу данных а во-вторых в csv таблицах разные разделители

[d'Ivan]

Ну импортировал, допустим. А что дальше то? Нужна ли интеграция с другим ПО?

Answer 1

[VoidVolker]

Абсолютно любую базу данных с использованием любого языка программирования. А еще лучше, ту базу плюс язык, которые знаете или хотите изучить. Самый простой вариант: NodeJS/Python + MonogoDB.

Comments

[Dav221]

Дайте пожалуйста любой пример как это сделать

[VoidVolker]

Например: https://csv.js.org/parse/examples/file_interaction/ https://metanit.com/web/nodejs/6.1.php

Answer 2

[d'Ivan]

Можно импортировать в SQLite:
https://stackoverflow.com/questions/53559820/sqlit...

то какой тип базы данных рекомендуется использовать для этой задачи.

Реляционную СУБД с поддержкой полнотекстового поиска. SQLite поддерживает (она из самых простых).
Можно перейти на другие, если не будет хватать возможностей.

Answer 3

[Пума Тайланд]

В целом если надо искать очень быстро это все умеет sphinxsearch