Как лучше хранить промежуточные данные парсера? NoSQL или файлы?
Добрый день!
Сразу хочу сказать, что вопрос возможно глупый, так как с noSQL никогда не работал и задал этот вопрос только из-за того, что NoSQL сейчас восходящий тренд, на который сложно не обращать внимание разработчику.
Есть идея написать небольшой парсер для себя. Работа парсера будет сводиться в просмотре каждой странице указанного сайта и сбора некоторых статистической информации о ней: title, header и так далее.
Что лучше использовать для хранения промежуточных результатов парсера? Это те данные, которые получаются после каждой страницы. Сейчас делаю все на файлах, но стал задумываться о правильности этого подхода.
Во время работы парсера идет только запись данных, чтение минимально. В дальнейшем возможно одновременный парсинг нескольких сайтов несколькими людьми.
Будет ли хоть какой-то выигрыш (в быстродействии или в снижении нагрузки на сервер), если я переведу работу на noSQL?
вообще неважно куда класть эти данные можно и в реляционную БД mysql, можно и в nosql, главное чтобы данные в базе лежали, где их можно по быстрому найти и извлечь.
