Я начал учить JAVASCRIPT с .user.js . Мне хотелось чуть автоматизировать интерфейс, через который я работа. Дальше меня заинтересовал Node, всегда хотелось чего-то серверного - некоторая магия, а вот недавно мне мой старший товарищ предложил попробовать сделать нечто. Я хоть и понимая, что это явно не мой уровень, взялся, так как это отличный способ набить шишек, получить опыт и т.д. Да и ответственности как таковой нет вроде.
Программа должна собирать данные из разных источников, по одним и тем же ключа,а после анализировать на предмет наличия второй группы ключей и обратно.
Я хотел парсить, но нашел какой-то API, неописанный и получил данные с одного сайта по одному же ключу и теперь мне нужно это дело как-то систематизировать с учетом того, что собирать данные по этим ключам придется периодически и добавлять новые данные.
Данные в идеале представляют из себя
{
id:``,
name:``,
artist:[],
preview:``,
text:``,
date:``,
source:``
}
Возможно вместо / вместе с полным текстом статьи будет pdf файл
Сейчас я просто собрал все в один JSON файл. Меня честно говоря эта практика пока устраивает ( я в рамках своего обучения изобретал велосипед. Пробовал писать свой сайт с самописной CMS ) Но подобный объем данных и что наверно важнее их анализ, меня смущают и я пока не представляю как к этому подступиться, а потом спрашиваю как лучше собирать и организовывать, что бы потом меньше проблем было.
Я так же не знаю как лучше организовать ID и возможно будут новые поля вроде разных статусов и ключей
А еще я чет не очень хотеть SQl . Мне пока комфортно представлять себе в виде JSONобразном и учить одновременно принципы SQL как-то не хочется. ( подозреваю, я просто забью в таком случае) да и скорость работы всей системы - не так важна