Philipp

Используйте вот это https://create-react-app.dev/ и не морочьте себе голову. Там sass и typescript работают из коробки.

Используйте insertMany() https://stackoverflow.com/questions/16726330/mongo...
Если Монгу тошнит и она не успевает сохранять, то вы приплыли. Добро пожаловать в мир шардинга.

По-хорошему, не нужно никаких setInterval(). Распарсили страницу, сохранили, дождались пока она сохранилась, пошли за следующей. Для разбивки между парсингами используйте setTimeout().

date нужно изменить на ISODate() или timestamp() в зависимости от того, насколько это удобно. Для правильных аггрегаций лучше ISODate.

Если есть возможность, делать batch insert, тогда индекс не будет перестраиваться для каждого документа, а только после вставки группы. Если у вас неплохая посещаемость, то складывайте данные массив и вставляйте в базу группами по 100 записей. Если посещаемость не очень высокая, до вставляйте по таймеру раз в секунду.

Делать составной индекс по всем полям не имеет смысла. Разберитесь, что именно вам нужно, стройте по этому индекс. Решение по использованию численного pageId мне нравится. Такой индекс будет компактнее.

По поводу архитектуры - держите сайт и статистику на разных сервисах (серверах). Для MongoDB используйте SSD.

Для правильной работы с данными следует использовать курсоры.

Вам нужно что-то вроде этого.

Ошибки нет скорее всего из-за закончившейся памяти.

Так

Я не совсем вник во все, но мне кажется вам нужен этот оператор https://docs.mongodb.com/manual/reference/operator...

Т.е. у вас будет такой пайплайн: $project, $lookup, $unwind, $lookup.