> но сейчас часть сайтов возвращает html без таблиц с ценами, почему?
Потому, что эра SSG ушла, все пилят модные SPA, все твои таблицы в рантайме рисует дажваскрипт, делая запросы к апи.
> Для чего нужны selenium, playwright и puppeteer, если я могу через fetch и axios все получить?
В основе своей они вообще для визуального тестирования, переиспользовать можно и для парсинга, просто ты не всегда можешь через fetch вытянуть нужные данные, вот тогда они и нужны.
Если все твои юзкейсы закрывает простой запрос куда либо, то тащить хедлес браузер - очевидный оверхед.
> Если все же использовать selenium, playwright и puppeteer, что из них лучше на данный момент? Можно ли их с nodejs использовать?
Лучший тот, кто может выполнять нужные задачи максимально быстро и просто, ну и доку нормальную имеет или просто лично тебе нравится.
Мне пупеттир нравится, я им пользовался, удобный API.
> CDP в контексте парсинга
Это просто базовые возможности тех фреймворков для визуального тестирования, протокол, который позволяет управлять браузером програмно, выполнить какой-то JS в контексте страницы, тригернуть ивенты, хукнуть сетевые запросы, юзкейсов масса.
> - Что использовать для отправки сообщений в телегу?
Да хоть курл кидай на вебхук ТГ апи, что удобно, библиотек в npm миллион, отсортируй по звездам или скачкам.