Путей 2:
1) Вы управляете браузером это selenium и иже с ними средства +/- полноценного рендеринга страницы и извлечения данных.
2) Вы исследуете страницу и повторяете все запросы и передаваемые данные сами и получаете под каждый конкретный сайт скрип использующий все необходимые виды запросов для получения данных. И да websoсket один из необходимых в данном случае форматов обмена данных.
