Занимаюсь задачей парсинга данных с веб-сайта, у которого нет API. Сайт построен полностью на асинхронном JS.
Что я придумал:
- Создал tampermonkey скрипт, подключил к этому сайту, использую Chrome
- Внутри скрипта происходит нажатие на несколько кнопок, скроллинг, открытие ленты постов, получение содержимого постов, и отправка куда следует
- Все это крутится на Windows на удаленном сервере, куда я хожу через Google remotedesktop, или RDP Windows.
Суть проблемы:
Когда я подключен к удаленному рабочему столу, все работает прекрасно. Далее я оставляю вкладку браузера самой активной и закрываю удаленное подключение. Далее видно, что сайт как-то понимает, что на браузер "никто не смотрит", и поэтому подгрузка постов и скроллинг - не работает. Показывается что-то типа загрузочная заготовка поста, а не сам пост.
Когда я пользовался RDP, сессия как-то довольно грубо завершалась. Поэтому я перешел на remotedesktop гугла, он точно ничего не завершает: ощущается так, будто система не в курсе, что пользователь отключен от удаленной сессии. Однако, похоже и это не помогает..
Может кто-то знает этот сорт магии?