Как парсить то, что показывает браузер (не исходник сайта)?

Question

[Артём Иннокентьев]

Обрывок исходника сайта:

<select>
    <option>1</option>
</select>

Код через инспектор в Mozilla:

<select>
    <option>1</option>
    <option>2</option>
    <option>3</option>
    <option>4</option>
</select>

При просмотре через браузер, добавляются новые опции через JS. Мой парсер парсит исходник, как мне парсить ту версию, которую показывает браузер? Наверняка, надо эмулировать пользователя или браузер? Заголовки отправлять?

Answer 1

[un1t]

selenium-python.readthedocs.org/en/latest/getting-...

Answer 2

[Оптимус Пьян]

PhantomJS )) Как раз сейчас с ни занимаюсь кексом ))

Answer 3

[Артём Иннокентьев]

https://github.com/jeanphix/Ghost.py

Answer 4

[Андрей]

вот для scrapy есть https://github.com/scrapinghub/scrapy-splash связка, которая загружает код, пропускает через выполнение js и только потом отдает на разборку, как раз ваш случай, условно говоря - эмулирует веб-браузер

Comments

[p2mbot]

А вы работали с этой связкой? Чем-то она показалась вам лучше, если работать просто с селениумом через PhantomJS?