Как настроить парсинг сайта с JavaScript на C#?

Question

[Антон Родионов]

Добры день, ребята-котята. Помогите, пожалуйста с таким вопросом. Есть сайт правительства, который выкладывает документы на свой сайт. На сайте есть JavaScript модуль, который выдает в таблице ссылки на документы.

Чтобы получить ссылку, необходимо раскрыть выпадающий список и выбрать необходимый раздел с документом. Изначально, в исходном коде страницы нет всех ссылок на файлы. Они генерируются скриптом. Причем, он генерирует эти ссылки даже без доступа к интернету. Нужно только прогрузить этот модуль. Необходимо каким-то образом раскрыть все выпадающие списки, чтобы скрипт выдал в исходный код страницы ссылки на документы и я смог их вытащить своим парсером. Подскажите, есть ли возможность раскрыть все выпадающие списки каким-нибудь скриптом? В JavaScript я не очень шарю. Не знаю, можно ли публиковать ссылки. Если что, ссылка на данный раздел сайта на скриншоте.

Comments

[alex-1917]

Добры день, ребята-котята.

этот день точно прошел не зря!!!...

Answer 1

[timokins]

В твоем случае,
все очень просто.

Клиент отправляет запрос к серверу (можешь попробовать открыть ссылку в браузере)
<адрес сайта>/cw/dict/-doc10let
и получает ответ со всем списком (json). И по нему уже генерирует таблицу.

Ты можешь также сделать запрос, получить JSON и распарсить его.

Comments

[Антон Родионов]

Огромное спасибо! Вот прямо то, что и хотел получить. Весь список с названием доков и ссылками. ^_^

[Антон Родионов]

Приветствую, тебя, добрый Самаритянин timokins. Я так понял, на тостере лички нет, пишу тут. Видимо, сайт переделали, и теперь по этому пути нет JSON файла. Попытался найти его сам, но пока ничего не вышло. Может подскажешь, как ты нашел ссылку на этот файл?

[timokins]

Viper029, через chrome dev tools,
не могу найти Справочник документов на новом сайте

[Антон Родионов]

timokins, пробовал сам через chrome dev tools и fidder 4 найти его, но не получилось. Как я смог понять, теперь сервер генерирует страницу сразу со всеми документами и отдает в полном виде без подгрузок из JSON. Справочник теперь на <сайт>/searth/documentSearth/

[timokins]

Теперь только парсить. Все сразу загружается в DOM.

[Антон Родионов]

timokins, спасибо большое, это был приятный опыт работы с JSON. Буду парсить как обычно. :)

Answer 2

[Олег]

Есть Selenium, есть WebBrowser, находишь нужные элементы и совершаешь click() по ним.

Answer 3

[Алексей Сундуков]

Потребуется Selenium. Из C# общается к head-less бразуеру (это может быть PhantomJS, запускать с опцией webdriver) следует по Webdrive протоколу. На вскидку: Автоматизированное тестирование веб-приложения (MS....