Как распарсить сайт госзакупок?

Question

[Алексей Мальцев]

Добрый день, есть один сайт госзакупок - zakupki.gov.ru
Есть задача от руководства написать на дотнете приложение, чтобы, грубо говоря, видеть в окне приложения список лотов за определенные даты, по дефолту со вчерашней по сегодняшную.
Затем пролистывать этот список, отмечать интересующие лоты, а потом одной кнопочкой получить список ссылок на них.
Допустим, открываем эту ссылку, получаем список заявок.
Смотрим в исходный код, видим там интересную строку:
За ней идёт много ещё более интересных строк: , каждая из которых, вестимо, есть отдельный лот в списке.
Теперь вопрос, в какую сторону мне копать и что читать, учитывая, что я не представляю как это распарсить и не имею никакого представления о дотнете? Помогите пожалуйста.
Собираюсь сделать это на C#, потому что только с ним сталкивался пару лет назад, писал для фана и опыта калькуляторы с пятнашками.

Comments

[Григорий]

что я не представляю как это распарсить и не имею никакого представления о дотнете? Задача то не сложная, может какой другой язык знаете?

[x837]

Там на странице есть RSS подписка. Можно работать с RSS форматом. Его не достаточно?

Answer 1

[Александр]

Ответ очень запоздалый, но всё же.
Более правильный вариант (если не самый правильный) использовать данные из открытой части сайта. Они размещаются на ftp.zakupki.gov.ru. Пароль и логин: free и free. В нем размещаются все данные xml.
По этой ссылке находятся документы, необходимые для работы с ООС (схемы, описание и пр.)

Comments

[Rampages]

А по торговым площадкам у вас ссылок не найдется? :) задавал вопрос ранее: API электронных торговых площадок (РТС, РосЭлТорг, ММВБ, Сбербанк-АСТ, )

[Александр]

По аукционам не скажу. Еще не доходили руки до него. Но есть некоторые мысли по этом поводу. Эти площадки, все до единой, взаимодействуют с ООС по регламентированным форматам. Напрямую работать с площадками скорее всего не удастся, но вот получить протоколы можно все на том же ftp ресурсе. Эти протоколы бывают нескольких видов. Некоторые их них очень подробные, и в них, как мне кажется, вы найдете все необходимое.

Answer 2

[Vit]

>видеть в окне приложения список лотов за определенные даты
Вставьте в окно WebView и отображайте в нем сайт госзакупок:)

А если серьезно, то берете класс System.Net.Http.HttpClient, с помощью него качаете исходный код страницы и среди "интересных строк" берете те, которые вам нужны.
"Интересные строки" - это html-разметка того, что вы видите в окне браузера когда на сайт заходите. Всю информацию, которую вы видите глазами, можно найти в этих самых "интересных строках". Просто выбирайте то что вам нужно и сохраняйте локально или выводите на экран, в зависимости от требований.

Answer 3

[Григорий]

Вам надо список ссылок получить? Может открыть WebView и подцепиться к событию перехода по ссылке, сохраняя её?

Comments

[Алексей Мальцев]

Мне нужен список кратких описаний лотов, вместе с ссылками на них. Решил скачивать исходный код страницы, искать там "" и на две строчки ниже брать краткое описание лота + ссылку на него. Это выводить в окне приложения списком, чекать нужные лоты, после чего сохранять список ссылок на них в текстовом файле. Кажется, что такой способ самый подходящий для моего уровня знаний.

Answer 4

[Алексей]

Ну алгоритм довольно простой:

1. Грузим html страницу подставляя в урл даты orderPublishDateFrom=25.11.2013&orderPublishDateTo=27.11.2013
2. Собираем regexp'ом id новых зазкзов например так /common_info\/show?source=epz&notificationId=(.?*)"/
3. Формируем ссылки и выводим\сохраняем.

Answer 5

[leclecovich]

Прежде всего, @fornit1917 прав насчет того, что нужно получить веб-страницу. А вот парсить регулярками - не лучшая идея. Можно посмотреть на CsQuery, удобная библиотека, легко ставится через NuGet.

Answer 6

[Дмитрий]

Если вы понятия не имеете как делать, советую нанять тех, кто умеет. Будет очень недешево, правда, но зато не придется мучаться. Data acquisition - это искусство.

Comments

[Denis Kiselev]

Скорее - ремесло.
Но вот владеть им надо, хотя и обучиться возможно. Нужен правильный анализ, что оптимальнее: потратить свое время (оплатит фирма) или нанять людей со стороны (тоже бюджет).

Answer 7

[fragolino]

Вот уже готовый парсер продается zakupki-online.site