Как можно парсить ras.arbitr.ru на php или любом другом языке?

Question

[fridary]

Добрый вечер!

У меня 2 вопроса:
1) возможно ли написать на php (или другом языке, но желательно php) парсер, который отправляет на ras.arbitr.ru параметры формы (фильтр), как на самом сайте, и получает в ответ список документов (в json, xml или любом другом)? какими методами возможно?
я не нашел api на сайте, может что-то я пропустил? или получится только функцией file_get_content()?

2) если вручную сохранить все документы в базу данных в текстовом формате, а их скажем миллион, то какую лучше бд выбрать - mysql или postgresql? будет ли более менее быстро работать поиск по базе данных например по фразе (в mysql это LIKE $search..)?

Answer 1

[Тимур Сергеевич]

Отправляете POST запрос ! В ответ приходит json.
Парсите.


После получения получения json парсите получаете что то типа того..

FileName: "А49-364-2015__20170930.pdf"
Id: "7e4efd11-dffb-4767-acae-d809f01bf5a9"

После фомируете ссылку вида kad.arbitr.ru/PdfDocument/id/FileName
У нас например типа http://kad.arbitr.ru/PdfDocument/7e4efd11-dffb-476...
Отправляем file_get_content получаем .pdf

Comments

[fridary]

Спасибо огромное мужик!
Не подскажешь так же, прочитать содержимое документа из списка, который выводится - по сути тоже можно отправить запрос post с заданным id (или что там) и будет содержимое?

[Тимур Сергеевич]

Ответил наверху)

Answer 2

[peregudov]

В свое время тоже искали доступ к АПИ kad.arbitr.ru и ras.arbitr.ru. Официально не смогли получить, а на сайте капча - не обойти.
Остановились на сервисе, который долгое время уже предоставляет нам доступ к API arbitr.ru и разным другим АПИ данным на платной основе. У них даже можно бесплатно это проверить как работает: arbitr.mchanges.com

Answer 3

[Дмитрий]

1. Можно
2. Берите Postgresql

Comments

[fridary]

Так если можно, то какие технологиями? Я сам php программист и не представляю как выхватить оттуда документы. На странице даже нету html формы.

[varz62]

fridary: зачем форма вы ведь можете проанализировать запросы
и эмулировать их

[Тимур Сергеевич]

fridary: Разницы нет форма это или нет! Когда вы отправляете форму то отправляется POST запрос с Content-Type: multipart/form-data; b и все.