Как идентифицировать api от стороннего сайта?

Question

[Гогинхон Хануманов]

Есть сайт "https://my2.soliq.uz/main/info/search".
Оттуда нужно вытащить данные о предприятиях по их ИНН.
Selenium и Request библиотеки готовы, но для библиотеки Request необходимо знать API этого сайта.
Тогда можно будет прописать "requests.get(api).json()"

Научите пожалуйста, как нужно в подобных открытых сайтах находить API

Answer 1

[kustiktm]

Открытый API есть не у всех сайтов. И если он есть, тогда в большинстве случаев на сайте можно найти документацию на неё.
У Вашего сайта, мне кажется, нет API, чтобы использовался он обычными юзерами. Или может есть, какой-нибудь корпоративный, но он для нас закрыт.

Вам нужно скорее знать не API, а ссылку, по которой нужно сделать запрос, чтобы получить информацию. Открывает испектор кода (просмотреть код) и идем во вкладку Network. Ставим запись событий (красная кнопочка в левом верхем углу). Далее на сайте тупо жмем кнопку найти и смотрим запрос. (В инн можно дичь какую-то ввести и не париться).

И видим:


Итак. После нажатия на кнопку мы можем увидеть проскочивший запрос.
Теперь мы знаем URL, куда нужно отправить запрос: https://my2.soliq.uz/main/info/search/data
Метод: POST
И примерную структуру данных, которую нам нужно отправить (Form Data).
Можно увидеть в поле searchtext наш ранее введенный в поле текст.

Все. Делаешь post запрос на данный url и передаешь данные. Получаешь ответ.

Comments

[Гогинхон Хануманов]

Один человек сделал следующим образом (контакта с ним нет):
У него вот так вот стоит в коде:
api = "https://my2.soliq.uz/main/info/personal/data?tin=" + str(tin) # ссылка на апи

У вас же концовки нет, поэтому не получается у меня без "?tin"
Можно как-то прийти к маршруту именно с "?tin" ?

[kustiktm]

Гогинхон Хануманов,

Есть сайт "https://my2.soliq.uz/main/info/search".

Это разные страницы с разными запросами. Вы изначально указали https://my2.soliq.uz/main/info/search
А то, что написано у того человека в коде это https://my2.soliq.uz/main/info/personal
Если нужен запрос туда, тогда да, там можно увидеть tin в запросе.

[Гогинхон Хануманов]

Кирилл, да нет же, все дело в том, что если бы не готовая рабочая ссылка от некого человека, то я бы в жизни не додумался прописать такой маршрут. Вопрос мой в том, как можно прийти к такому маршруту, как у него? Если бы я понял технику, то с другими сайтами уже самостоятельно работал бы

[kustiktm]

В конце сайта есть ссылка

нажав туда мы попадем на страницу https://my2.soliq.uz/main/info/personal

дальше все тоже самое, что и у меня.
открываешь инспектор кода -> network
жмешь запись, если неактивна и вводишь рандомное значение в поле и жмешь на кнопку.
все запросы, которые отправит сайт на сервер будут во вкладке network.
находишь и тыкаешь на него. там вся информация.

[Гогинхон Хануманов]

Кирилл, Афигеть, вроде одно и то же по сайту, а запрос здесь уже через GET. С GET я умею работать, а до этого выходил POST запрос, с ним не умею. Буду рад, если подскажете, где можно обучиться получать инфу через POST запросы.
А так спасибо огромное, проблема решена! Вы мой кумир

Answer 2

[Daria Motorina]

Просто заходите в dev tools > Network в браузере и отслеживаете, какие запросы происходят при действиях на сайте, и копируете эти данные в Ваш код. Во вкладке Headers - данные для создания запроса, во вкладке Response - тело ответа