Как спарсить данные формирующиеся скриптом?

Question

[d0dge]

Добрый день!

Такая проблема, в программировании совсем начинающий. Нужно спарсить вот эту страничку.
https://www.planespotters.net/production-list/Airb...
Абсолютно со всеми данными там нет проблем, кроме столбца MSN, он формируется (как я понял) java скриптом. Как можно спарсить их? Сейчас использую Python + Beatiful Soup, вся инфа есть в html, кроме этого столбца. Инфу сам гуглил, понял, что 1 из вариантов рендерить страницу, но нет ли способа проще?

Comments

[qwanysh]

Откройте вкладку "Network" в инструментах разработчика. Посмотрите на запросы, найдите, откуда javascript берет эти данные и парсите прям оттуда

[d0dge]

qwanysh, не получается так. Запрос есть, но в ответе на него нужных мне цифр нет. И тут 2 варианта: либо я что-то не так делаю, либо ответ там закодирован.

[qwanysh]

d0dge, я думаю, что это библиотека для таблицы просто проставляет порядковые номера

Answer 1

[soremix]

А что вы спарсить хотите, просто порядковый номер строки? Посчитайте сами кол-во строк и добавьте нумерацию

Comments

[d0dge]

Нет, там не порядковый номер, просто конкретно в этой ссылке столбец MSN c 001 и далее. В реальности там могут быть любые цифры. Это серийный номер.

[soremix]

d0dge, если перейти на страницу с самолетом, например https://www.planespotters.net/airframe/airbus-a300...

Можно посмотреть, как генерируется код, а именно тут:

<script type="text/javascript">
            $(document).ready(function () {
                                $('#' + '3'+String.fromCharCode(98)+'6'+String.fromCharCode(54)+'4'+'2'+'b'+String.fromCharCode(97)+String.fromCharCode(53)+String.fromCharCode(53)+'3'+'b'+String.fromCharCode(55)+String.fromCharCode(57)+'b'+'a'+'f'+String.fromCharCode(55)+'0'+String.fromCharCode(100)).text('8'+String.fromCharCode(55)+'0');
                            });
        </script>

(Этот JS код можно так же найти и на главной странице, там все номера будут в большом массиве)

Код на главной

Первый кусок ищет элемент с зашифрованным ID, вторая часть
.text('8'+String.fromCharCode(55)+'0');
Присваивает ему значение. Аналогом fromCharCode в Python является chr()

import re

# в супе страница с одним самолетом, https://www.planespotters.net/airframe/airbus-a300-600-b-ldg-air-hong-kong/ekdj0l
# Но как я и говорил, можно использовать на главной

# находим нужный скрипт, id может быть разный
# привел в строку через str, .text гет текст не хотят
script = str(soup.find_all('script')[2])

# через регулярку достал текст MSN
encoded = re.search(r'\.text\((.+);', script).group(1)
print(encoded)
#'8'+'7'+String.fromCharCode(48))

Остается только распарсить текст, 8 и 7 использовать как есть, String.fromCharCode(48) заменяется на chr(48)

В итоге получим

print('8'+'7'+chr(48))
# 870

[soremix]

d0dge, а вообще они предлагают написать им для получения доступа к нормальному парсингу. Может, стоит попробовать?

[d0dge]

SoreMix, спасибо, в целом теперь понял. Но мне 1 товарищ упорно говорил, что в реальности эти данные есть в html коде? Это не так? Все-таки единственный вариант парсить JS-ответ?

[d0dge]

SoreMix, Все понял. Этот код скрипта и есть в Html. Спасибо!

[soremix]

d0dge, CTRL+U нажимайте и увидите, какой ответ приходит при запросе, без обработки JS скриптами. Такой код видит и Python и CURL и все прочее, что не обрабатывает скрипты.
Элементы, которые вы видите через F12 уже обработаны, их видно в браузере

Answer 2

[Александр Лыкасов]

Иногда можно получить данные повторив запрос скрипта к серверу (возможно, добавив необходимые заголовки защиты от CSRF/XSS извлечённые из страницы). Это работает если программисты ограничились лишь базовой защитой и не особо усердствовали в этом.