Как спарсить генерируемую ссылку в Python?

Question

[Сергей Нижний Новгород]

Такой вопрос:

Пишу парсер для сайта. В одном моменте, где нужно взять ссылку для дальнейшего захода, она инкапсулирована и html-её не видит. Т.е. для пользователя она есть, но парсер видит не ссылку, а js, который её генерирует.

Сама ссылка: https://examples/chats/view?chat_id=56399666&type=...

А код, который её генерирует, и который видит парсер:

var transfer = (aData[9]) ? 'class="icon arrow-circle" title="'+'Принят от '+aData[9]+'"' : '';
                $('td:eq(6)', nRow).html('<span '+transfer+'>' + aData[6] + '</span>').find('.arrow-circle').tooltip();
                $('td:eq(7)', nRow).addClass('action');
                var link = (aData[8] == 'offline') ? 'offline_id' : 'chat_id';
               <b> link = '/chats/view?'+link+'='+aData[0]+'&type='+$type.val()+'&rating='+$rating.val()+
                                                '&period='+$period.val()+'&back='+backUrl;</b>
                if ($period.val() == 'other') {
                    link += '&from='+$("#dateFrom").val()+'&to='+$("#dateTo").val();
                }

                var removeLink = (aData[8] == 'offline') ? 'offline_id' : 'chat_id';
                removeLink = '/chats/remove?'+removeLink+'='+aData[0];
                $('td:eq(7)', nRow).html('<ul class="list-inline menu">' +
                   <b> '<li><a href="'+link+'" id="see" class="icon eye">Просмотр</a></li>'+</b>
                    '<li><a href="'+removeLink+'" id="remove" class="icon close-icon">Удалить</a></li></ul>');

                return nRow;

<b> '<li><a href="'+link+'" id="see" class="icon eye">Просмотр</a></li>'+</b>

- вот тут ссылка

Не подскажите, мб как-то её можно выцепить? Использую requests и BeautifulSoup

Answer 1

[angru]

я как-то уже отвечал на подобный вопрос, на мой взгляд такой подход проще и дешевле, чем заморачиваться с selenium/pyv8/phantomjs/etc

Comments

[Андрей Данилов]

Способ понятный и не вынуждает разбираться во всяких там фреймворках – это, конечно же, его достоинство.
Но он не всегда себя оправдывает. А что если JS будет обфусцирован или просто трудночитаемым и сложным?
Можно с ума сойти, переписывая всю JS-магию на стороне своего приложения.

[angru]

Андрей Данилов: само собой разумеется, но всегда есть компромиссы, и выбирать вариант с исполнением js стоит только в самом крайнем случае, т.к. не столько сложно изучить эти библиотеки, сколько там совсем другие порядки используемых ресурсов(это конкретно про selenium, про другие не знаю), для парсеров такое не очень подходит. В нашем же случае js не обфусцирован и не сложный. Можно даже не лезть в js, а просто изучить апи по запросам, по крайней мере я стараюсь так делать.

[Сергей Нижний Новгород]

Ребят, я правильно понял, что какого-то "стандартного" решения нет? Только танцы с бубном вокруг логики формирования ссылки или выполнения js в подключаемом модуле?

[angru]

Terras: я не пойму, чем вас эти танцы с бубном не устраивают? логика формарования ссылки элементарная, все данные вы можете вытянуть со странички, так в чем проблема?

Answer 2

[Avrong]

JS код что делает? Есть вариант - портировать его на Python. Тогда ссылка генерироваться будет прямо у вас.

Comments

[Сергей Нижний Новгород]

Берет название сайта - добавляет виджет ID - добавляет дату и еще ряд внутренних перемен и выдает рабочую ссылку.

Проблема в том, что эти данные есть уже после перехода по ссылке и в БД. А доступа к БД нет.

Answer 3

[devel787]

Возможно, чем-то поможет phantomjs.org