Как парсить сайт, использующий Ajax?

Question

[AKurmazov]

Всем привет. Есть задача спарсить сайт www.realestate.ru/flatrent/4275750 , один из параметров - номер телефона владельца, но он подгружается с помощью Ajax'a. При нажатии на кнопку "Показать телефон" отправляется post запрос и во вкладке Network в разделе Response пишет только "OK"

Вопрос: Как можно получить данный телефон используя Python и requests?

Answer 1

[Saboteur]

Смотрите исходник страницы, берете в руки блокнот и калькулятор и ищете что тут за обсфукация
Конкретно на этом сайте все просто:

Находим вашу строчку с "Показать телефон":

"<div class="toogle-button" id="show-phone_button" blst="313548" lst1="313548" lst2="0">Показать телефон</div>"

Ищем, где используются эти blst, lst1, lst2 и находим

function ShowPhones(e)
{
	var blst = $(e).attr('blst');
	var lst1 = $(e).attr('lst1');
	var lst2 = $(e).attr('lst2');
	if (blst != "0")
	{
		$('.object-builder-phone').each(function ()
		{
			<b>ShowAttr(this, "blst", blst);</b>
...

Ищем ShowAttr и находим декодер:

function ShowAttr(e, attr, value)
{
	if ($(e).attr(attr) == "true")
	{
		var decrypt = value / 17;
		var p1 = Math.floor(decrypt / 100);
		var p2 = decrypt - 100 * p1;
		var t1 = ("" + p1).substring(1) + '-' + pad(p2, 2);
		$(e).text($(e).text().replace("...", "") + t1);
		$(e).attr(attr, 'false');
	}
}

вот и выходит, что blst="313548", делим на 17, получаеем 313548/17 = 18444
разбиваем на две части, убираем первый символ, добавляем между ними дефис, получаем: 84-44

Итого +7 495 626-... преобразовывается в [phone]

P.S. Можно даже проследить логику программиста, который забавно оптимизировал форматирование первой двойки чисел - чтобы не вызывать дополнительно функцию pad для форматирования нулей, он просто добавил 10000, чтобы нули просто были, и их можно было взять через substring. Для второй двойки чисел так нельзя, поэтому там вызывается pad.

Answer 2

[Vlad]

Easy.
Загружаем страницу, получаем атрибут кнопки "Показать телефон" вида blst="число".
Я напишу на PHP, сами дальше разберетесь.
Пишем функцию decrypt.

function decrypt($value) {
        $decrypt = $value / 17;
        $p1      = floor($decrypt / 100);
        $p2      = $decrypt - 100 * $p1;
        $t1      = substr("" + $p1, 1) . '-' . pad($p2, 2);
        return $t1;
}
function pad($num, $size) {
        $s = $num + "";
        while (strlen($s) < $size) {
            $s = "0" + $s;
        }
        return $s;
}

Вызываем функцию decrypt() с аргументом blst. Получаем недостающие цифры телефона через дефис.
Собственно, сама реализация есть у них на сайте :)

Comments

[Артем Кисленко]

Как догадались, если не секрет? Я при беглом просмотре совсем не понял...

[Vlad]

Артем Кисленко: shared.js :) Ссылка внизу страницы (в исходном коде, естественно)

[Roman Mindlin]

Своими словами там все еще проще:
в blst лежат последние 4 цифры номера в виде числа + 10000 и все это умножено на 17
Т.е. например если телефон оканчивается на 3206, то берем 13206 и умножаем на 17, в blst будет 224502
Раскодируется в обратном порядке.

[Вячеслав]

Артем Кисленко: Я лично понял это так - если в ответе ajax нет этого куска номера, значит вычисление происходит средствами самого js на стороне клиента.

[Saboteur]

чорт, не успел =)

[Saboteur]

Артем Кисленко: При беглом просмотре сразу смущают параметры blst, lst1, lst2 - это не html тэги, вдобавок при просмотре парочки страниц, видно что у разных телефонов они разные, у одинаковых - одинаковые.
Дальше просто ищешь где они используются.