Декодировать данные, закодированные индивидуваьным алгоритмом

Question

[La2ha]

Занимаюсь парсингом сайта написанного на ASP.NET (www.iaai.com/Vehicles/VehicleAdvSearch.aspx?savepreference=true#anchorSearchResults) и там на каждый клик почти срабатывает JS функция __doPostBack() которая ajax-ом отправляет форму, и в ответ получает что-то вроде такого http://pastebin.com/c7eb9XhH проанализировав немного получилось составить задачу которую нужно выполить:
И так предполодим что наш ответ был такой:

10|updatePanel|h2.header|Привет мир|20|updatePanel|p.search|Элементов не найдено|0|deleteBox|#results||

Эта строка написана мной, но в ней используется тот же принцип что и в той что мне возвращается от ASP.NET.
И так прицип действия тут такой:
Эта строка состоит из трех блоков имеющих одинаковый принцип посторения который я хочу в итоге сохранить в ассоциативный массив. И так позьмем первый блок и разберем его:

10|updatePanel|h2.header|Привет мир|

Этот блок состоит из четырех подблоков разделенных символом |
1) 10 это количество символов в четвертом подблоке, для того чтоб не экранировтаь в нем наверно
2) updatePanel предположим что это действие, которое мы должны выполнить
3) h2.header это селектор над которым выполняется действие
4) Привет мир это строка из 10 символов(которые мы сразу указали)
И так задача представить это все в виде массива вот так:

$array = array(
    'updatePanel' => array(
        'h2.header' => 'Привет мир',
        'p.search'  => 'Элементов не найдено'
    ),
    'deleteBox'   => array(
        '#results' => ''
    )
);

Но этот массив должен создаваться не в ручную, а самим php, что-то не могу понять с чего даже начать писать функцию.

Answer 1

[Алексей Акулович]

Ну если интересует просто решение на PHP, то можно начать с такого

<?php
$s = '10|updatePanel|h2.header|Привет мир|20|updatePanel|p.search|Элементов не найдено|0|deleteBox|#results||';

mb_internal_encoding('UTF-8');

function fetchBlock($str, $offset)
{
    $p = mb_strpos($str, '|', $offset);
    if (false === $p) {
        return null;
    }
    $size = (int)mb_substr($str, $offset, $p-$offset);
    $offset = $p+1;

    $p = mb_strpos($str, '|', $offset);
    $name = mb_substr($str, $offset, $p-$offset);
    $offset = $p+1;

    $p = mb_strpos($str, '|', $offset);
    $key = mb_substr($str, $offset, $p-$offset);
    $offset = $p+1;

    $value = mb_substr($str, $offset, $size);
    $offset = $offset+mb_strlen($value);

    return array('offset' => $offset+1, 'block' => array($name => array($key => $value)));
}

$result = array();

$block = array('offset' => 0);
while ($block = fetchBlock($s, $block['offset'])) {
    $result = array_merge_recursive($result, $block['block']);
}

print_r($result);

На регулярках можно сделать компактнее, но для больших текстов (не как тут одной строкой) так будет пошустрее.

Возвращает именно то, что указано в вопросе.

Comments

[La2ha]

Огромное спасибо, именно то что нужно, даже не ожидал готового решения, надеялся на то что укажут направлние в котором двигаться.

Answer 2

[Алексей Сундуков]

В такой ситуации проще использовать серверные браузерные движки в духе PhantomJS. На выходе получаем сгенерированный html и не важно, что так и как кодируется. Все, что доступно в браузере, доступно и такого парсеру.

Comments

[La2ha]

Да, смотрел на него, и на связку ChromeDriver + python-selenium, но что-то боюсь что в этом случае мой скрипт парсинга >20000 страниц не сможет выполниться даже за сутки, и возможно ресурсов значительно больше будет тратиться. Хотя так конечно же было бы значительно проще.

[Алексей Сундуков]

В сутках 86 400 секунд. На 20 000 страниц это около 4 сек. в однопоточном режиме. Время более чем достаточное не только на построение DOM, но и сетевые задержки. Если параллельно запустить насколько таких парсеров, то можно и быстрее, чем сутки без проблем все спарсить. Это проще и быстрее, чем расковыривать пачку JS-ов.

[La2ha]

Да, возможно, но все же это не самое лучшее решение. И крайне желательно запустить это на такой машинке d.pr/i/iVb0
Да и задача впринципе не самая сложная пока что, JS я не расковыриваю потму что там у ASP какие-то вообще странные JS-ы, и в них страшно лезть. Но задача понятна и без их расковыривания пока что. Сейчас у меня уже появилась идея как это реализовать, работаю над ней, если сделаю поделюсь. Ну и вообще задача именно декодировать имея алгоритм кодирования, а не обойти это. Задал вопрос потому как не было идей вообще, а щас немного просяняется.

Answer 3

[Николай Сумрак]

Мб wget, wget+python, и тп?

Что до php, то, если я правильно понял задачу, то не вижу сложностей, хмм.
Если ответ состоит строго из нескольких частей по 4 блока например.
RegExp ы, и вперед. Или explode, и всякие substr.

Comments

[La2ha]

wget просто получит html, js он выполнять не умеет, поэтому этот тот же CURL для php. С получением даных проблем нет, проблема эти данные в виде массива представить. А именно не особо понимаю как мне эту строку начать обрабатывать, если бы там не было блока в котором | может не экранироваться, тогда задача проще становится, а так т просто RegExp а и explode не хватит, тут еще порядок действий определенный надо запрограммировтаь, щас работаю над этим, но туговато пока идет.

[Николай Сумрак]

# Перенес в ответы

Answer 4

[Николай Сумрак]

А получение данных curl + все те же regexp на поиск вызова js функции

Comments

[La2ha]

С получением данных у меня проблем нет, проблема с тем как их представить в виде удобном для дальнейшей обратобки. JS функуцию мне вызывать не надо.

Answer 5

[Николай Сумрак]

Разве такой вариант не будет работать? Хмм.

$text = "10|updatePanel|h2.header|Привет мир|20|updatePanel|p.search|Элементов не найдено|0|deleteBox|#results||";
$array = array();
while(mb_strlen($text)>0) {
	$data = explode('|', $text);
	$str = "{$data[0]}|{$data[1]}|{$data[2]}|";
	$data[3] = substr($text, (strpos($text, $str) + mb_strlen($str)), $data[0]);
	$array[$data[1]][$data[2]] = $data[3];
	$text = str_replace($str.$data[3], '', $text, 1)
}

Comments

[Николай Сумрак]

Если нужны комментарии кода:

<?
$text = "10|updatePanel|h2.header|Привет мир|20|updatePanel|p.search|Элементов не найдено|0|deleteBox|#results||";
$array = array();
while(mb_strlen($text)>0) { // повторяем, пока текст не пустой
// разбиваем на части. первые 3 части - строго определены, остальные - мб винегрет, но нам это неважно
	$data = explode('|', $text); 
// Определяем строку, после которой нужно выделять основной текст
	$str = "{$data[0]}|{$data[1]}|{$data[2]}|";
// Вырезаем текст "Привет мир". Начинаем с конца первых 3 элементов (начало строки $str + длина $str)
// вырезаем количество символов, которое было указано в первом элементе
	$data[3] = substr($text, (strpos($text, $str) + mb_strlen($str)), $data[0]);
// Заносим в массив
	$array[$data[1]][$data[2]] = $data[3];
// Вырезаем занесенное из текста и переходим к следующей итерации
	$text = str_replace($str.$data[3], '', $text, 1)
}
?>

[Алексей Акулович]

Не будет работать, если строки (4е параметры) содержат в себе "|".

offtop. и в str_replace 4й параметр используется по другому с другой целью.

[Николай Сумрак]

Даже если в 4 параметре будет |, то пример все равно работать будет, смотрите внимательней реализацию.

[Алексей Акулович]

Не поленился, запустил. Ваш вариант выдает:

Array
(
    [updatePanel] => Array
        (
            [h2.header] => Приве
        )

    [20] => Array
        (
            [updatePanel] => 
        )

    [Элементов не найдено] => Array
        (
            [0] => 
        )

    [#results] => Array
        (
            [] => 
        )

)

Если же сделать входную строку такой (то, о чем я выше написал):
$text = «10|updatePanel|h2.header|Привет|мир|20|updatePanel|p.search|Элементов не найдено|0|deleteBox|#results||»;

То вообще зацикливается.