Как долго может фильтроваться такой файл?

Question

[Ninja Mate]

Есть плагин для wp который должен старую бд магазина импортировать в новый на woo. Там два csv документа первый 75 000(10 столбцов) и второй 22 000(два столбца) из них делаю два arrey и нужно их пропустить через фильтр

//Вспомогательная функция которая ищет пару записей относящихся к одному товару
function searchForSku($sku, $array) {
    foreach ($array as $key => $val) {
        if ($val['sku'] === $sku) {
            return $key;
        }
    }
    return null;
}

function sort_this( $arr, $ar ){
$array_sort = array();

    foreach ( $ar as $array ) {
        $i = searchForSku( $array['sku'], $arr );

        if( $i != null) {
            $result =  array($array_sort[ $array[ 'sku' ] ] =>  array_merge( $arr[$i] , array('description' => $array['description'] ) ) );

            array_push($array_sort, $result);
        }

    }
//Ответа долго нету
    $t = $array_sort;

    file_put_contents('theArray.txt', var_export($t, true));
    // сдесь прерываю и хочу все записать
    //img_exist( $array_sort );
}

Сколько такое в теории может занять и как можно ускорить?

Answer 1

[Денис Кайназаров]

Время зависит от производительности сервера, но одно скажу точно - достаточно, чтобы отвалиться по timeout.
У меня была похожая задача, правда был один xml а не два csv, в итоге я загнал данные в postgres и уже там обрабатывал sql запросами.

searchForSku можно заменить простой конструкцией
array_search($sku, array_column($array,'sku')) если php > 5.5.0

Comments

[Ninja Mate]

я таймер поставил и от 4 до 68 секунд уходит на один поиск. у меня их 22 000 уникальных, мне кажется это медленным или 488 часов это много??? может в js в несколько потоков запустить с разных мест файла и потом в один файл на промисе залить?

[Ninja Mate]

всегда false array_search($array['sku'], array_column($array,'sku')); PHP 5.6

[Денис Кайназаров]

Ninja Mate: если на node.js то да - вариант а асинхронностью неплох

Что касается скорости выполнения - то она должны быть не более 1 сек, все что вылезает за это - либо распаралелить либо вынести в очереди.

[Денис Кайназаров]

Ninja Mate: на счет array_search($array['sku'], array_column($array,'sku'))
сделал следующий пример, если структура данных отличается - то нужно будет поправить:

$array = [
[
'id' => 1,
'created_at' => date('Y-m-d H:i:s'),
'sku' => 'Вася'
], [
'id' => 2,
'created_at' => date('Y-m-d H:i:s'),
'sku' => 'Петя'
], [
'id' => 3,
'created_at' => date('Y-m-d H:i:s'),
'sku' => 'Григорий'
], [
'id' => 4,
'created_at' => date('Y-m-d H:i:s'),
'sku' => 'Вася'
],
];

$x = array_search('Григорий', array_column($array, 'sku'));

var_dump($x, isset($array[$x]) ? $array[$x] : null);

На будущее - чтобы тестить код, нужно сделать контрольный пример например 2 csv файла на 10-20 строк, тестить на них а потом запускать на основном наборе.