Array_unique на пятидесяти тысячах элементов, намертво вешает систему. Я написал замену. Прошу совета у опытных программистов?

Question

[Shimpanze]

Здравствуйте!

У меня есть массив строчных элементов, в котором 50 000 элементов, из них необходимо оставить уникальные.

При попытке использовать array_unique, на этой функции вешается сервер и ничего не происходит часами...

Я написал свою функцию. Но, насколько она оптимальна?

Прошу совета, есть ли алгоритм быстрее?

$part = 1000;
$pause = 10; // сек.

foreach ( $items as $im )
{
    /**
     * Счётчик, чтобы не перегружать ресурсы сервера.
     * Каждые $part элементов, делать перерыв $pause.
     */
    $j ?? $j = 1;
    /** Строка, чтобы знать, что что-то вообще происходит. */
    echo 'Обработка элемента ', $im, PHP_EOL;
    if ( $j++ % $part === 0 )
    {
        echo 'Ожидание ', $pause, ' сек.', PHP_EOL;
        sleep( $pause );
    }

    $keys_match = array_keys( $items, $im );
    $keys_to_del = array_slice( $keys_match, 1 );

    foreach ( $keys_to_del as $key_to_del )
    {
        unset( $items[$key_to_del] );
    }
}

Comments

[Дмитрий]

А откуда вы берете 50К элементов массива? Может дешевле на этапе получения этого массива обработать?

[Shimpanze]

Дмитрий, В моём случае, WordPress не позволяет получить все необходимые данные из базы за раз. Поэтому, приходится валить всё в одну кучу, а затем оставлять уникальные.

[Дмитрий]

Shimpanze, а вы уверены? Мне кажется вряд ли кто предполагал выгружать 50к записей в массив пхп и там ворочать. А что вы будете делать когда там 500к будет?

[Дмитрий]

Одного цикла хватит, используйте итераторы

[Shimpanze]

Дмитрий, Дмитрий, я придумал такое решение: Создавать временную таблицу MySql, закидывать всё туда, получать оттуда уникальные данные и уничтожать таблицу за собой. Насколько это профессиональное решение? Я читал, что MySql может переваривать любое количество данных за миллисекунды.

[Дмитрий]

Shimpanze,

Я читал, что MySql может переваривать любое количество данных за миллисекунды.

1. Как бы если бы MySQL мог переваривать любое количество данных за миллисекунды то не было бы кучи других инструментов. Так что это мягко говоря неверное заявление.
2. Как вы делаете выборку этих данных?

[Shimpanze]

Дмитрий, Спасибо. Вы были правы. Я переписал свой 'код' и теперь проверяю перед вставкой каждый элемент на уникальность через in_array. 40 000 элементов обрабатываются 40 секунд. Очень хороший результат для строковых значений. Больше уже не выжать.

[Дмитрий]

Shimpanze, вообще бд вполне может не давать возможность вставлять неуникальные записи, в бд можно удалять неуникальные записи, и из бд можно выбирать только уникальные записи. Вариант вешать это на уровень приложения - плохой.

Answer 1

[smilingcheater]

Вы пробовали загуглить "php array_unique performance"? Вы не первый, кто с этим столкнулся, и решения описаны много раз.

Самое простое, если не вдаваться в логику вашего кода - заменить ваш код на array_keys(array_flip($items));