Как ускорить фильтрацию большого количества товаров на сайте?

Question

[nikkon82]

Добрый день!
Подскажите, как ускорить фильтрацию большого количества товаров на сайте?

Пока на сайте около 10 000 товаров, разбиты по категориям и подкатегориям. На страницах категорий/подкатегорий есть фильтр товаров. Когда товаров в фильтре меньше 1000 - работает норм, но когда 2000-4000, то подгружает сами товары быстро на страницу, но атрибуты фильтров этих товаров обновляет медленно.

Планируется еще добавление товаров и есть подозрения, что будет еще дольше думать.

Как можно ускорить запросы и обработку большого количества товаров?

Comments

[Максим Грищенко]

смотреть что долго отрабатывает, скорее всего запросы в БД в циклах или что-то еще такого плана
ну и переписать это

был как-то случай в одном мною подконтрольном проекте -- мастер впилил в фильтр работу с интервалом цены -- он сделал запрос, выбирающий все варианты (30 тысяч), брал у них в цикле цены, потом находил минимальную и максимальную :) че-то там еще огромное делал... вместо двух ооочень быстрых 2 запросов :)

видел и в циклах запросы (сотни), слышал о десятках тысяч

[nikkon82]

товары сами грузятся ооочень быстро, но вот Фильтр обновляется с задержкой - в фильтр подгружаются атрибуты товаров, по ним и фильтрация работает.

Т.е. товары загрузились (около 4000 разбитых на страницы по 12 товаров) и спустя 2-4 сек обновляется Фильтр, на странице где товаров не много (около 1000) - все норм

[alex-1917]

чо за движок-то???
кусок кода выложил бы.
если и правда разница 2-4 сек,очевидно запрос на получение атрибутов корявый.
в консоли тоже 4сек? а то может атрибуты давно на месте, а 4секунды - это подгрузка визуальных рюшечек.
на текущий момент задачка для ДружкоШоу
UPD. 10к товаров = херня.

[nikkon82]

движок opencart 3

html:

{% if count_attr > '1' %}
<div class="box sf-attribute sf-attribute-{{ attribute.attribute_id }} sf-{{ attribute.type }} {% if is_collapsed %} is-collapsed {% endif %}" data-id=" attribute-{{ attribute.attribute_id }}">
  <div class="box-heading">{{ attribute.attribute_name }}</div>
  <div class="box-content">
    <ul class="sf_li {% if not journal2.settings.get('filter_show_box') %} hide-checkbox {% endif %}">
      {% for value in attribute.values %}
        <li><label><input data-keyword="{{ value.keyword }}" type="checkbox" name="attribute[{{ attribute.attribute_id }}]" value="{{ value.text }}">{{ value.name }}</label></li>
      {% endfor %}
    </ul>
  </div>
</div>
{% endif %}

controller:

/* attributes */
        $results = $this->model_journal2_super_filter->getAttributes($data);
        foreach ($results as $key => $result) {
            $display_mode = Journal2Utils::getProperty($module_data, 'attributes.' . $key, 'on');
            if ($display_mode === 'off') {
                continue;
            }
            $values = array();
            foreach ($result['values'] as $value) {
                $values[] = array(
                    'text'		=> rawurlencode(trim($value['text'])),
                    'name'		=> trim($value['text']) . ( $show_product_count ? ' (' . $value['total'] . ')' : ''),
                    'keyword'	=> $this->keyword($result['attribute_name'] . " " . $value['text'])
                );
            }
            $this->data['attribute'] = array(
                'attribute_id'		=> $result['attribute_id'],
                'attribute_name'	=> $result['attribute_name'],
                'display_mode'		=> $display_mode,
                'type'              => Journal2Utils::getProperty($module_data, 'attributes_type.' . $key, 'multi'),
                'values'			=> $values,
            );
			$this->data['count_attr'] = count($this->data['attribute']['values']);
            $this->template = 'journal2/module/super_filter_attributes.tpl';
            $filter_groups[] = array(
                'sort_order'    => Journal2Utils::getProperty($module_data, 'sort_orders.a_' . $result['attribute_id']),
                'html'          => $this->render()
            );
        }

model:

public function getAttributes($data = array()){
        if(isset($data['attributes']) && !empty($data['attributes'])) {
            $product_attributes = $this->getProductAttributes($data);
            foreach ($data['attributes'] as $attribute_id => $value) {
                foreach($product_attributes as $key => $attribute) {
                    if($key == $attribute_id) {
                        unset($product_attributes[$key]);
                    }
                }

                $temp_data = $data;
                unset($temp_data['attributes'][$attribute_id]);
                foreach($this->getProductAttributes($temp_data) as $key => $attribute){
                    if($key == $attribute_id) {
                        $product_attributes[$attribute_id] = $attribute;
                    }
                }
            }

            $results = $product_attributes;
        }else{
            $results = $this->getProductAttributes($data);
        }

        ksort($results);
        return $results;
    }

    private function getProductAttributes($data = array()){
        $data['start'] = 0;
        $data['limit'] = PHP_INT_MAX;

        $products = $this->getProducts($data);

        if (count($products) == 0) {
            return array();
        }

        $sql = "SELECT pa.product_id, MAX(a.attribute_id) as attribute_id, MAX(ad.name) as attribute_name, MAX(pa.text) text, COUNT(*) total FROM `". DB_PREFIX . "product_attribute` pa LEFT JOIN `". DB_PREFIX . "attribute` a ON a.attribute_id = pa.attribute_id LEFT JOIN `". DB_PREFIX . "attribute_description` ad ON ad.attribute_id = a.attribute_id";

        $sql .= " WHERE pa.product_id IN (" . implode(",", $products) . ")";

        $sql .= " AND pa.language_id = '" . (int)$this->config->get('config_language_id') . "' AND ad.language_id = '" . (int)$this->config->get('config_language_id') . "'";

        $sql .= " GROUP BY lower(pa.text), a.attribute_id HAVING COUNT(*) > 0";

        $query = $this->db->query($sql);

        $results = array();

        foreach ($query->rows as $row) {
            if (!isset($results[$row['attribute_id']])) {
                $results[$row['attribute_id']] = array(
                    'attribute_id'          => $row['attribute_id'],
                    'attribute_name'        => $row['attribute_name'],
                    'values'                => array()
                );
            }
            $results[$row['attribute_id']]['values'][] = array(
                'text'                  => $row['text'],
                'total'                 => $row['total'],
            );
        }

        foreach ($results as $attribute_id => &$value) {
            usort($value['values'], array('ModelJournal2SuperFilter', 'cmpAttrs'));
        }

        return $results;
    }

[web-mehanik]

journal 2 - дичь-шаблон.
посмотрите логи медленных запросов, если не нужен вывод количества товаров по категориям, то отключите его, посмотреть на долгие запросы и добавить индексы в таблицы, можно закешировать данные по атрибутам (не забыв добавить их очистку при добавлении/изменении товаров), но тут спорно, т.к. большое количество файлов в кеше или их размер могут негативно повлиять.
В конечном итоге в первую очередь смотреть лог медленных запросов, а дальше уже будет видно что тормозит

[nikkon82]

web-mehanik, тормозит именно обновление атрибутов в Фильтре, т.к. сами товары грузятся за сек..., а фильтры (по атрибутам) подгружаются еще сек 2-4.
Код по атрибутам для фильтра скинул выше.

[nikkon82]

мне кажется, что циклы в модели и циклы в контроллере - что-то явно лишнее и из-за этих циклов и тормозит, но как это сократить не могу разобраться..

[nikkon82]

web-mehanik, лог медленных запросов - даже не знаю где его смотреть, подскажете где включить или как?

[web-mehanik]

nikkon82, обычно /var/log/mysql/slow_query.log или что-то подобное, все зависит от настроек сервера, если у вас виртуальный хостинг, то напишите в поддержку

[Модератор]

nikkon82, дорогой пользователь, настоятельно рекомендуем еще раз обратить самое пристальное внимание на п. 3.1 регламента работы сервиса (и, в особенности, на его последний абзац).
В противном случае, ваши вопросы будут удаляться по причине тег-спама, а систематические нарушения приведут к блокировке учетной записи.

[nikkon82]

web-mehanik, посмотрели логи - самый долгий как и ожидалось по атрибутам - 1 0x1FEE9AB6025C7FCB 24.4336 36.3% 19 1.2860 0.19 SELECT oc_product_attribute oc_attribute oc_attribute_description

SELECT pa.product_id, MAX(a.attribute_id) as attribute_id, MAX(ad.name) as attribute_name, MAX(pa.text) text, COUNT(*) total FROM `oc_product_attribute` pa LEFT JOIN `oc_attribute` a ON a.attribute_id = pa.attribute_id LEFT JOIN `oc_attribute_description` ad ON ad.attribute_id = a.attribute_id WHERE pa.product_id IN (4728,4729,2280,2289,2290,2297,2298,2299,2300,4730,2317,2318,2319,2320,2321,2322,2323,2324,2325,2326/*... omitted 4043 items ...*/) AND pa.language_id = '1' AND ad.language_id = '1' GROUP BY lower(pa.text), a.attribute_id HAVING COUNT(*) > 0\G

[nikkon82]

код выше писал