Как в ORM битрикса добавить distinct к запросу?

Question

[Георгий Баручян]

Всем привет!
Есть таблица, описанная в Entities\Marketing\PostingTmpTable
В ней хранятся промежуточные данные по рассылкам с сайта. В таблице около 500 000 записей. Собирается дополнительным скриптом.
Основное используемое поле EMAIL. По нему происходит связь с другими таблицами
есть hlBlockEntity - > хайлоад блок, с дополнительной информацией по подписчикам
\Bitrix\Sender\PostingRecipientTable - битриксовая таблица, с адресатами, кому какая отправка была (\Bitrix\Sender\PostingTable)
В таблице \Bitrix\Sender\PostingTable есть поле MAILING_ID - id группы рассылки, по которому делается фильтрация

Получается, примерно такой запрос:

$query  = (new \Bitrix\Main\Entity\Query(\Entities\Marketing\PostingTmpTable::getEntity()))

	 ->registerRuntimeField('PROPERTY', [
        'data_type' => $hlBlockEntity,
        'reference' => [
            '=this.EMAIL' => 'ref.UF_EMAIL'
        ]
    ])
    ->registerRuntimeField('RECIPIENT', [
        'data_type' => '\Bitrix\Sender\PostingRecipientTable',
        'reference' => [
            '=this.EMAIL' => 'ref.EMAIL',
        ],
    ])
    ->registerRuntimeField('POSTING', [
        'data_type' => '\Bitrix\Sender\PostingTable',
        'reference' => [
            '=this.RECIPIENT.POSTING_ID' => 'ref.ID',
        ]
    ])
    ->where('POSTING.MAILING_ID', 6)
    ->setSelect(/* сюда ставлю собираемый массив селектов, к делу не относится*/)
;

Проблема в том, что в таблице Bitrix\Sender\PostingRecipientTable 7 000 000 записей, и на каждый email адрес может быть множество записей
Из-за этого в результате, отбирая по POSTING.MAILING_ID = 6, я получаю результатом количество записей большее, чем в моей таблице Entities\Marketing\PostingTmpTable

Если воспользоваться методом $query->getQuery() и к полученному sql запросу добавить distinct, то результат становится верным.
Отсюда вопрос, как для объекта query добавить distinct?? в битриксовой документации ответа не нашел, в классе query тоже.

Есть \Bitrix\Main\Entity\Query::expr()->countDistinct("ID") - но это подходит, только для общего подсчета элементов, а в самом запросе я использую limit, для вывода ограниченного количества записей, но у меня получается много дублей, который быть не должно.

Надеюсь, что понятно изложил суть вопроса!

Comments

[Георгий Баручян]

Пообщаюсь с самим собой!
пока вижу два странных варианта решения:
1) создать класс наследник от Query, переопределить метод buildQuery (добавить DISTINCT к собранной строке select)
2) извлечь из собранного запроса методом getQuery строку запроса, добавить в строку DISTINCT и выполнить чистый sql через

$connection = Main\Application::getConnection();
$connection->query($sql);

[Александр Филиппенко]

Я с помощью группировок подгонял запрос под нужный вид.
И ещё, есть миф что JOIN всегда лучше нескольких последовательных запросов. Это не всегда так, попробуйте переписать без JOIN. Разница скорее всего будет минимальной, и иногда бывает в пользу варианта с несколькими запросами.

[Георгий Баручян]

Александр Филиппенко, я хотел так сделать, но у меня, помимо описанного, идет фильтрация по ряду полей из привязанных таблиц. Получается, что если у меня limit 100 и то нужно будет выбрать 100 записей из каждой привязанной таблицы, а потом высчитать пересечение результатов по EMAIL и их может получиться меньше 100, хотя совпадения еще будут

Answer 1

[serginhold]

Вообще в документации есть expression field
https://dev.1c-bitrix.ru/learning/course/index.php...

new Entity\ExpressionField('DISTINCT_ID',
'DISTINCT %s', array('ID')
)

по идее это в select

Comments

[Георгий Баручян]

Спасибо!
Сделал немного по другому, но суть та же. Мне нужно было оставить сущность в первозданном виде, пожтому сделал через registerRuntimeField:

$query
                ->registerRuntimeField('DISTINCT_ID', [
                    'data_type'=>'integer',
                    'expression' => ['DISTINCT %s', 'ID']
                ])

и в селект добавил DISTINCT_ID