Как решить проблему с дублями id в сфинксе?

Question

[Хуршед Абдужалил]

Есть парсер работает двумя потоками и записы добавляются в базу потом в сфинкс
Есть rt индекс при новой записи в базу, для добавления в сфинксе делаю так,
$flow - Это поток парсинга

$maxId = (new Query())->select('id')->from(Yii::$app->params['real_index'])->max('id');
if((($maxId % 2) == 0 && $flow == 1) || (($maxId % 2) != 0 && $flow == 2)){
                $id = $maxId + 1;
            } elseif((($maxId % 2) == 0 && $flow == 2) || (($maxId % 2) != 0 && $flow == 1)) {
                $id = $maxId + 2;
            } else {
                $id = $maxId + 1;
            }

Yii::$app->sphinx->createCommand(
                'INSERT INTO `'.Yii::$app->params['real_index'].'` (`id`, `product_id`, `product_name`, `description`, `company_id`) VALUES (:id, :product_id, :product_name, :description, :company_id)',
                [
                    'id' => $id,
                    'product_id' => (string)$model->_id,
                    'product_name' => $model->product_name,
                    'description' => $model->description ? str_replace('\'', '', $model->description) : '',
                    'company_id' => isset($model->company_id) ? $model->company_id : '',
                ]
            )->execute();

суть в том что , для первого потока id нечетные подставляются, для второго четные думал хоть так решу проблему, хоть и костыль (чтобы во время выполнения не получились дубли $id) но опять каким то образом получается дубли и выдает ошибку

Next exception 'yii\db\Exception' with message 'SQLSTATE[42000]: Syntax error or access violation: 1064 duplicate id '780214'

Answer 1

[Пума Тайланд]

если у вас два однопоточных парсера то четные не четные должны решить вашу проблему, отдебажьте код просто

Comments

[Пума Тайланд]

ну и если в бд и рт одни и теже индексы то при вставке в бд просто не пишите айди, а задайте ему в таблице автоинкремент

[Хуршед Абдужалил]

Пума Тайланд: тут просто в качестве бд используется mongo. при добавлении в монго добавляется и в рт, с двумя парсерами было, ок. Решили добавить еще 2, вот тут уже мой скрипт не поможет, можете подсказать как решить?

[Пума Тайланд]

Хуршед Абдужалил: так в монге айди хеш там не бывает дублей вы лечите нет

[Хуршед Абдужалил]

Пума Тайланд: в монго дублей нет, дубли в сфинксе

[Хуршед Абдужалил]

хеш же в качестве Id не получится записать в сфинксе

[Пума Тайланд]

Хуршед Абдужалил: почему не получится?

[Хуршед Абдужалил]

Пума Тайланд: потому что хеш не число, когда задаем хеш в качестве id ругаться начнет,
или в таких случаях 592e80f83643b85d53772ab1 берет только 592

[Пума Тайланд]

Хуршед Абдужалил: ну сделайте айди строкой, очевидно же

[Пума Тайланд]

А лучше в без айди обработки