Как снять ограничение 1000 в mysql REPLACE INTO?

Question

[Антон]

mysql 8, читаю файл и REPLACE INTO вставляю в mysql.
Файл может содержать 2000-3000 строк, но вставляется в таблицу только первые 1000.
В какой переменной искать ограничение?

Comments

[Dmitry Bay]

Вам обновить строки надо?
Или сделать insert ignore мб?

[Антон]

Dmitry Bay, если внешний id в строке уже есть в базе, то обновить все столбики в строке, иначе вставить как новую строку, потому REPLACE INTO использую.
Таблицы в inno db
Не уверен может эта настройка delayed_queue_size ?

[ThunderCat]

Антон,

читаю файл и REPLACE INTO вставляю в mysql.

Что за файл? SQL / CSV или просто текст? Вы вставляете как, по одной строек или одним большим запросом?

[Антон]

ThunderCat, да, оба формата файла пробую SQL и CSV, запрос один.

[Akina]

Нет в MySQL такого ограничения. В MySQl вообще, в принципе, есть только одна инструкция, способная выполниться частично - это LOAD DATA. А в большинстве СУБД таких вообще нет.

Рассказывайте, как именно вставляете, подробно.

PS. Часом, не через пых-админа?

[Антон]

Akina, php на кроне с таким кодом:
file.json - несколько тысяч строк

try {
$dbh = new PDO('mysql:dbname=mybase;host=localhost', 'login', 'pass', 
array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8'"));
$sth = $dbh->prepare("
   SET @json = LOAD_FILE('/......./file.json');
   REPLACE INTO test_load 
   (перечисляем ячейки) 
   select перечисляем ячейки
   from json_table(@json,'$[*]' columns
(
ячейка1 varchar(36) path '$.externalid',
ячейка2 varchar(36) path '$.externalname'....................
)
				) as jsontable
");
$sth->execute(); 
$info = $sth->errorInfo();

ячейка1 в индексе, уник.

[Антон]

Akina, Опытным путем установил, что в конце запроса нужно явно указывать LIMIT 10000 , иначе лимит будет 1000.

Answer 1

[Антон]

Опытным путем установил, что в конце запроса нужно явно указывать LIMIT 10000 , иначе лимит будет 1000.

Comments

[Akina]

Это скорее всего "сервис" от библиотеки доступа либо коннектора (первое вероятнее). Но в любом случае LIMIT 1000 добавляется до передачи запроса на MySQL (можно проверить, включив General Log).

LIMIT 10000

Если нужен LIMIT, лучше использовать максимально допустимое значение.