Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

Дмитрий, вроде как автор писал, что пробовал отдельным insert слать без ORM. Если я его не правильно понял, тогда извиняюсь, тогда резон есть.
Хотя лучше, конечно, все равно одним insert, даже если включен prepared statements.

Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

Дмитрий, как выше и писал, "если бы коммитились после каждой записи," то да, выигрыш будет. Но автор же 30к одним запросом добавляет? Или нет?

Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

fman42f, собственно вопросы выше, поэтому что, если нет еще каких-то неизвестных тормозов в виде foreign keys, например, то вероятно уперлись в производительность InnoDB на конкретном диске. Можно попробовать loader и что-нибудь извращенное: либо "оптимизация" InnoDB (по-сути убивание отказоустойчивости), либо загрузку через промежуточную таблицу в MyISAM (с которой работает в разы быстрее почему-то).

проверял на горячую, вставка идет понемножку

в смысле понемножку? весь чанк в 30k, если вы его вставляете одним insert, должен появляться мновенно, а не понемножку.

Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

Дмитрий, так то да, если бы коммитились после каждой записи, но при чанке в 30к скорее больше будет накладных расходов на поддержание snapshot. И чем активнее используется таблица, тем дольше будут блокиовки. Тут скорее может немного улучшить ситуацию уменьшение размера чанка.

Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

Вставка в одну таблицу? Другие таблицы ссылаются на текущую? Сколько записей в текущей таблице? Партиционирование, триггеры или что-то еще?
Исключите чисто диск, создайте новую таблицу и проверьте скорость на ней.

Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?

И на кой ему еще и транзакция, если один insert проходит долго?

Ожидает ли интерпретатор исполнения функции в php?

Не совсем так, есть асинхронный curl. Но в основном, конечно, нужно подключать расширения. А, если вообще про параллелизм, то есть еще и threads.

Как при запуске сервера, запустить CRON с нужным окружением python?

скрипт не запускается

Что в логах?

Почему конфиг Mysql пустой?

ilezovofficial, там же написано "client", а не сервер. И даже есть ссылка на документацию...

Что делать если я не могу научится самостоятельно писать код даже с опытом работы на реальном проекте?

так и не научился писать код

постоянно получал по шее от менеджмента за то что очень медленно все делаю

Есть большая разница, между "не умею писать код" и "все делаю медленно". Если действительно не можете написать, то что требуется, значит вернитесь к более простым задачам, не все сразу. Если считаете, что медленно делаете, то мнение менеджера в этом вопросе совсем не показатель, ориентируйтесь на других разработчиков.

Какие данные передает PC при использовании лимитного подключения?

SunriseDigital,

За час подключения слишком много мегабайт утекло, ищу куда.

Так может ваш вопрос не в том, куда утекло, а чтобы не утекало? И тогда нужно изучать не Wireshark, а настройки фаервола.

Как бы упростить непростое сравнение строк?

Adamos, ну да, проглядел, что все помещается в 64бит. Подсчет кол-ва установленных битов не простая операция, вот статья с наиболее быстрыми способами https://habr.com/ru/articles/276957/

Как бы упростить непростое сравнение строк?

Adamos,

Да, в нем есть gmp_popcount. Но вызов функции - сам по себе дорогая операция.

Не используйте только для подсчета битов, перепишите все на gmp. Это будет быстрее, длинная арифметика для этого и создавалась.

Есть ли список распространённых и общепринятых слов для именования переменных в PHP?

Ипатьев, ну почему неправда, да, psr разрешает и другие форматы, но dromedary как вариант, и на мой взгляд самый распространённый сейчас.

Почему PHP не исполняется построчно, хотя он интерпретируемый?

Кирилл Несмеянов, в принципе, да, хотя это все таки кеширование. Но, хоть с кешем, хоть без, смысл не меняется.

Как добавить два подкаталога из разных каталогов в один репозиторий?

Сейчас я копирую эти папки в "корневую" папку вручную, но хотел бы найти более удобное, автоматизированное решение

Это задача менеджера пакетов, зависимостей, а не git.

Почему режется скорость передачи данных только в одну сторону между двумя удаленными пк в разных VLAN?

Если они в разных vlan, кто-то же должен форвардить из одного в другой. Скорее всего это и будет проблемной точкой. Посмотрите трейсером, какие узлы проходит пакет в разных вариантах.
И на кой vlan в вашей сети, если они все равно друг к другу в гости ходят. Почему бы не настроить коммутаторы перед пк, чтобы они тегировали пакеты в нужный vlan и наоборот?

Как ускорить запись в базу?

Попробуйте загружать из файла, обычно это самый быстрый способ.

Как исправить ошибку 503 при запросе через haproxy?

d-stream, именно так, все зависит от задачи. Нужно исходить из того, что эффективней. И тут я не эксперт.

Как исправить ошибку 503 при запросе через haproxy?

d-stream, задачи бывают разные, я не эксперт, но в общем случае балансировщик наверное не должен этим заниматься, лучше чтобы он просто пробрасывал далее, чтобы у него была только одна задача. А зачем автору haproxy трудно сказать.