Капитан Пронин

Нет смысла делиться конфигурациями, заточенными под решения определенных задач.
Нужно просто взять конфигурацию по умолчанию, погонять ее 1 день, а затем воспользоваться mysqltuner для определения оптимальной.

На POSIX системах можно использовать fgrep:

$ cat /tmp/file1.txt
aaa
bbb
ccc
$ cat /tmp/file2.txt
bbb
123
aaa
$ fgrep -f /tmp/file1.txt /tmp/file2.txt
bbb
aaa

Так что на PHP как-то так:

$output = shell_exec('fgrep -f /tmp/file1.txt /tmp/file2.txt > /tmp/dups.txt');

Однако, если требуется выполнять какие-то дополнительные манипуляции, тогда, возможно, лучше сразу импортировать в СУБД.

Добавлено:
упустил факт, что помимо дубликатов нужно оставить и неповторяющиеся значения. Тогда так:

$ sort -u /tmp/file1.txt /tmp/file2.txt
123
aaa
bbb
ccc

$output = shell_exec('sort -u /tmp/file1.txt /tmp/file2.txt > /tmp/dups.txt');

Есть ли какие-то диагностические инструменты на php?

Да. Называются термином APM. Устанавливается и интегрируется агент APM и тот собирает необходимые метрики. Для некоторых APM есть веб-интерфейс и в них можно узнать на какие запросы тратится много времени или других ресурсов. Без APM можно только гадать.

INSERT ... ON DUPLICATE KEY UPDATE

СУБД может сама проверить наличие записи перед вставкой либо по первичному ключу либо по другому уникальному ключу.
INSERT ... ON DUPLICATE KEY UPDATE - можно указать какие поля обновлять при нахождении. Допустим, обновить дату, наименование и т.д.
Необходимо добавить уникальный индекс, если отсутствует.

при перестроении индексов запрос начинает заметно тормозить

Я не уверен в этом. Как это было замерено?

По-моему, возможностей полно-текстового поиска Mysql должно хватить.
https://www.mysqltutorial.org/mysql-boolean-text-s...

Просто погуглить "docker mysql import csv" и ответ находится.
https://stackoverflow.com/questions/58576129/impor...

Попробуй подключить какой-нибудь APM, с помощью которого можно получить достаточно информации о запросах, соединениях и других характеристиках. Тогда не придется на кофейной гуще гадать.

https://dotnet.microsoft.com/apps/aspnet/hosting
MySQL SaaS:
https://www.jawsdb.com/
https://www.cleardb.com/#pricing
и пр.

безопасно хранить ключ

Можно хранить в хранить в Hashicorp Vault, доступ по API.

Один из важных элементов -- это данные об актуальном балансе средств клиента, которые хранятся в поле balance в таблице clients. По данному полю происходит постоянная нагрузка параллельными запросов на получение и изменение его текущего значения.

Поле balance можно вынести в отдельную таблицу, тогда не будет блокироваться таблица clients. Сейчас есть много операций чтения и записи в одной таблице. При отдельной таблица clients будет использоваться почти только для чтения, а таблица баланса с частой записью не будет блокировать запросы clients.

–pPassword_DB

Тут какой-то странный дефис.
Я бы попробовал -p 'секретно'
(с пробелом после -p)
Ну и убедиться, что хост верный. Если не localhost, то добавить ключ -h example.com
Если проблема с правами доступа, то дамп не создается и тогда логично что при перенаправлении файл пуст.
Так что предварительно я бы опробовал подключиться к консоли mysql:
mysql -u admin_name -p 'секретно'
И если подключение успешно, тогда уже запускать команду с mysqldump.

Опасность состоит в том что открыт порт 3306 в интернет. Нужно использовать SSH тунеллирование и не открывать 3306 наружу.
Насчет дыр в PMA тоже верно замечено - их активно эксплуатируют, если доступна по 80 порту.

Конфигурация mysqld.cnf
bind-address = 0.0.0.0
Такая ли?

Суть в том, что эти строчки периодически извлекаются по 1-2шт, когда-то больше, а когда-то меньше, можно и всё сразу, не так важно.

Нужно знать по какому принципу извлекают те самые строки.

Типа grep по строкам?
Если да, то поиск LIKE не особо эффективен.

Или там даты, timestamp?
Тогда лучше хранить в СУБД с колонкой datetime.

А может ключ-значение?
Тогда или две колонки в реляционной СУБД или же k/v хранилище.

Или же в них неструктурированные данные, просто текст? К примеру, журнал (log) может иметь некоторую структуру и парсингом расщепляется на составные части. Graylog, FluentD, ...

Исходя из описания проблемы чувствуется, что СУБД заменит весь этот огород, но нужно знать какие данные внутри и каким образом используются.

Я бы посоветовал расписать в вопросе больше о данных, если это возможно.

Вместо

SELECT COUNT(`id`) AS `count` FROM `users` WHERE `name` = '$name'

оптимальнее

SELECT 1 FROM `users` WHERE `name` = '$name' LiMIT 1

Потому что пользователей считать не надо. Достаточно получить ненулевую выборку.
Ну и, разумеется, добавить индекс по полю `name`.

Начните с самого простого. Установите MySQL Workbench, в котором есть такая
. Подключитесь к СУБД через SSH и понаблюдайте за графиками и цифрами во время работы сайта. Затем поделитесь с нами о своих наблюдениях в виде графиков и цифр. И тогда хотя бы будет о чем говорить.
Будет чудесно, если будет предоставлен отчет по команде
SHOW processlist
Почитайте также:
https://ruhighload.com/%D0%90%D0%BD%D0%B0%D0%BB%D0...
https://ruhighload.com/%d0%9a%d0%b0%d0%ba+%d0%b2%d...