Daria Motorina

воспользоваться одним из 100500 доступных в инете манов/туториалов.
на их основе написать простенький скрипт, который будет вызываться одной командой и запускать 100500 других.

это, конечно же, если не хочется ждать волшебной пилюли, а сделать самому и хоть немного понять "а что происходит".

Я пробовал все три программы, хоть и не профессионально.
Имхо - если нет какой-то задачи, где нужен именно инвентор, то смысла отдельно его изучать нет. Логика работы в нём такая же, как и в солиде.

не в специальном окне, а, обычно, в ридми.
не специальные штуки, а бейджи.

начать можно с https://shields.io/
а дальше гуглить по обозначенным словам.

разработчику в Java EE для работы нужно знать огромное количество фреймворков

95% вакансий на рынке требуют только Spring. Правда, саму экосистему спринга можно изучать десять лет.

Для этого (не только для этого, конечно, но в том числе) и придумали брокеры очередей. Создаете событие, которое воркер будет обрабатывать в отдельном процессе. Я так делаю выгрузку по гигабайтным базам. В отдельном процессе происходит запись экселевского файла, а по окончании просто выдается ссылка на него.

public function show(string $slug, RegionFetcher $fetcher): Response
    {
        $region = $fetcher->findOneBy(["name.slug" => $slug]);
        return $this->render('app/admin/location/regions/show.html.twig', ['region' => $region]);
    }

Daria Motorina
https://serverfault.com/a/782128/441975

После указания:
opcache.memory_consumption = 128
(раскоментировал)
Импорт прошёл, видимо глючил кешер.

Обновлено: 18.03.2021
Я поторопился. Проблема никуда не ушла.
Но: 1-й запуск за сутки - позволяет импортировать. А вот последующий импорт - не доходит до конца.

Если важно: php-fpm 5.6, php-fpm 7.0, php-fpm 7.3, php-fpm 7.4(на выбор)
Скрипт запускается на php-fpm 7.4
mariadb Ver 15.1 Distrib 10.5.9-MariaDB
100 гигов оперативки
2 проца по 16 ядер 2.40GHz
И загрузка не превышает 50% проца и 70% памяти.
использую в скрипте:
mysqli_autocommit и mysqli_commit

Есть идеи? Импортирую по факту 100 000 статей, в 5 таблиц(количество таблиц к которым обращаюсь), и в одну из них - 15-20 записей(свойства). Итого 20-25 запросов максимум. И оно выпадает с:

[error] recv() failed (104: Connection reset by peer) while reading response header from upstream

Я уже не знаю что ещё пробовать. В теории будет ещё импорт с большим количеством записей, неужели делить по 10 000 ? Ещё идеи есть?

Обновлено
проблема была решена. Надо запускать под админом, в консоле. Тут нету прерывания.

все просто
НЕМЕДЛЕННО все ВЫКЛЮЧИТЬ.
Принести диск (или весь ноут) его в сервис по восстановлению дисков, пусть они вытащат диск и снимут с него все файлы.

Каждый раз когда вы пытаетесь что-то считать, есть вероятность что очередные несколько секторов выходят из строя, теряя ваши данные.

Да, недешево, но если вам нужны данные - это единственный способ вытащить оттуда максимум.
Все попытки что-то сделать по интернет инструкциям, если диск физически выходит из строя - риск потерять бОльше данных.

стоит или нет в первую очередь зависит от требований к сохранности и критичности потери.
не хотите/можете хранить в конфиге? не вопрос:
есть переменные окружения;
есть системное хранилище паролей практически в любой системе;
есть специализированные хранилища типа vault;

пароль htmlspecialchars для перестраховки

зачем?
htmlspecialchars кодирует служебные символы html. Зачем ее применять для пароля?
И вообще, пароль у вас никогда нигде не хранится в открытом виде, только его хеш и то внутри системы.

минимальную фильтрацию где это необходимо

верное направление мысли.

Необходимо в двух местах:
1. запись базу
2. вывод на страницу

Чтобы защититься от sql-injection при записи, используйте подготовленные запросы.
Чтобы не сломать верстку при выводе данных — используйте htmlspecialchars при рендере страницы. А лучше возьмите шаблонизатор. Они все по умолчанию эскейпят вывод.

разрешить в логин и имя только a-zа-яё0-9

Это уже не фильтрация, а валидация данных, к безопасности особого отношения не имеет и выполняется в других местах приложения.
Простой пример. Пользователь отправил форму.
Вы первым делом сделаете проверку всех полей на допустимые значения, на заполненность и т.д., и если что вернете посетителя обратно на форму с указанием ошибки. Данные здесь не изменяются.
Если все в порядке, вы будете писать эти данные в базу. Как я уже написал, используя подготовленный запрос. Опять же, ничего менять в них не требуется.
Потом, вы будете эту информацию где-то выводить на странице. Вот здесь уже, перед выводом, вы прогоните все через htmlspecialchars, возможно какие-то еще корректировки сделаете.

Но, опять же вы пишете про универсальную фильтрацию на все случаи. Так не бывает.
Если вы ожидаете во входных данных исключительно текст, то можно, например, смело резать все теги перед записью в базу. А если вы получаете их из визуального редактора, с разметкой, то резать теги уже не нужно.

у тебя уже есть коллекции:
1) пользователи
2) друзья (ключ id пользователя, значение set id пользователей или лучше объекты с нужной информацией)
делаешь 2 доп коллекции:
1) входящие заявки (ключ - id пользователя к которому стучатся в друзья, значение - set пользователей которые стучатся, set чтобы избежать дублей)
2) исходящие заявки (ключ - id пользователя который стучится к кому-то в друзья, значение - set id кому отправлены заявки)

- создание заявки: транзакция (читаем от кого, читаем кому, если все ок, то добавляем 2 документа в коллекции)
- получение статуса пользователя: читаем 2 документа и видим кому отправили, и кто нам отправил заявки
- подтверждение заявки: транзакция (читаем от кого, кому, проверяем что пользователь есть, если все ок то удаляем 2 документа, редактируем 2 документа в коллекции друзья, 2 док-та потому что нужно обновить от кого и к кому добавлен друг)