Philipp

Мене 52 начал в 40 полёт прекрасен. Я думаю никогда не поздно, было бы желание.

Определенно, возможен.
Вот например: https://github.com/antonmks/nvParse

Начните отсюда.

Просадка идет на 80% по процессору

считывайте данные крупными блоками и обрабатывайте в асинхронном мультипоточном режиме.

Ответ на вопрос "почему" заключается в одной емкой фразе: потому что сложно синхронизировать интерфейс и состояние.

Представьте, что у вас есть простой UI какого-нибудь ToDoApp. Вам всего-то нужно сделать так, чтобы при вводе новой задачи она появлялась в списке, а при нажатии на крестик напротив удалялась бы. Проще простого!

Но когда начнете решать проблему на нативном JS или на б-гомерзком jQuery, вы столкнетесь с необходимостью писать очень много шаблонного кода. Прежде всего на обслуживание DOM. Найти элемент, вставить элемент, добавить элементу класс, атрибут... в итоге у вас получится портянка на десятки строк для такой элементарной задачи, а ведь мы еще не добавили много кульных штук, без которых ToDoApp совсем не ToDoApp, как-то: возможность создавать разные списки, расписания, галочка, чтобы зачеркивать задачу и т.п. С реализацией всего этого ваша простыня будет расти, вы будете в ней путаться.

На этом этапе вы можете начать велосипедить. Писать какие-то утилиты для работы с DOM. Разделите index.js на несколько файлов, сообразно DDD или хотя бы единой ответственности. Допустим даже, что вашим приложением внезапно стали пользоваться, у вас куча бизнес-идей. Вы начинаете наваливать фичи, структура становится все запутаннее, кода становится все больше, а еще приложение начинает тормозить. Вы проводите небольшой анализ и понимаете, что проблема в излишне частом обращении к DOM - вы дергаете его на каждый чих, ведь с jquery это так просто! И что делать? Писать еще один велосипед, чтобы обновлять DOM пакетно? А как отслеживать изменения в данных с сервера? Это ж сколько работы!

К счастью, все вышеописанное, и даже гораздо больше, уже решено в Google, Facebook, а также некоторыми талантливыми энтузиастами. И у нас есть Angular, Vue, React, Svelte, которые предлагают вам возможность создавать быстрые, поддерживаемые приложения с минимумом шаблонного кода и продуманной архитектурой.

Сам кодер PHP

Кодер PHP не мог бы задать такой вопрос, ИМХО. Скорее всего вы говнокодер на PHP, т.к у PHP тоже есть фреймворки, и если вы умеете в PHP, то должны быть наслышано по YII2, Laravel, Symfony и тд. И примерно должны понимать для чего люди разрабатывают фреймворки, и какие проблемы фреймворки и их модули решают.

Правильный ответ: автоматизация, быстрое решение однотипных проблем, стандартизация кода, разработка документации под конкретный фреймворк, дабы помогать разработчикам делать более лаконичные и "красивые" продукты, нежели каждый раз писать свой велосипед(что не мешает его писать даже на фреймворах).

То же самое применимо и к JS фреймфоркам, т.е в нем уже есть готовые инструменты для разработки.

1)

запросы простые, типа SELECT id FROM .. where d_idx=? and a_idx=?; ну и INSERT.

Все же проверьте slow-query-log, возможно есть тяжелые запросы, не использующие индекс

2) насколько понимаю, при большом кол-ве insert, InnoDB будет работать быстрее, т.к. нет блокировки всей таблицы при записи

Не изобретайте велосипед , поставьте invisible recaptcha ...

Если все таки аж распирает от велосипедостроения вшейте пиксель в css или js который будет являться тем кто запишет в сессию пользователя флаг бот это или нет

Ваш js модуль песполезен, такие фильтрации надо делать на бекенде

Ммм, а разве ограничение ресурсов памяти не помогает в этом?

resources:
  limits:
    memory: "1024Mi"

Без уклона именно в веб могу порекомендовать глянуть в сторону SWEBOK - своду знаний по программной инженерии, который принят в качестве международного стандарта ISO/IEC.

Страница по SWEBOK на Википедии.

Самый тупой способ, добавить в скрипт что-то вроде

ignore_user_abort(true);
set_time_limit(0);

Но лучше действительно, как советует Иван Шумов, пересмотреть сам подход.

1. Правильно думаете, только если Вы ищите такие пары среди ВСЕХ пользователей и ВСЕХ фильмов, то тут не обойдётся без полного сканирования всех 3 таблиц. Поможет кеширование, либо функциональные индексы, либо какие-то сводные таблицы управляемые триггерами или materialized view.
2. Active это bool или статус из списка? В любом случае тут нужен индекс по city_id и либо по полю active, либо частичный индекс where active = true. (надеюсь у Вас PostgreSQL)
3. Просто where с 2 условиями? Или есть подвох?

Запросы сложными тут быть не должны, но нужно предусмотреть правильные индексы чтобы это работало быстро.
Если нужна помощь именно с запросами, создайте https://www.db-fiddle.com/ с примерами данных, хотя бы строк по 10, чтобы ясна было структура

классический телеком стал трубой больше десяти лет назад
уходить можно куда угодно так как опыт тех кто не делал какие то прикольные штуки в телекоме просто не релевантен, а книжку по сетям на 400 страниц формата а4 можно и за месяц прочитать , а не за 10 лет .
так что можно смело идти куда угодно на любые должности и профессии в айти
как я собственно говоря и десять лет назад и сделал из телекома

Disclaimer: я регулярно даю на собеседованиях тестовое задание "сделать что-то без фреймворков", все что написано дальше это моя личная точка зрения.

Смысл задания в том, чтобы увидеть какие велосипеды будет использовать соискатель, какой код напишет когда не будет жестких рамок навязанных фреймворками.
Если бы хотели проверить ваше умение гуглить готовое - задание звучало бы "собрать из готовых библиотек".

Отдельный вопрос - почему вы вдруг хотите использовать внешние пакеты, если у вас нет уже проверенных с чем вы работали ранее?

По списку:
1. Роутер: https://github.com/search?q=php+router
2. Аутентификация пользователей - зачем тут какой-то пакет??
3. ORM - использование ORM в живом проекте очень холиварно. Скорее всего смысл задания - проверить еще и ваше умение писать запросы руками.

Я не в теме, но вот есть походу проект который вам нужен - https://github.com/giulbia/baby_cry_detection