VT100

Приведите, до кучи, и схему. Понятно, что подключено не через I2C адаптер, а напрямую. А что, например, с выводом контрастности (обычно - № 3)? Если индикатор с расширенным температурным диапазоном, то туда надо подавать напряжение примерно минус 2 В.

У этого дисплея уровни 5-вольтовые уровни напряжения

По коду - чтение из дисплея не производтся, значит выдачи 5 В на ESP нет. А на запись данных - дисплей имеет "TTL уровни", хорошо сопрягающиеся с CMOS микросхемами при питаниии 3,3 В.

Некоторое время знаком с контроллерами по типу арудино.
.....
Но все это сделано на стандартных базовых компонентах, которые можно найти в контексте поиска ...

Бросить "ходунки" Arduino и осваивать языки высокого уровня (ЯВУ), типа Си. Начать, например, с понимания подводных камней millis и освоения концепции прерываний.
Осваивать электронику, чтобы иметь возможность правильно подключить любой датчик с открытой документацией (+ технический английский) и написать "драйвер" для него под любой микроконтроллер самостоятельно или, хотя бы, - уметь разобраться со скачанными из интернета схемами и кодом для review или исправления ошибок.

Текущие поплавочные датчики ужасные, судя по отзывам, геркон в них может залипнуть ...

Собрать информацию об условиях (перегрузки по выходу) и причинах (ошибки в конструкции и/или монтаже) отказов. Обдумать применимость источников отказов применительно к своей системе.

Я пытался найти более дорогие датчики ..., но не понимаю, если это релейный датчик, ...

Навык "Электроника" в приложении к "Промышленная автоматика".

Датчики в баке я хотел бы заменить на датчики определения уровня, то есть понимать, сколько конкретно воды в баке ... Некоторые делают кондуктометрические, но я вообще не понимаю как это работает.

Измеряется проводимость (conductivity) между электродами (может быть и более двух), погружёнными в измеряемую среду. Самые заметные подводные камни - коррозия электродов и электролиз среды. Навык "Электроника" в приложении к "Конструирование датчиков неэлектрических величин".

... кроме дешевых М8 коннекторов, на проводе ничего не нашел. Хотя видел, как люди встраивают гнезда в коробки и подключают обычным plug-and-play - что это за коннекторы?

M8 - вполне промышленное решение. Если не купить по ошибке соединители с обжимными контактами и колхозить обжим пассатижами.
Что понимаете под PnP применительно к соединителям?

чтобы посоветовали 1 книгу для изучения схемотехники или электроники

Попробуйте классику - "Искусство схемотехники" Хоровица и Хилла. Там и печка есть и куда от неё танцевать.

Каскады на Q1-Q4 сделаны как-то глупо, транзисторы всё время открыты.
Что за энкодеры применены?
И вообще - зачем "святые оптрончики", если они не делают гальваническую развязку?

Помимо ARM, такой трюк можно сделать и с микроконтроллерами MCS51. Очень занятно получается с контроллерами серий FX производства Infineon/Cypress - загружая программу через USB.

Подавляющее большинство производимых ИМС - соответствуют документации на них. Написано "минус 40 °С" - так и есть.
Куда больше зависит от прокладки между клавиатурой с одной стороны и firmware + hardware с другой.

Только ещё снизить частоту SPI. ЕМНИП, не более ¼ тактовой частоты контроллера. Видать - чуток не хватает.

"Смешались в кучу кони, люди..."
Если нужно отлаживать программу микроконтроллера - достаточно IDE для соответствующей архитектуры. Спускаться на уровень логических элементов и тригнеров - ни к чему.
Если разрабатывать сам микроконтроллер - потребуется что-то вроде Quartus, Vivado, Mentor и т.п. В них оспользуются т.н. "языки описания аппаратуры" - Verilog, VHDL, System C.
А если надо симулировать взаимодействие программы МК с внешними схемами - там и Proteus можно и многое ещё.

Опишите задачу подробнее.

А также - пройти сертификацию. Ибо "вмешательство в конструкцию ТС".

ИМХО, весь high tech, где могут быть востребованы такие навыки, это:
- производство военки (и "давления не сведущих в теме военных на разработку до бюрократии и невозможности использовать адекватные современные компоненты." - это не только придурь, но и необходимость);
- телекоммуникационного оборудования (включая software defined radio);
- измерительного, промышленного и медицинского оборудования;
- и разработка чипов (худо-бедно, но их и разрабатывают и производят - как в РФ, так и на "не санкционных" foundry за рубежом).
Всякие попытки вписываться в "бытовуху" (привет, Соноф) - в той или иной мере обречены ввиду наличия Китая и остальной ЮВА.

По специальности не работаю (спасибо 90-м), но держусь близко. И pet'ы.

Главное - правильная схемотехника и отлов кривых алгоритмов. Контроллер (и прочая комплектация) - не выше 2..3-го места.

Если схема соединений с ЖКИ и его скетч "неизменны", то можно "расшарить" цифровые выводы между ЖКИ и RTC. Пока линия !EN в "1" все остальные линии, задействованные для обмена с ЖКИ, можно использовать для других целей.

Если есть какой-нибудь "USB-шнурок" на FT232 - наверное подойдёт AVReal или AVRdude.

Ну и не забывать, что и у стабилитрона и у TL431 "перегиб" характеристики не резкий.

Оптимум, КМК, правка прошивки ECU.

Исследовать USBASP на предмет "выдать на свободный пин некую частоту для разлочки ошибочно установленного режима тактирования", подать эту частоту на вход XTAL1 и перепрограммировать Fuse bits. При необходимости - снизить частоту обмена на шине SPI.
Или поискать "AVR fuse bit doctor".

Для верного решения недостаточно вводных - токи нагрузки, желаемая эффективность (КПД и время работы при заданной ёмкости аккумулятора).

А 1117 конечно не будет работать, т.к. требует для работы минимальное падение вход-выход в 1.25 В, ЕМНИП.