Какой стэк использовать для быстрого доступа данных?

mr.bob, не совсем понял что там было неудобно ну да ладно. Смотрите. Основной юзкейс Эластика - это к примеру система формирует тера-байты логов. И вам (случилась авария) надо срочно и быстро поискать по логам через эластик два-три ключевых слова. Вот здесь Эластик силен. Все остальные попытки его к чему-то прикрутить (к бизнес-логике) будут скорее всего провальны. Гарантии будут во много раз слабее чем при работе с монгой или с реляционной БД тем более.

Как реализовать проверку файлов при загрузке по хешу?

Открою секрет. Современные облачные хранилища (я проверял AWS S3 и Azure Blob) автоматически генерируют MD5/SHA1 хеши и хранят их рядышком с файлом как object attributes. Там-же хранится дата модификации, mime-type и прочая лабуда. Более того расчет этих атрибутов идет автоматически. Без вашего участия.

Если вы - счастливый обладатель таких облак - то welcome. Если нет - то просто берите идею на вооружение. Или может yandex cloud уже внедрил. По поводу того где хранить. Можно хранить в файловой системе как директорию с md5. Например

fdbea1219eb9d68449853469112f7523/millajovovich.jpg
9d93e579ecbcd21ecae7bdf588ba7314/Milla_Jovovich.jpg

Как обойти все файлы и обновить хеш? ХЗ. Наверное в лучше это делать по событию загрузки в PHP.
А для тех файлов что уже загружены - посчитать суммы через утилиту md5sum.

А вот пример того как это уже реализовано (для чтения только) в maven repository с точки зрения HTTP/Rest
Смотрим хедеры файла. И видим аж 2 контрольных хеша. Дальше можно принимать решения по загрузке файла.
Не грузить если таковой уже был.

$ curl --head https://repo1.maven.org/maven2/com/wavemaker/app/build/wavemaker-app-build-utils/10.15.0/wavemaker-app-build-utils-10.15.0.jar
HTTP/2 200 
etag: "03e5dd1c94b3e9bbf4d4c5c9c31c7781"
content-type: application/java-archive
last-modified: Sun, 24 Jul 2022 14:33:41 GMT
x-checksum-md5: 03e5dd1c94b3e9bbf4d4c5c9c31c7781
x-checksum-sha1: cd6a543bdbd42053c5cdaaf776320fc9c155d76a
....

Как в Scala обобщить Int и BigInt?

Ерлан Ибраев, вы молодец. Ваша первая программа лучше чем моя первая.

В ноутбуке стабильно через 1-2 месяца после замены термопасты резко повышаются температуры на половине ядер процессора. С чем может быть связано?

Дружище. По поводу шума вентиляторов. Они - разбиваются со временем и начинают шуметь все. Даже дорогие.
По поводу 80-95 градусов. Весна-Лето. Сезон когда горят не только ноутбуки но и даже кондиционеры.

Как в Scala обобщить Int и BigInt?

Ерлан Ибраев, спасибо. Я подумаю. Вобщем-то первый вариант вполне норм.

P.S. Да и умножение только 2 аргумента берет. Третий - аккумулятор. Поэтому Египетское умножение
по Степанову это такая форма:

multi_acc(X(BigInt(10000000000)),X(BigInt(300000000000))

Как в Scala обобщить Int и BigInt?

Ну и оператор "+" хотелось сохранить.

Какой стэк использовать для быстрого доступа данных?

Mongo предполагает что система у вас тяготеет не к таблицам а к документам. Причем поиск может быть по любому полю. Вот как-то так. Разумеется joins никто там не делает. Тоесть данные у вас изначально должны быть как-то денормализованы и разложены в агрегаты.

Elastic - это просто поисковая система над unstructured или semi-structured информацией. Всеядная система. Можно ей логи скормить например.

Как в Scala обобщить Int и BigInt?

Ерлан Ибраев, я понял. Ну это Haskell-like. А если мне надо будет потом добавить дробно-десятичное или рациональное - то придется весь код менять. А хотелось просто добавить еще один ... ээ класс? Тип?

Какую нейронную сеть выбрать для добавления деталей на изображение?

Никита Каргин, наверное подойдет любая НС которая угадывает контуры лица. А после того как лицо найдено - добавить шрамы - это дело фотошопных фильтров. Ну... я-бы так делал.

Какую нейронную сеть выбрать для добавления деталей на изображение?

Фильтр типа "выделение границ"?

Как замаскировать эмулированные движения мыши и нажатия клавиш?

Код давай. Что-ж мы тут как философы что-ли?

Да не бойся. Никому твой код не нужен. Тем более нерабочий...

По какой причине может крашится программа при отладке?

Не работал с edb-debuger но могу предположить что отладчик ставит на паузу потоки Threads. В результате протоколы которые привязаны ко времени (сетевое взаимодействие) и вообще все что работает с часами фиксирует сначала замирание времени а потом резкий прыжок вперед. Когда вы делаете step. К чему это приводит - ХЗ. Надо смотреть как написано само приложение. Или для отладки надо специально конфигурить приложение чтобы оно не так реагировало на timeouts.

Как реализовать кэширование EAV/CR большого объёма данных?

Владимир, а сколько секунд работает реляционный вариант сейчас? И сколько вы ожидаете получить после такой алгоритмизации?

Что нужно знать для создания платформера или изометрической бродилки?

Одиночка Айс, как будет угодно. Пускай пошаговой.

Чем можно заменить связку MS Excel + VBA в Linux?

1. относительно низкая скорость на запись StarBasic в ячейку по сравнению с VBA даже работающем через Wine в Linux (порядка 30секунд против 6минут для поля 1000 х 1000 ячеек)

Непонятно как делались сравнительные тесты. Excel + VBA против LibreOffice + Starbasic?
Здесь очень велик шанс что формат документа который использует LibreOffice просто неудачен
или неоптимизирован для частых Updates. Да и вообще вам сильно повезло что VBA так быстро работал.

Проблема эта скорее всего нерешаема. Что можно предложить. Вообще уйти от SpreadSheet как от носителя
информации. Особенно в тех кейсах как вы описали. Переходите в нормальные базы данных (Postgres) и уже
из них выгружайте SpreadSheet как отчет.

Как был создан ассемблер?

s2d1ent, прекрати фантазировать пожалуйста. Ты задаёшь правильные вопросы. Но свои-же ремарки - фантасмагоричны.

Какие книги прочесть для изучения линейной алгебры для data science?

AVKor, за критикой должно следовать предложение.

P.S. Он же пишет дескыть - ему не терпится. Вот пускай читает Гмурмана. Там все простым языком описывается.

Как был создан ассемблер?

s2d1ent, самое первое программирование - рисовали на бумаге математики. Поэтому если глубоко копать в историю то можно видеть следы математических формул (фортран). А уже конец 20-го века - был расцветом ООП. А сейчас - снова эпоха переосмысления. ООП себя вычерпал - стали искать истину в том что было 70 лет назад.

Не надо искать понимания появления. Всё это появлялось итеративно. Как инженерное приспособление. Неудобно было помнить в голове краткий код (КК) - сделали Ассемблер. Неудобно было кодить Unix на ассемблере - создали С. Неудобно было на сях учить школьников - создали Pascal.

Какие книги прочесть для изучения линейной алгебры для data science?

DataScience близка к теории вероятностей. Хотя там есть куча разделов где может быть и численные методы и нейросети.

Начни читать с теор-вера. Он в наше время - возвращает былую популярность. Фильтр Байеса. И прочее.

Что делать если python скрипт умирает killed?

Причина - переполнение памяти. Твой скрипт стал слишком прожорливым и операционка его убила спасая себя. Есть в Линуксе такой функционал. Убийство процессов в порядке приоритета.

Что сделать? Понять где изменились условия. Возможно больше стало приходить данных из базы. Ставить больше ОЗУ нет смысла. Есть интуиция мне что подсказывает что и 64 гига и 128 так-же утекут из-за внутренних утечек.

Вообще поищи разработчика этого скрипта. И сделай ему мемори профайлинг хотя-бы за 5 минут до падения.