Viktor T2

Можно хештаблицу/словарь использовать, где ключом будет синоним, а значением - "каноничное" название / идентификатор.
Каноничное название собственно тоже в ней будет и будет указывать на само себя.

Тогда при запросе ты просто будешь сравнивать, что значение у двух ключей одно и то же.

Нет ничего проще - делаешь поиск по тексту файлов в профиле FF и вуаля - places.sqlite.

Можно взять pdf.js и допилить как тебе надо. Будет жирно и тяжело.
Либо моджно сохранить pdf как набор картинок и просто положить их на сайт. Будет просто и жирно.

открываешь гугл и вбиваешь "pillow image to bytes"

Настоятельно рекомендую нести диск на восстановление, но шансов у вас мало.

Основной рабочий пока первый, с 7кой.
...
После этого ребутнулся в 10ю винду и запустил проверку первого диска.

Об этом моменте все забывают, что в windows 10 (начиная с win8) есть механизм ускорения загрузки, который при использовании последовательно нескольких ОС может угробить ваши данные (полагаю это сделано специально, как одна из миллиона мер борьбы с linux конкуренцией, иначе об этом бы везде писали большими буквами). Принцип следующий - windows 10 при выключении, закрывает рабочие приложения (делает быстрый logout) а затем вызывает гибернацию (hibernation), сброс оперативной памяти и состояния устройств (включая gpu) на диск в файл hiberfil.sys в корне диска, т.е. не завершая процессы, не закрывая файлы, не сбрасывая кеши записи на диски и кучу всего, что могло бы замедлить этот процесс... при включении, данные очень быстро и эффективно считываются с диска (линейная скорость даже медленных дисков hdd - сотня мбайт/с), включение занимает считанные десяток секунд, после чего идет login и запуск процессов пользователя.

Если после гибернации вы загружаетесь в другую ОС, файловые системы на дисках находятся в не консистентном состоянии, и вероятность сбоя и потери данных на них очень сильно повышается, причем самым странным образом (например позже, после пары перезагрузок). Если постоянно туда сюда переключаться, ошибки накапливаются.

Но вот винда ругнулась на этот диск и я решил его проверить. Забекапил что нужно и на 2й и на 3й диски.

Что это была за ругань, сообщение в подробностях скорее всего раскроет подробно, что случилось.

p.s.

эту фичу зовут Fast Startup (включена в win10 и 11 по умолчанию) можно не выключать всю гибернацию, а вручную выключать компьютер в правильном режиме:
shutdown -s -t 0

отключается в Панели управления, электропитание, действия кнопок питания, изменение параметров которые сейчас недоступны, выключить быстрый запуск.
либо отключить гибернацию полностью, выполнив в командной строке:
powercfg /h off

Да, уже считал, и это действительно реально, с относительно небольшими затратами (16-20т.р.) если тебя устроит скорость исполнения в 15-30 секунд на токен (на твоем железе llama31-70b на процессоре и 64гб оперативке будет работать токен в 1-1.5 секунд).

Необходимо собрать самый дешевый pcie nvme ssd программный raid0, купив контроллер pcie-x16 3.0 или 4.0 из четырех разъемов nvme либо четыре pcie-4x дешевых 3.0 и закупить самые дешевые nvme ssd диски от 128гб (со скоростями чтения от 2гбайт/сек).

Затем собрать из них raid0 с чередованием (win/linux это поддерживают) и разместить на нем gguf файл. llama.cpp поддерживает загрузку файла с весами с диска, без выделения оперативной памяти (но она нужна на контекстное окно, в зависимости от его размера это будут десятки гигабайт). Файл будет считываться по кругу целиком, по разу на токен, а значит скорость будет определяться именно этим. 2гб/с*4 диска = 8гб/с, 256гб 4бит квантизация будет считываться за 32 секунды.

Есть еще ограничения в скорости исполнения из-за процессора, но по уму, если бы была оперативная память то типовой десктопный процессор работал бы на скорости 15-20 секунд на токен.

У тебя вычисление повторяется для каждой строки? Посмотри, можно ли распараллелить код на несколько процессов (именно процессов, не потоков).
Также посмотри насчёт использования numpy/scipy и их численных солверов для систем уравнений вместо sympy. Может, используя sympy, получится сформулировать алгоритм расчёта, а уже его портировать на numpy?

Если надумаешь использовать numpy, держи в уме вот что: по возможности выполняй операции сразу над массивами значений. Упрощённо, вот это

a = numpy.array([3] * 1000000, dtype=numpy.float32)
b = 2 * a + 3

будет намного быстрее, чем это:

a = numpy.array([3] * 1000000, dtype=numpy.float32)
b = numpy.zeros_like(a)
for i in range(a.shape[0]):
    b[i] = 2 * a[i] + 3

Причина простая - операции над массивами реализуют перебор элементов массива нативно, т.е. с той же проивзодительностью, что и C/C++/Fortran. А вот сугубо питоньи циклы - штука медленная.

Хочется быстрее.

начни с поиска узких мест и их оптимизации, так же можно попробовать pypy, после этого стоит рассмотреть cython

Какой ЯП выбрать для изучения

любой популярный компилируемый

Во сколько раз ожидать прироста в производительности работы алгоритма

неизвестно, в активных вычислениях может быть на порядок, но так же всегда можно написать кривую реализацию и только всё замедлить

Нужно получить список всех файлов с одинаковым размером. Чтобы потом уже вручную удалить дупликаты.

Вы можете в несколько кликов искать и удалять дубликаты файлов, используя GUI-утилиту под названием FSlint. Находит не просто совпадение размера, а именно совпадение и размера, и содержимого. Имена файлов при этом могут быть разные. Просто добавляете несколько папок, по которым нужно искать дубликаты, потом среди найденных выделяете те, которые хотите удалить и удаляете. Т.е. вручную можно выбирать в какой из папок файл оставить, а в какой удалить. Можно все дубликаты оставить, можно все удалить (!).
Утилита имеет и другие функции для поиска разных корявостей и неоптимальностей в папках (имена с "плохими" символами, пустые папки и т.д.)

Есть ещё утилита командной строки fdupes, которая тоже ищет дубликаты.