d'Ivan

есть каталоги производителя в pdf и эксель формате

Если упрощенно, то можно так:
1. Нужно научиться извлекать нужные данные из этих форматов (парсинг), поняв какие именно данные нужны.
2. Спроектировать БД исходя из потребностей показа элементов.
3. Научиться отображать конкретную страницу с наименованием и характеристиками детали. Оставить графику на потом.
4. Научиться выводить список - индекс.
Далее - усложнять.
Дополнительно - погуглить про ETL.

1.

Content-Length：

странное двоеточие?! Fullwidth Colon - а не AI ли написал?
2. не нужен ли пробел после двоеточия?
3. Сертификат SSL действителен ли и доступен для чтения?
4. а точно ли 'method' => 'POST' ?
5. Стоит вывести строку в вывод и проверить корректен ли адрес. Попробовать использовать curl -i.
6. попробовать curl с путем /ping для проверки связи и отладки. А когда все будет хорошо, перейти к отладке создания таблицы.

Я не специалист в PHP, но разве нет в языке лучшего HTTP клиента, чем file_get_contents? Тот, который возвращает код, заголовки и пр.?

А Nano Banana (Gemini 2.5 Flash Image) не подходит (входные $0.3 на 1М жетонов, выход в среднем $0.039 на одно изображение)?

Всё бесплатное когда-нибудь, да заканчивается. Генерация требует, как минимум, оплаты инфраструктуры электричества.

Сегодня появилось множество игроков в области копирайтинга благодаря БЯМ.
Поиск: Create engaging marketing content.

Сегодня эту нишу заняли GPT-подобные модели ИИ. С их помощью можно создавать любые варианты, какие только пожелает твоя хотелка.

Например, Matific. Интерфейс поддерживает русский язык.

Есть архитектуры без внимания:

Mamba replaces the complex attention and MLP blocks of Transformers with a single, unified SSM block.

https://en.wikipedia.org/wiki/Mamba_(deep_learning...

Пиши на чём знаешь. Для предобработки данных проще всего будет применять всякие преобразования данных в SQLite. К ней есть адаптеры на множестве ЯП.

Мы будем импортировать в програму .txt, .csv, .json.

Эта СУБД работает с ними. Можно использовать как временные таблицы в памяти, так и с файлом на "диске". Закончил с преобразованиями данных - вытер промежуточный файл.
А если же Postgres является прямой зависимостью, то прямо используй её, аналогичным образом.

Очевидные варианты:
...
- чтобы начать распаковывать - необходимо скачать все части архива

нет. Нужны только те тома, которые содержат нужные файлы. Каждый том ZIP содержит так называемую центральную директорию (ЦД) со списком файлов в нем и можно узнать где файл, просмотрев список. Тогда если нужный файл будет присутствовать в двух томах, то достаточно скачать лишь архивы этих двух томов.
Более того, если можно примонтировать облачное хранилище как директорию, с возможностью случайного доступа внутри архива, то ЦД позволит архиватору знать по какому смещению находится извлекаемый файл и таким образом, с минимальным трафиком, распаковать лишь его.

Могу предложить такой вариант:
Одна горутина для периодического запуска функции по отправке множества заданий в очередь RabbitMQ по проверке сделок, по заданию на каждую сделку. В случае сбоя в горутине, остановится цикл периодического запуска проверок состояния сделок. Или, если есть опасения насчет стабильности работы сервиса, то надежнее делегировать запуск функции планировщику задач.
И реализовать потребителя очереди заданий проверки сделок в RabbitMQ. В задании достаточно указывать идентификатор сделки.

Если используется система видеонаблюдения (СВ), то потенциально результат ее работы она может повлиять на индексацию:
допустим, множество мелких видеофайлов или, наоборот, небольшое количество крупных видеофайлов.
1. Стоит исключить директории, куда СВ пишет временные файлы. Если пойти дальше, то попробовать отключить от индексайии все директории с видеофайлами, а затем проверить что происходит с местом на диске и пошагово возвращать директории обратно, проверяя.
2. Хранить видео на отдельном диске от системы.
3. Стоит глянуть в логи СВ и винды. Может, будет что-то интересное.

Использовать библиотеки для вычисления перцептивного хэша.

Бросаться в бэкэнд, в PHP/Python/Node.js будет слишком крайним шагом, на мой взгляд, что повлечет за собой кучу неудобств.
Полагаю, что переквалифицироваться на разработку мобильных приложений будет таки менее заморочно.
Поэтому предлагаю попробовать перейти в C# .NET .
https://learn.microsoft.com/ru-ru/dotnet/maui/what...

Возможно, все это из-за недавних обновлений ОС, приводящих к состояниям AFU, BFU.
Читать https://www.securitylab.ru/news/553778.php

Попробуй установить эту древнюю версию в QEMU, на хосте с современной ОС.

Упал один из узлов с данными.

"unassigned_shards": 10,

Нужно смотреть на логи самого OS на том узле, что упал, чтобы знать причину сбоя. Возможно, закончилось место на диске.
OpenSearch на AWS или on premise?

Munin - простая система мониторинга, которой может оказаться вполне достаточно для перечисленного.
munin-node - устанавливается на сервер (узел).

was never awaited

означает, что нужно добавить ключевое слово await.
А, вообще, горячо рекомендую пройти курс по асинхронному программированию в Питоне.

В качестве направления для решения проблемы погугли о AI web scraping tool.
Это могут быть NimbleWay и прочие сервисы, которые помогут автоматизировать сбор данных.
Затем можно пробовать автоматизировать некоторые процессы, связанные с сопоставлением и заполнением данных.