Задать вопрос
Java Backend Lead. Занимаюсь архитектурой и разработкой backend-сервисов на Java, Spring Boot и Kafka. Разрабатываю открытые инструменты: https://github.com/krotname.
Контакты
Местоположение
Россия

Достижения

Все достижения (1)

Наибольший вклад в теги

Все теги (10)

Лучшие ответы пользователя

Все ответы (15)
  • Как уместить десятки контейнеров на одном сервере с RTX 4090 (24ГБ), чтобы хватило памяти на KV-кэш, буфер и активации для ии?

    kreout
    @kreout
    Java Backend Lead
    Для чата и экспериментов с инференсом я бы сначала разделил среды пользователей и процесс, который держит модель на GPU. Один общий inference-сервис с очередью запросов обычно полезнее, чем загрузка одной и той же модели в каждом контейнере. Контейнеры с интерфейсами могут быть его клиентами; число контейнеров само по себе не говорит, сколько VRAM потребуется.

    В vLLM память можно уменьшать ограничениями max_model_len и max_num_seqs: первое задаёт длину контекста, второе ограничивает число одновременно обрабатываемых последовательностей. Уменьшение этих лимитов снижает требования, но это компромисс по контексту и параллелизму. Официальная документация: https://docs.vllm.ai/en/latest/configuration/conse...

    Если в Jupyter нужны независимые CUDA-эксперименты или обучение, общий API их не заменит. Для таких работ я бы ввёл очередь GPU-заданий и измерял пик памяти на выбранной модели, длине контекста и числе запросов. Гарантировать десятки одновременно активных GPU-контейнеров только по наличию 24 ГБ нельзя.
    Ответ написан
    2 комментария
  • Как создать sql запрос?

    kreout
    @kreout
    Java Backend Lead
    Вы почти правильно составили подзапрос. IN допускает много строк, но справа от одного a.attribute_id должен быть один столбец. Сейчас выбраны pc.product_id и pa.attribute_id; нужен только второй.

    После WHERE 1 и до внешнего GROUP BY добавьте:
    AND a.attribute_id IN (
        SELECT pa.attribute_id
        FROM product_attribute AS pa
        JOIN product_category AS pc ON pc.product_id = pa.product_id
        WHERE pc.category_id = ?
    )

    Здесь ? — параметр подготовленного запроса, в который передаётся значение filter_category.

    JOIN оставляет только атрибуты товаров, связанных с указанной категорией. Внутренний GROUP BY pa.attribute_id не нужен: для IN повторяющиеся значения не меняют результат. Например, если один атрибут есть у нескольких товаров этой категории, внешняя строка от этого не размножится.

    Правило и пример такого подзапроса есть в документации MySQL про IN.
    Ответ написан
    1 комментарий
  • Как переподключить LVM-диск к другой ВМ?

    kreout
    @kreout
    Java Backend Lead
    Смена /dev/sdh на /dev/sdb сама по себе не требует «лечить» LVM: физические тома (PV) имеют собственные UUID. Важнее, на каких PV размещены блоки нужного логического тома (LV).

    В последнем уточнении есть опасный момент: пустой VMDK не заменяет отсутствующий PV с данными. Даже без RAID один обычный linear LV может занимать несколько дисков. Наличие метаданных VG/LV ещё не означает, что все его данные доступны.

    1. Посмотрите состав томов; эти команды не исправляют и не форматируют диски:
    sudo pvs -o pv_name,pv_uuid,vg_name,pv_attr
    sudo lvs -a --segments -o vg_name,lv_name,lv_attr,segtype,devices

    В devices видно размещение сегментов. Признак p в девятой позиции lv_attr означает, что у этого LV отсутствует хотя бы один PV; см. lvs(8).

    2. Подключите к новой ВМ исходные VMDK, на которых находятся сегменты выбранного LV. Не обязательно восстанавливать всю файлопомойку ради одного независимого тома, но должны быть доступны все PV, необходимые именно ему. Например, если linear LV занимает диск A и диск B, одного A недостаточно: новый пустой B не содержит потерянной части файловой системы.

    3. Когда все необходимые PV доступны, активируйте конкретный том:
    sudo lvchange -ay --activationmode complete VG/LV
    VG/LV здесь нужно заменить своими именами. Режим complete разрешает активацию только без недостающих PV, а путь к активированному тому — /dev/VG/LV. Это описано в lvchange(8). Принудительная partial-активация не восстанавливает отсутствующие данные.

    4. Для первого чтения определите файловую систему:
    lsblk -f /dev/VG/LV
    Если это именно ext4, пример монтирования без записи и проигрывания журнала:
    sudo mkdir /mnt/lvm-recovery
    sudo mount -t ext4 -o ro,noload /dev/VG/LV /mnt/lvm-recovery

    После аварийного отключения noload может показать несогласованное состояние ФС; это режим извлечения данных, а не исправление повреждений. Для другой ФС параметры отличаются; см. ext4(5).

    Если исходные диски дают ошибки чтения, дальнейшие попытки восстановления лучше выполнять с их посекторных образов. Не запускайте pvcreate, mkfs или vgreduce --removemissing на исходниках ради смены букв устройств. Начните с карты сегментов нужного LV: она покажет, какие старые диски действительно нужны.
    Ответ написан
    Комментировать

Лучшие вопросы пользователя

Все вопросы (1)