Задать вопрос
  • Почему запрос выполняется разное время?

    @rPman
    lookingfor2, как и ожидалось у тебя много операций без индекса.

    по традиции, смотрю как с этим вопросом справится ИИ, как мне нравится эта новая технология, из-за которой, лет через 30 вся наша цивилизация либо станет мегакрутой либо скатится до средневековья
    anthropic claude sonnet 3.5
    Давайте разберем основные проблемы производительности этого запроса:

    1. **Медленные операции:**
    - Множественные последовательные сканы (Seq Scan) таблиц
    - Внешняя сортировка на диске (Sort Method: external merge Disk: 40712kB)
    - Большое количество строк в Hash Join (Rows Removed by Join Filter: 1780996)
    - Nested Loop с большим количеством итераций (loops=2581431)

    2. **Узкие места:**
    - Hash Join отфильтровывает много строк после соединения (1,780,996 строк)
    - Nested Loop выполняется более 2.5 миллионов раз
    - Внешняя сортировка использует дисковое пространство
    - Общее время выполнения около 393 секунд

    Рекомендации по оптимизации:

    1. **Индексы:**
    - Создать составной индекс для table_a по (old_id, update_at)
    - Проверить необходимость индексов на supplier_id в table_b
    - Добавить индекс на seller_id в table_c

    2. **Структура запроса:**
    - Рассмотреть возможность переписать условие Join Filter для уменьшения количества отфильтрованных строк
    - Попробовать использовать подзапросы вместо JOIN там, где это возможно
    - Рассмотреть возможность материализации промежуточных результатов

    3. **Оптимизация данных:**
    - Проанализировать необходимость обработки такого большого количества строк
    - Рассмотреть возможность партиционирования больших таблиц
    - Убедиться, что статистика таблиц актуальна (ANALYZE)

    4. **Настройки PostgreSQL:**
    - Увеличить work_mem для избежания внешней сортировки
    - Проверить и возможно увеличить maintenance_work_mem
    - Настроить effective_cache_size в соответствии с доступной памятью

    5. **Денормализация:**
    - Рассмотреть возможность денормализации данных для уменьшения количества JOIN операций

    Без самого SQL запроса сложно дать более конкретные рекомендации, но эти общие принципы должны помочь улучшить производительность.
    Написано
  • Видеокарта не работает с более чем 3 Gb Ram?

    @rPman
    операционная система какая? в те далекие времена, любые серверные глючили с десктопными драйверами для gpu, так же глюки были для 32-битных версий ОС (а так как у тебя ddr2 значит процессор тоже старый не 64бит), и бОльше 4б оперативной памяти адресовали через режим PAE с которым драйвера на gpu так же глючили (формально речь шла об адресном пространстве больше 4гб, но так как для видеокарты выделялось в этом адресном пространстве место, суммарно проблемы начинались с меньшим объемом памяти).

    рекомендую сменить операционную систему на linux

    p.s. это windows 10 O_o на машине с ddr2?
    Написано
  • Как сайт деанонимизирует местоположение (приняты всевозможные контрмеры)?

    @rPman
    А vpn (выходной ip адрес) после утечки (через webrtc) менял?
    их система детектирования могла записать твой ip адрес как подозрительный
    Написано
  • Как импортировать модели Atomic heart в Blender или Unreal Engine?

    @rPman
    johnnyfobs, максимально абсурдный метод

    точно помню существуют методы, подмена dll directx/opengl на ту что собирает информацию о выводимых 3d моделях, так собирали модельки с игр, которые сложно из файлов вытаскивать (свои форматы от разработчика)
    Написано
  • Есть ли решение на Python, чтобы выбирать уникальные кадры из видео?

    @rPman
    Так какой критерий уникальности то?

    Если тебе о смысле а не попиксельном различии, то топать к SAM от мета, они недавно в опенсорс публиковали шикарную высокоскоростную модельку, для отслеживания за объектами используй TAM или вот Segment-and-Track-Anything ну или можно банально считать площади пересечений областей с соседних кадров и если они большие в процентах, то считать одним и тем же объектом...а дальше считать площади новых объектов и считать изображение изменившимся, если слишком большая.
    Написано
  • Почему при большей мощности процессора его tdp ниже аналога?

    @rPman
    там кеш почти в три раза выше, ксеон уделает пентиум в однопотоке и без турбобуста. Хотя на задачах, где нужно перелопачивать большой объем памяти они возможно и сравняются
    Написано
  • Почему за ночь очень сильно разряжается батарея?

    @rPman
    так для справки, у меня смартфон с кастомной прошивкой (google apps были установлены) с полуубитой батареей, кажется redmi note 3, до сих пор лежит, он держит недели без включеного радиомодуля! я его одно время использовал как mp3 плеер bluetooth.

    если смартфон не может ночь пролежать ничего не делая полезного для пользователя - это извращение
    Написано
  • Возможна ли апроксимация физических систем в HDL?

    @rPman
    VoidVolker, нет, gpt это супер технология, то что вокруг нее моментально стали надувать пузырь - это подтверждает.

    Предыдущий президент 'мира' уже объявил эти технологиями стратегическими для своей страны... китай тоже 'роет землю' и идет шаг в шаг за ними, не спроста да?

    p.s. привожу пример очень 'дешевого' в производстве вычислительного устройства, идеально подходящего для ИИ - fpga чипы + типовые модули памяти ddr 3/4/5, все типовое и дешевое, спроектировать и пустить в тираж такое можно за считанные десятки тысяч баксов, а если сделать все открытым и доступным (доступ к программированию fpga) то сообщество запилит все необходимое и еще вагон использования сверху.
    spoiler
    типовая gpt это многослойная фигня из простых операций над матрицами. каждый слой - свой fpga чип с контроллером памяти, общую шину данных можно делать но только для управления и сопроводиловки, в основном данные пересылать между соседними чипами (плюс объем данных передаваемых между слоями - ничтожен, логарифм от количества весов), да там даже kv cache делать не надо, можно запилить очень дубовое железо, а всю логику оставить на откуп программируемого чипа. Считанные сотня слоев, каждый по пару тройку гигабайт памяти, да ты выпусти голую плату с fpga и контроллерами, народ сам навставляет типовых ddr сколько андо, хоть гиговые для мелких сеток, хоть 16-гиговые для будущих 100500B


    Интересно, почему до сих пор этого нет.

    А так же, почему же до сих пор не взлетел проект по впечатыванию (read only) весов сетей прямо в чипы, т.е. проектировать чипы прямо под готовые опенсорсные модели, плюс LORA (был такой проект если не два).. и все канули в неизвестности, наверное не спроста?!
    Написано
  • Возможна ли апроксимация физических систем в HDL?

    @rPman
    VoidVolker, в 2010-2015-ых годах появлялись куча интересных проектов типа adaptevia Epiphany 1024 ядер 15 ват потребления какие то дикие терафлопсы, оптические процессоры 2011, с околонулевым потреблением и возможностью перекодирования десятков видеопотоков на лету (повторяю 2010 год!) все куплено и уничтожено ради монополии usa intel/amd/nvidia (epipany куплен darpa, т.е. военные). оптика например в системах связи теперь используется.

    И вообще глобализация в мире сломана очень сильно, технологии высокоскоростных вычислений сдерживаются (очень надеюсь бум chatgpt это проломает, но боюсь терки usa/china сделают только хуже, еще на десятилетие отбросят развитие)
    Написано
  • Ошибка телергам бот с openai использована квота, как настроить?

    @rPman
    Raython, там тоже есть квоты, внимательнее
    spoiler
    Model Token Limits Request and Other Limits Batch Queue Limits
    Chat
    gpt-3.5-turbo 200,000 TPM 500 RPM, 10,000 RPD 2,000,000 TPD
    gpt-3.5-turbo-0125 200,000 TPM 500 RPM, 10,000 RPD 2,000,000 TPD
    gpt-3.5-turbo-1106 200,000 TPM 500 RPM, 10,000 RPD 2,000,000 TPD
    gpt-3.5-turbo-16k 200,000 TPM 500 RPM, 10,000 RPD 2,000,000 TPD
    gpt-3.5-turbo-instruct 90,000 TPM 3,500 RPM 200,000 TPD
    gpt-4 10,000 TPM 500 RPM, 10,000 RPD 100,000 TPD
    Text
    babbage-002 250,000 TPM 3,000 RPM
    chatgpt-4o-latest 500,000 TPM 200 RPM
    text-embedding-3-large 1,000,000 TPM 3,000 RPM 3,000,000 TPD
    Realtime
    gpt-4o-mini-realtime-preview 40,000 TPM 200 RPM, 1,000 RPD
    Moderation
    omni-moderation-2024-09-26 10,000 TPM 500 RPM, 10,000 RPD
    Fine-Tuning Inference
    gpt-3.5-turbo-0125 200,000 500
    Image
    dall-e-3 500 RPM, 5 images per minute
    Audio
    whisper-1 500 RPM
    Other
    Default limits for all other models 250,000 TPM 3,000 RPM

    Написано
  • Почему за ночь очень сильно разряжается батарея?

    @rPman
    Я бы не думая удалил бы эти приложения, они же в нашел воруют у тебя автономность, половину времени ничего не делая
    Написано
  • Как дать права root с ограничением?

    @rPman
    Один бит suid на исполняемом файле позволит повысить привилегии до root
    Написано
  • Возможна ли апроксимация физических систем в HDL?

    @rPman
    VoidVolker, а теперь попробуй купить это железо
    Написано
  • Как обойти блокировку записи и трансляции экрана?

    @rPman
    PoliGrey, рекомендация, устройство видеозахвата подключить и сменить на нем разрешение (средствами windows для его монитора), отличное от его штатного, видеокарта сама отмасштабирует, и его браузер может уже не понять что его снимали на видеорегистратор.

    Беспроводной монитор на win тоже не сработал?

    Вообще то видеорегистраторы могут по edid детектироваться, т.е. нужен браузер который это не будет делать.
    Написано
  • Перенос системы на аппаратный Raid 1?

    @rPman
    Для nvme нужны железки другого ценового класса, сильно дороже
    Написано
  • Как и от каких атак защитить свой сервер, находящийся на чужом гипервизоре?

    @rPman
    Вы не поняли, шифрование защитит ваши данные, а проблема в момент ввода пароля при включении/перезагрузки, в этот момент его можно украсть, подменив железо или загрузчик, последнее можно защитить последними материнка и с tpm 2.0, примерно как мобильные сейчас защищены, если загрузчик не разблокирован их можно только сбросить до заводских настроек
    Написано
  • Как в Android 10 выбрать любые даты ранее 1970 года?

    @rPman
    Fly_Devil, скорее всего произошел переход из хай/мид ценового диапазона на более низкий, а там многое хуже, начиная с надёжности
    Написано
  • Почему клик средней клавишей мыши по карточке товара на сайте Ozon в Firefox перемещает фокус на открываемую вкладку?

    @rPman
    явно озон что то ломают, потому что у меня при нажатии средней кнопки мыши (колесика) открываются два одинаковых окна в фоне.. не пойму как они это сделали, потому что это происходит даже если отключить скрипт onclick в элементе.
    Написано