Ответы пользователя по тегу 1С-Битрикс
  • Каким образом можно снизить нагрузку на MySQL базу данных?

    @rPman
    Загрузить всю или часть таблицы на бакэед, провести работу в памяти и уже на ее основе выполнить необходимые апдейты.

    Как частный случай наоборот, загрузить данные во временную таблицу и выполнять анализ уже на sql сервере, но это только если таблица не вмещается в память бакэнда или это неоправданно

    Много мелких запросов это сильно тяжёлая задача для sql баз данных, тем более для слабой машины
    Ответ написан
    Комментировать
  • Как в Битрикс реализовать AI поиск по фото?

    @rPman
    Задача получения текстового описания по картинке CLIP (что то типа обратная stable diffusion):

    https://github.com/mlfoundations/open_clip
    https://huggingface.co/laion/CLIP-ViT-H-14-laion2B...

    гуглить сразу CLIP image classification, тьма моделей начиная с openai, разбираться долго

    p.s. еще про анализ объектов на изображении начни копать от сюда или лучше segment-anything фейсбук много чего выкладывает

    Соответственно после запилить интерфейс и интеграцию в битрикс
    Ответ написан
    1 комментарий
  • Как делать периодический бекап сайта если свободного места почти нет?

    @rPman
    Вроде как есть утилита rsinc для centos, но ей нужен доступ куда будет писать
    из-за вот этой фразы непонятно что у вас не получается.

    Если на машине получателе установить rsync как демон, то не потребуется даже ssh подключение, никаких накладных расходов тоже не будет

    Так же вместо rsync можно использовать старейшую программу для создания архивов - tar, отправляя результат в процессе его создания на целевую машину, любым доступным способом (смонтировать сетевой диск, по ssh или даже netcat), кстати хранить архив tar-ом так же вполне нормально

    Я успешно пользовался tar-ом и netcat, перемещая архив между серверами с разными ОС (linux/windows), к сожалению с rsync тогда могли бы возникнуть проблемы, поэтому пользуйся инструментом что для этого создавался.

    p.s. если бы у тебя была файловая система btrfs, то можно было бы создавать снапшоты, сохраняя последний и удаляя все старее, тогда можно было бы одной командой получать накопившуюся разницу в виде файла, который можно как хранить и передавать, так и применять на сторонней машине (там так же должна быть btrfs).
    https://btrfs.wiki.kernel.org/index.php/Incrementa...

    Такие инкрементальные бакапы самые быстрые, так как затрагивают только те данные, что были изменены (причем посекторно), само собой полную копию данных, в развернутом виде лучше держать (это если появилось желание в принципе держать только список этих diff-ов, начиная с первого начального состояния - в этом случае восстановление файла потребовало бы применение всей истории бакапов, что очень долго, если их накопится сотни), применение патча снапшота так же быстрое.

    Ни одна другая технология резервного копирования не может быть быстрее, удобнее и проще, но есть нюанс, сама файловая система btrfs добавляет накладных расходов на запись (не сильно заметные на ssd но поговаривают что для баз данных с частыми записями - критичные), поэтому было бы не плохо, если бы перед конвертированием файловой системы на боевом сервере, провести нагрузочное тестирование на другом.
    Ответ написан
    Комментировать