Задать вопрос

Vitaly Karasik

DevOps Consulting
Лайки

  • Как сделать автоматическое создание пользователей с уникальными ключами на AWS S3?

    SignFinder
    @SignFinder
    Wintel\Unix Engineer\DevOps
    Предполагаю что как-то так.
    1. Погуглить AWS S3 access to one folder
    2. Наткнуться на ответ в KB AWS https://repost.aws/knowledge-center/s3-folder-user...
    3. Реализовать изменение политик любым удобным иструментом - cli, powershell, terraform etc
    Ответ написан
    1 комментарий
    1 комментарий

  • Как оптимальнее всего организовать хранение тяжёлых данных и чтобы потом максимально быстро доставать оттуда данные для отчётов?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я знаю два сильных пути оптимизации в БД.

    1) Минимизация IOps. Тоесть уменшить число дисковых чтений. Для таблиц это достигается через
    partitions by date. Вычисляешь экспериментально оптимальный размер partition (например 1 неделя).
    И твои запросы по диапазону должны попадать в 1-2 partitions. Это исключает full-table-scan.
    Ну и индекс попробуй построить по предикатам фильтров.

    2) Материализация ответов. Для данных которые уже не будут изменяться ты строишь где-то такую
    табличку (матрицу по сути) где хранишь уже заранее расчитанные данные. Эта технология по разному
    может называться. Materialized View. OLAP cubes. Витрины данных. Но суть одна. 

    start_date    end_date     result 
01-02-2023    03-02-2023   { "1":"65", "2":"45" }


    И индекс по двум датам.
    Ответ написан
    Комментировать
    Комментировать

  • Как скопировать rsa ключ на другой линукс сервер?

    @SunTechnik
    Есть два направления решения:
    1. Перенести опции запуска в файл настроек ( ~/.ssh/config)
    https://www.digitalocean.com/community/tutorials/h...

    Тогда не потребуется вводить эти ключи и сработает ssh-copy-id

    2. Ssh-copy-id всего лишь скрипт, который добавляет ключ в файл ~/.ssh/authorized_keys
    Содержимое можно перенести или через scp или вообще через буфер обмена. Файл текстовый, ключ не особо длинный....
    То-есть руками выполнить необходимые действия.

    Критичны права на каталог ~/.ssh и сам файл. ~/.ssh/authorized_keys.
    Права записи должны быть только у владельца.
    Проще ставить 700 на каталог и 600 файл.
    Ответ написан
    Комментировать
    Комментировать

  • Как сделать автоматический деплой веб-сервиса на поддомен?

    ipatiev
    @ipatiev
    Потомок старинного рода Ипатьевых-Колотитьевых
    Если нормально сформулировать вопрос, то речь идет о банальном деплое
    И автору бы сначала поучиться разворачивать свое единственное приложение, а потом уже начинать мечтать про междупланетный шахматный центр на тыщу инстансов.

    При том что задача в общем случае решается элементарно. Добавлением еще одной секции в плейбук того же Ansible. Что даст автору ту самую заветную "одну кнопку". А точнее две - развернуть новый инстанс и обновить все существующие.

    А если еще внимательнее посмотреть на проблему, то возникает закономерный вопрос - а зачем автору вообще миллион виртуальных хостов, если речь идет о банальных поддоменах? Которые прекрасно реализуются в рамках единственного виртуального хоста. То есть можно либо добавить поддержку субдомена в текущее приложение, либо, на худой конец, сделать multi-tenant приложение, где у каждого поддомена будет своя БД.
    При этом вся кнопка будет заключаться в добавлении имени субдомена в базу данных
    Ответ написан
    3 комментария
    3 комментария

  • Как правильно реализовать перезапуск python скриптов с nohup?

    paran0id
    @paran0id Куратор тега Linux
    Умный, но ленивый
    Запускайте эти скрипты как systemd service - это несложно, надёжно, и именно так решается эта задача.
    Ответ написан
    1 комментарий
    1 комментарий

  • Верификация Upwork несовершеннолетнему?

    opium
    @opium
    Просто люблю качественно работать
    Во первых нет
    Во вторых русском запретили работать если ты в РФ
    В третьих логично обходить через взрослых, то есть родителей
    Ответ написан
    Комментировать
    Комментировать

  • Оптимизируется ли UPDATE, если значения полей на самом деле не меняются?

    Melkij
    @Melkij
    PostgreSQL DBA
    В postgresql создаётся физически новая версия строки при update (с обновлением всех индексов либо hot update если применимо) даже если ни одно поле не меняет своё действительное значение. Есть встроенный триггер suppress_redundant_updates_trigger, который можно повесить на таблицу, тогда ничего действительно не меняющий в данных update будет пропускаться.

    Если меняется хотя бы одно значение - оптимизации не подлежит, должна быть записана новая версия строки в таблицу (чтобы MVCC обеспечить). Если возможно, оптимизация HOT update исключит сопутствующее обновление индексов.
    Ответ написан
    9 комментариев
    9 комментариев

  • Как изменить dns через commandline Linux?

    @SunTechnik
    Вы бы написали, что именно хотите сделать.

    Текущие настройки DNS берутся из файла: /etc/resolv.conf
    ( Сделать копию текущего, создать новый файл с требуемым содержимым, хоть командами echo).

    Для DNS нет понятия основного интерфейса. Настройки едины для системы.
    Но, если используется NetworkManager, то при рестарте системы он перезапишет resolv.conf своими настройками.
    Для измениея настроек NetworkManager - используйте nmcli

    man nmcli - в помощь.

    + Возможен вариант использования локального кэшируещего DNS. Тогда в /etc/resolv.conf nameserver=127.0.0.1
    Там тогда отдельно надо разбираться.

    То-есть для конкретной системы сменить DNS- задача легкая. В универсальном виде - обрастает множеством условий...
    Ответ написан
    3 комментария
    3 комментария

  • Что быстрее SQL или Javascript?

    ipatiev
    @ipatiev
    Потомок старинного рода Ипатьевых-Колотитьевых
    В общем, чтобы не издеваться над девушкой, объясним на пальцах.

    Во-первых, заголовок у вопроса чудовищно некорректный. Это все равно что спросить, "что быстрее - пылесос или стиральная машина?"
    Во-вторых, ответ на вопрос "производить ли обработку данных в БД или же запросить все данные в клиентское приложение и обрабатывать там" совершенно очевиден: обработку данных следует производить в общем случае только в БД. Она для этого и придумана. Чтобы обрабатывать значительные объемы данных.

    Да, js тоже "может" обрабатывать большие объемы данных.
    Но чтобы значительный объем данных обработать, его сначала надо передать, полностью забив канал между сайтом и базой
    Чтобы значительный объем данных обработать, его надо сначала проиндексировать. Причем делать это каждый раз, а не использовать уже имеющийся набор индексов
    Чтобы значительный объем данных обработать, надо иметь значительный объем памяти или упасть из-за её недостатка
    Чтобы значительный объем данных обработать в многопоточном режиме (а сайт как раз является многопоточной системой), все вышеперечисленное надо умножить на количество посетителей сайта - при каждом запросе перегонять весь массив данных, выделять память, индексировать, считать. Если же вы оставляете все данные в памяти приложения, то их тогда надо как-то синхронизировать с БД. То есть вы себе собираете кучу проблем на пустом месте.

    Несомненно, из любого правила есть исключения. И бывают ситуации, когда приходится считать в приложении.
    Но на вопрос в общем виде ответ будет совершенно однозначный. Не "может так, может сяк", а только в БД.
    Ответ написан
    9 комментариев
    9 комментариев

  • Есть ли инструменты для ротации логов кроме logrotate?

    @q2digger
    никого не трогаю, починяю примус
    >> перешерстил 1000 манов по logrotate и так и не понял почему он в конец ротированного файла добавляет числа не соответствующие дате...
    серьезно? man logrotate 
    dateext
              Archive  old  versions of log files adding a date extension like YYYYMMDD instead of simply adding a number. The extension may be configured using the dateformat and dateyesterday options.
    Ответ написан
    2 комментария
    2 комментария

  • Как из контейнера docker получить ip и порт, на котором хостится этот контейнер на хостинге?

    ky0
    @ky0
    Миллиардер, филантроп, патологический лгун
    Правильный вариант - не завязываться ни на какие айпишники, особенно локальные. Нужен домен, да - но есть и бесплатные варианты, если покупать не хочется.
    Ответ написан
    Комментировать
    Комментировать

  • Какой проект можно сделать, чтобы выучиться на Data Engineer?

    rozhnev
    @rozhnev
    Fullstack programmer, DBA, медленно, дорого
    Посмотрите на https://www.kaggle.com/learn там есть и курсы и задачи
    Ответ написан
    1 комментарий
    1 комментарий

  • Как сделать чат-бот на основе ИИ, обученный на собственной базе знаний?

    Maksim_64
    @Maksim_64
    Data Analyst
    Есть ощущение, что вы ожидаете очень сложного ответа, а ответ очень прост. Нет никакой математики в этой задаче, так же нету в этой задаче и архитектуры нейронных сетей. Есть лишь только работа с API, что оно предоставляет, таковы и возможности. Если бы мне нужно было решать такую задачу, я бы открывал статьи на medium (открывается с vpn) и естественно смотрел бы в стороны платных статей и от них бы отталкивался, потому что там множество пошаговых гайдов высокого качества для создания чат-ботов на базе GPT ( предполагаю вы свободно владеете английским).
    Ответ написан
    2 комментария
    2 комментария

  • Как в Kubernetes выполнить деплой контейнера с новым кодом?

    Zarom
    @Zarom
    Если ни один параметр деплоймента не изменился, куб не будет выполнять обновление под. Одна из причин почему строго не рекомендуется использовать тег latest.
    Костылем будет при каждом деплое что-то менять в деплоймента, например значение лейбла в темплейте пода
    Ответ написан
    Комментировать
    Комментировать

  • Почему gitlab-runner не запускает контейнеры, хотя пайплайн успешен?

    chupasaurus
    @chupasaurus
    Сею рефлекторное, злое, временное
    Потому что вместо DinD надо монтировать сокет хостового Docker.
    Ответ написан
    3 комментария
    3 комментария

  • Существует ли дистрибутив линукс готовый к работе в домене из коробки?

    ky0
    @ky0
    Миллиардер, филантроп, патологический лгун
    Примерно любой дистрибутив, в котором можно сделать условный apt/yum/etc install realmd sssd.
    Ответ написан
    7 комментариев
    7 комментариев

  • Как работает кластер galera?

    paran0id
    @paran0id
    Умный, но ленивый
    https://galeracluster.com/library/documentation/ov...

    Ну камон, репликация мускуля - это не тайные знания.

    Очевидно, что процесс передачи на другие серверы - не мгновенный, и требует некоторого времени. И столь же очевидно, что если после получения новых данных, но до передачи их в другие серверы кластера исходный сервер сдох, то этих данных не будет на оставшихся серверах, и, как Вы правильно заметили, запросы будут выполняться с устаревшими данными.


    Ага, синхронная репликация - запрос считается выполненным, когда данные разлетелись по кластеру. Медленно и надежно. Асинхронная репликация - сначала запрос считается выполненным, потом данные синхронизируются. быстро, но ненадежно.

    А вообще, всех распределенных систем касается CAP-теорема, почитайте. Идеальных распределенных систем не бывает.
    Ответ написан
    1 комментарий
    1 комментарий

  • Какие разделы математики важны чтобы работать сисадмином или сетевым инженером?

    dimonchik2013
    @dimonchik2013
    non progredi est regredi
    арифметики достаточно - надо все же понимать, зарплату выдали в полном ли объеме и повышается или понижается
    Ответ написан
    Комментировать
    Комментировать

  • Как натянуть верстку на FTP?

    CityCat4
    @CityCat4
    //COPY01 EXEC PGM=IEBGENER
    "...- Палубной команде - ставить трал!
    - Поставить можно клизму. Трал отдают... " (С) Ю. Иванов "История пропавшего корабля"

    Так вот, натянуть можно подружку. Или кепку на уши. А страницу загружают посредством FTP-клиента при наличии логина и пароля, который должен выдать провайдер.
    Ответ написан
    Комментировать
    Комментировать

  • Как натянуть верстку на FTP?

    DanArst
    @DanArst
    Гриффиндор в моде при любой погоде!
    Если у вас есть доступ к интернету, чтобы задать этот вопрос, то должны быть и ресурсы, чтобы сначала узнать, что такое FTP и что такое верстка.
    Если разобраться в этих понятиях, а это дело 5 минут, то станет понятно, что верстку на FTP не натягивают.
    Готовую верстку скорее всего натягивают на какую-нибудь CMS/CMF. Вот чтобы как раз таки залить файлы верстки на сервер, скорее всего понадобится FTP. Но думаю этого будет недостаточно, ибо верстка - это лишь обертка без функционала.
    Отсюда следует, что у вас скорее всего просто статичная HTML-страница, а значит натягивать ничего не надо, а просто залить файлы на сервер.
    Как это сделать? Вот первый вариант с гугла
    Ответ написан
    Комментировать
    Комментировать