Задать вопрос
  • Как удалить много строк (порядка 500.000) из csv файла в Python?

    @rPman
    csv не простой формат, строки в нем могут содержать разделители, ковычки и даже переводы на следующие строки. Поэтому рекомендуется работать с ним через библиотеки.

    Но если ты точно знаешь, что таких сложных ситуаций нет, и можно обойтись простым split, то код будет простой... читаешь построчно файл, парсишь колонки, и тут же из нужных формируешь строку, удалив ненужные колонки и пропуская не нужные строки, записываешь в новый файл.

    По окончанию работы, если ошибок не будет, старый файл удаляешь (или переименовываешь его в xxx.bak) а новый переименовываешь под старым именем
    Ответ написан
    Комментировать
  • Какая нейросеть может перевести фото в вектор?

    fenrir1121
    @fenrir1121
    Начни с документации
    Векторное изображение это набор математических описаний из элементарных геометрических объектов.
    Из этого следует что между словами векторное и детализированное, нужно выбрать что-то одно.
    Максимум что вы получите из фотографии это множество точек, что ничем не будет отличаться от растра, кроме гигантского размера файла.
    Сформулируйте конечную задачу, потому что вероятнее всего это ошибка молотка
    Ответ написан
    Комментировать
  • Как правильно решить проблему с настройкой nginx?

    smilingcheater
    @smilingcheater
    location /elastic {
                proxy_pass http://127.0.0.1:9200;
            }


    Добавьте слеш
    location /elastic {
                proxy_pass http://127.0.0.1:9200/;
            }

    В документации это написано
    https://nginx.org/ru/docs/http/ngx_http_proxy_modu...
    Ответ написан
    Комментировать
  • Как сделать INSERT в две таблицы в одном запросе?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ты можешь открыть транзакцию и сделать два инсерта в разные таблички. И с точки зрения БД
    это будет иметь смысл атомарного действия.

    Или ты другое хотел?
    Ответ написан
    8 комментариев
  • Как перенести проект с базой данных с одного компа на другой?

    @Everything_is_bad
    ну раз подробностей нет, то dump - restore
    Ответ написан
    Комментировать
  • Как корректно декомпрессировать файл используя zlib?

    Daemon23RUS
    @Daemon23RUS
    Слегка похоже на RAW RGBA
    первые три байта цвет (черный) и прозрачность, но кусочка скрина недостаточно. так что это предположение.
    PS . RAW RGBA дает такую картину, но что то мне кажется что разрядность альфаканала или порядок байт еще не верен, да и цвет должен черным быть, а синего по краям быть не должно, в
    Image.frombuffer("RGBA", (256, 256), data, "raw", "RGBA;4B", 0, 1)
    654fac0e174ff737928376.png Может коллеги подскажут ...
    Ответ написан
    42 комментария
  • Почему Raspberry Pi 3B+ перестает загружаться через некоторое время после работы?

    @s4q Автор вопроса
    Поменял SD-карту на новую и продул сжатым воздухом разъем SD-карты, проблема исчезла
    Ответ написан
    Комментировать
  • Как правильно масштабировать Django с Kubernetes?

    @deliro
    Хочу такой вариант пропустить и сразу перейти к kubernetis

    "You think you do, but you don't"

    Знаю, что могу вынести DB и pgbouncer на отдельные сервера

    Чтобы увеличить RTT?

    Для поддержки кубика нужна целая выделенная команда, которая, помимо кубика, ещё настроит и будет поддерживать ёлку (ELK), какой-нибудь vault, графану, прометей, консул, докер реджистри, s3 (типа minio или seaweedfs, ведь контейнеры теперь stateless и хранить на них ничего нельзя) и кучу других сложных штук. Если у тебя нет сотни разработчиков в компании, то не нужно играть в гугл.

    Во-первых, какая у тебя нагрузка? Сколько тысяч запросов в секунду приходит и отмасштабировал ли ты вертикально и упёрся уже в потолок? gunicorn оптимально настроен? сколько процессов/потоков, какой тип воркеров? json парсишь и сериализуешь orjson'ом? Приложение профилировал?
    Во-вторых, 12 factor
    В-третьих, у базы есть реплики? read запросы раскидал на реплики? а редис? Действительно ли нужен zero downtime (это исходит из вопроса про нагрузку)

    Если тебе хочется просто поиграть, то поставь локально кубик, поиграй, погрусти и удали. Не нужно это тащить в прод, если нет на это необходимости. А если ты даже название kubernetes не можешь правильно написать, то он тебе не нужен.

    P.S. DRF — медленное нетипизированное говно, выкинь его
    Ответ написан
    5 комментариев
  • Как правильно масштабировать Django с Kubernetes?

    @vitaly_il1
    DevOps Consulting
    Тут есть два не связанных вопроса:
    1) как сделать CI/CD
    2) на какой платформе (VM, Docker compose, Nomad, K8S, какой-нибудь cloud app server) оптимально поднимать сервис

    Насчет первого - с помощью Github Actions легко сделать CI/CD ничего не меняя в архитектуре.

    Насчет второго - зависит от многих данных - от skills разработчиков до ожидаемой нагрузки, требований в производительности и надежности, и до кол-ва денег.
    Ответ написан
    Комментировать
  • Как отключить автоматическую перезагрузку Windows 10 для установки обновлений?

    SignFinder
    @SignFinder
    Wintel\Unix Engineer\DevOps
    1. Обновления, которые перезагружают машину - приходят один раз в месяц.
    Если ваша рабочая машина не контролируется ИТ организации, то в настройках Windows Update есть возможность настроить как вам нужно.
    Если контролируется - нужно обсуждать с ними.
    Ответ написан
    2 комментария
  • Что лучше выбрать для взаимодействия в микросервисной архитектуре? MessageBroker или REST?

    Зависит от того что именно за данные (для какой цели) будут передаваться и между кем и кем.
    Rest как и любой другой синхронный метод взаимодействия несёт плюсы:
    + Сравнительно быстрая реакция на запрос и ответ. (как правило от запроса до получения ответа менее секунды)
    + Очень прост в использовании, нет никаких проблем с поддержкой на клиенте
    + Очень простая инфраструктура (в минимальном варианте она не нужна вообще)
    + Всё хорошо изучено. Та же аутентификация и авторизация очень легко реализуется в рамках http.
    + Достаточно легко разрабатывать и тестировать
    + Есть grpc и openapi - нет никакой проблемы с документированием такого API.
    + В http запрос с каким-нибудь multipart form data может спокойно быть размером в десятки мегабайт, а может и больше - полезно при загрузке файлов.
    И минусы:
    - Не понятно что делать, в случае недоступности ответной стороны
    - При неправильной реализации клиента (политики ретраев) - можно легко заддосить сервер

    Всякие разнообразные брокеры сообщений тоже имеют свои плюсы:
    + Строгая очерёдность обработки данных (событий) из коробки
    + В случае недоступности ответной стороны - брокер у себя может хоть несколько дней держать данные
    + Все политики ретраев реализуются на стороне брокера
    + Если это rabbit, то можно разные сложные механики рассылки и маршрутизации реализовать
    + Если это кафка или какой-то другой лог, то можно вычитывать события повторно

    Но есть и минусы:
    - Инфраструктура обычно сложнее
    - Достаточно большие задержки
    - Использовать можно будет только у себя внутри - внешнему клиенту (браузер, мобильное приложение, публичный API) такое дать не получится.
    - Сложнее разграничивать в правах.
    - Сложно разрабатывать и тестировать. На примере той же кафки - подключиться к топику и записать в него что-то через гуй - это отдельный челендж.
    - Запросы должны быть небольшими (сотни кб)
    Ответ написан
    2 комментария
  • Какая файловая система наиболее устойчива к сбоям?

    @Bwana
    Самый надежный вариант не потерять набранное -- Ctrl-S перед каждой паузой в процессе набора/редактирования. Через какое-то время это станет бессознательным действием и случаи потерь сократятся до одного-двух в квартал.
    Главное, не выключать комп без необходимости -- достаточно вырубать мониторы и все.
    Ну и классические бекапы перед уход домой. Это если внезапно комп/диск сдохнет.
    Проверено на себе и уже лет надцать не подводит. Храню только последний (вчерашний) бекап. В нескольких местах, в том числе и на флешке в кармане.
    Ответ написан
    Комментировать
  • Какая файловая система наиболее устойчива к сбоям?

    Alex_Geer
    @Alex_Geer
    System Engineer
    Нужно смотреть на файловые системы с журналированием. Например XFS или ext4
    Что это такое: https://www.interface.ru/home.asp?artId=18352
    Как включить журналирование например на ext4 гуглится легко.
    Ответ написан
    4 комментария
  • Есть ли жпт по созданию картинок?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Поищи по ключевому слову Stable Diffusion.
    Ответ написан
    2 комментария
  • Memcached как исправить кучу процессов?

    @pfg21
    ex-турист
    PID один - значит процесс один.
    а вот откель куча зависших незакрытых портов tcp надо изучать.
    клиент не закрывает ??
    Ответ написан
    Комментировать
  • Memcached как исправить кучу процессов?

    ky0
    @ky0
    Миллиардер, филантроп, патологический лгун
    Это не множество процессов - процесс один и тот же. Это активные TCP-сессии. Почему их много - вопрос к приложению, подключающемуся к memcached. Смотрите настройки РНР, имхо.
    Ответ написан
    Комментировать
  • Как уменьшить время выполнения запроса like '%uri%' в Postgresql?

    Melkij
    @Melkij
    DBA Team для вашего PostgreSQL?
    create extension pg_trgm;
    create index concurrently db_url_trgm_idx on db1 using gin ("Url" gin_trgm_ops);

    https://www.postgresql.org/docs/current/pgtrgm.html
    Ответ написан
    Комментировать
  • Почему соедиенение Websocket закрывается очень долго?

    @kpb Автор вопроса
    В нашем случаем оказалось из-за Kaspersky Secure Connection, после его удаления все заработало
    Ответ написан
    Комментировать