Задать вопрос
Ответы пользователя по тегу Linux
  • Можно ли монтировать LUN'ы как NFS?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Нет, не увидят. Точнее увидят, но через некоторое время будет каша из данных. Все дело в том, что файловая система живет не только на диске, но и в памяти компьютера, который сделал изменения.
    Вам нужна распределенная файловая система для этого, когда компьютер, сделавший изменения данных, сообщает о них своим партнерам, а партнеры уже обновляют измененные данные.

    Представим ситуацию, А создал файл в каталоге, а В перед этим читал этот каталог. В закешировал содержимое каталога и никогда не узнает, что в нем появился новый файл. В случае же распределенной FS, А после создания файла говорит В, чтобы он перечитал каталог.

    В вашем случае вариантов несколько.
    1) Развернуть GPFS (IBM, платная) или OCFS (Oracle) - это типы shared FS (используется одно хранилище, об изменениях сообщается всем)
    2) Развернуть Gluster, lustre, CephFS или что-то подобное - distributed FS (используются отдельные хранилища, об изменениях сообщается всем, данные могут реплицироваться).
    3) Если данные не завязаны на файлы - использовать распределенные хранилища/базыданных типа Сeph, S3, Mongo и т.д.
    Ответ написан
    Комментировать
  • Выбор файловой системы для сервера с видео?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Ну, про XFS (и тем более SSD) вам уже написали... Я же немного с другой стороны подойду. Как обычно, подозреваю, что стоит веб-сервер, который это видео раздает на сайт, а со стороны клиентов стоит браузер с flash или подобное. Другими словами, у вас стриминг видео. Что делает плеер со стороны клиента, кроме того, что проигрывает видео? А он ещё его и кеширует! А как он его кеширует?! А кешируют эти сволочи на сколько у них ресурсов хватит, спользуя весь объем диска и всю полосу пропускания!!!
    Объясню на пальцах, клиент сморит ролик с битрейтом 3000килобит, а кешируется у него этот ролик на скорости клиентского подключения (100мегабит к примеру) и будет продолжать кешироваться до полной закачки всего файла. Теперь у нас 10 клиентов, которые тут же сожрали все ресурсы сервера и пропускной способности, на короткое время конечно, но пользователи прибывают например раз в 3 секунды, и вот они уже никаких ресурсов не получают вообще, пока первые 10 не докачают. А теперь представим, что первые 10 клиентов посмотрели только первые 3 минуты ролика и переключились на другой. Но мы то им отдали за эти три минуты двухчасовой ролик!
    Что делать? Да очень просто, ограничить скорость на клиента двойным максимальным битрейтом. Это можно сделать как iptables/tc , так и политиками на nginx например. Ну или отдавать в формате HLS или подобном, или ставить ПО видеосервера, что в общем почти одно и тоже...
    Вот как раз даже в примере есть (не просто так поди) www.nginxtips.com/how-to-limit-nginx-download-speed
    location ^~ /videos/ {
    ...
    limit_rate_after 1m;
    limit_rate 150k;
    ...
    }

    PS. И да, кодируйте видео в CBR для раздачи. VBR для этого не очень подходит...
    Ну, кажется все военные тайны раскрыл... Ну и дополнительно на HLS уходите!
    Ответ написан
    2 комментария
  • Какие есть средства для бэкапа данных типа bacula?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Bareos работает и жрать не просит, переехали на него с бакулы.
    Ну и посмотрите на urbackup, просто и со вкусом, но тоже клиент/сервер.
    Ответ написан
    Комментировать
  • Как понять суть работы SSL сертификатов?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    1) Многие браузеры начинают ругаться на самоподписанный сертификат, требуя дополнительных действий от пользователя, доверять ли неизвестному сертификату. Соответственно за это и платится денюжка. Поэтому многие предпочитают купить сертификат. Если у вас внутренний корпоративный портал, то можно скопировать сертификат на все компьютеры фирмы, тогда браузеры его примут за свой.
    2) Сертификат бывает не только подписанный, но и разным числом бит (512,1024,2048), определяя стойкость шифрования, за это тоже отдельно платится денюжка. Т.е. если нужен сертификат для денежных проводок, то разряйтесь на более надежный. К слову сказать, правильная генерация сертификата требует хорошего генератора случайных чисел, например на основе датчика температуры. Это к вопросу о стоимости...
    3) Сертификат может быть сгенерирован не только для сайта, но и для его алиасов, за это тоже часто берут денег. Например домен example.com и алиасы www.example.com, mail.example.com, smtp.example.com, imap.example.com и т.д.
    3а) Сертификаты бывают и для генерации и подписывания других сертификатов, отдельная денюжка. Это нужно например для развертывания публичного VPN, например.
    4) Заходя на сайт (для сайта можно на стойкий сертификат и не разоряться, а купить базовый уровень), сразу видеть, что как минимум коннект зашифрован иногда дорогого стоит.
    5) Не нужно забывать об инфраструктуре отзыва и замены сертификатов, которую разворачивает производитель сертификатов, ведь сертификат можно украсть, подменить или еще как-то дискредитировать, а производитель будет гарантировать быстрый отзыв и перегенерацию, что будет происходить прозрачно для ваших пользователей.
    Ответ написан
    Комментировать
  • Как передавать значения между работающими скриптами?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Можно через базу данных тира redis или mongodb, а можно и через rabbitmq!
    Ответ написан
    Комментировать
  • [РЕШЕНО] Как объединить 3 linux сервера в одну подсеть без коммутаторов?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Без коммутаторов конечно можно, только будет гадость, сами то сервера мы друг с другом соединим, а-б-с-а, как раз по два коннекта в каждый сервер. Только как к этому кластеру снаружи подключаться?!
    Ставьте два коммутатора, один на кластернную сеть, второй на внешнюю, каждый сервер одним адаптером в один коммутатор, вторым - во второй. А еще лучше - добавьте 10ge адаптеры для кластера., а на остальных интерфейсах сделайте бондинг.

    Что касается glusterfs, то странная она, очень, ушли с него... Мы ceph rbd используем, установка не исльно сложнее гластера, а все остальное гораздо лучше. Один минус, не нужно на нодах мапировать rbd девайсы, работайте через librbd напрямую, или через kvm например. Если уж нужно подключить rbd как блочное устройство, делайте это с клиентов извне кластера!
    Ответ написан
    Комментировать
  • Выбор DFS, какую начать смотреть?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Ceph + rbd + nfs + pacemaker. 4 ноды на ceph (118тб), две на rbd + nfs server + pacemaker, там же виртуалки kvm напрямую через librbd. Клиентами 15 серверов по nfs с сотней пользователей. Все ходит по инфинибанд qdr. Довольны, cephfs пока не планируем...
    И да, не раздавайте rbd + nfs server с OSD-нод, оно виснет! Виртуалки c librbd и kvm на osd-нодах живут нормально, но мы от греха их убрали, да и памяти там на пределе (1 гиг на терабайт рекомендуется)
    Да, до этого glusterfs пробовали, странное оно очень... А еще раньше жило gpfs покупное от интеллегентных бизнесмашин, но стоимость обновления на новую версию превысило все рамки разумного...
    Ответ написан
    Комментировать
  • Есть ли готовое решение для развертывания гостевых машин на KVM?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Странно, так вроде бы всё даже по умолчанию так настроено, в убунте как минимум, только галочку при установке поставить.
    Ответ написан
  • Удаленое управление компьютером. Что почитать?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    А если сервер настоящий, то наверняка имеет BMC с ip-kvm на борту, ну а так ssh или vnc.
    Ответ написан
    Комментировать
  • Собственное облачное хранилище на linux-сервере?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    А ещё ceph не забудьте.
    Ответ написан
    Комментировать
  • Широковещательный шторм. Как победить?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Подозреваю, что видеосервер вещает мультикастом, а вы протокол igmp на коммутаторах не настроили, в частности опции igmp-snooping. В результате мультикаст от сервера получают абсолютно все (от принтера до ip-телефона), а не те, кто подписан на рассылку. Заменой сетевых карт тут не помочь, только настройкой коммутаторов!!! ( это я как разработчик видеотрансляций мультикастов говорю)
    Ответ написан
    Комментировать
  • Как сделать дублирование вывода в файл?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Ух ты! Новый вызов однако. Не знал... Вот и описание с примером man7.org/linux/man-pages/man2/tee.2.html
    Мы в своё время извращались с копированием вручную в 2.4.xx ядрах :-)
    Ответ написан
  • На виртуальной машине подмонтировать 500 одинаковых файловых систем или раскопировать?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    А мы ceph + rbd используем на kvm + libvirt. Один раз сделал снапшот девайса с установленной системой, а уже от него уже остальные диски растут на каждую виртуалку.
    Тут и нагрузка самим сефом регулируется и нет единой точки отказа и лишних данных не плодим и бекапы в виде снапшотов имеем и откат можно сделать мгновенный и миграция прозрачная.
    Рекомендую!
    Ответ написан
    Комментировать
  • Что необходимо знать для написания чата на С++?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Забудьте про сокеты, используйте нормальные очереди сообщений типа zeromq zeromq.org или rabbitmq www.rabbitmq.com
    Это и проще и убережет от лишних велосипедов и ошибок.
    Только скачать библиотеку для работы на c++
    Ответ написан
  • Как организовать несколько VPS на одном реальном сервере?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    KVM - набор виртуалок будет - https://wiki.debian.org/KVM
    Docker - набор контейнеров будет - https://wiki.debian.org/Docker
    LXC - набор контейнеров для мазохистов - https://wiki.debian.org/LXC
    Ах, ну да, еще XEN - набор виртуалок будет - https://wiki.debian.org/Xen
    Ну как-то так...
    Ответ написан
    2 комментария
  • Как обратиться к памяти pci устройства при написании драйвера под Linux?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Тут важно знать, как на PCI эта плата видна. Есть ли DMA, или только регистры PCI?
    Объяснять достаточно долго, лучше прочитать, а если что непонятно, задавать более конкретные вопросы.
    Общее:
    - найти устройство pci_get_device()
    - установить регистры PCI, включить устройство
    - установить обработчик прерывания
    - отмапировать DMA и регистры
    - далее, работаем обычно через обработку прерывания, реализацию IOCTL или через дескриптор устройства. (по поводу реализации своих ioctl, лучше сначала посмотреть ен подходит ли чего из существующего)

    Документация по работе с PCI из драйвера - https://www.kernel.org/doc/Documentation/PCI/pci.txt
    Очень хорошее объяснение работы PCI - www.tldp.org/LDP/tlk/dd/pci.html
    Да и вообще обязательно прочитать эту книгу полностью - www.tldp.org/LDP/tlk

    Разрабатывать быстро драйверы можно начать с Померанца (но там нет PCI, а только примеры реализации драйверов) www.tldp.org/LDP/lkmpg/2.6/html/index.html

    В любом случае в помощь lspci, документация в самом ядре и конечно же исходники драйверов и то, что рекомендовал.

    PS. И да, это не так сложно, как у меня написано! Простой PCI-драйвер строк в 100-150!!!!
    Ответ написан
    Комментировать
  • Как закрыть клиент SSH не убивая сессию?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Комментировать
  • Как пробросить порт, если сервер только с серым адресом?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    Завести еще один внешний адрес, на другом сервере, и пробросить туда vpn, например через openvpn. По другому никак... Хотя, можно еще через ssh port forwarding habrahabr.ru/post/81607 и вот https://help.ubuntu.com/community/SSH/OpenSSH/Port...

    Или дать по башке админу роутера.
    Ответ написан
  • Как реализовать работу с файловыми системами?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    А еще есть ceph + rbd, где ключик и мониторы указывать хорошо
    И еще xfs, где можно отдельно журнал делать
    А еще всякие gpfs, lustre, gluster..., где тоже свое разнообразие...

    А оно зачем собственно?! У меня, например, все в fstab записано, может быть и олдскульно, но как-то привычненько...
    Ответ написан
  • OC Linux непонятно стал себя вести.Как исправить?

    leahch
    @leahch Куратор тега Linux
    3D специалист. Dолго, Dорого, Dерьмово.
    А еще очень похоже на проблемы с файловой системой (или с дисками). Перезапуститесь single и сделайте fsck.
    Ответ написан
    Комментировать