Ava256

Нужно понимать как работает многозадачность и распределение процессорного времени по ядрам.
В Линукс довольно сложно посчитать реальную занятость процессора.
В сам свитчинг ничего упираться не может, точнее нет каких-то специальных лимитов. Это обычная процессорная занятость, относящаяся наверное к system cpu usage, но это неточно. Чем быстрее процессор, тем быстрее он может выполнять свитчинг и тем больше свитчингов в секунду может быть выполнено, это просто выполнение инструкций процессора вне рамках процессов, а внутри ядра системы, точнее process scheduler.

Но проблема в том, как именно распределяется процессорное время. process scheduler в ядре линукса выделяет слайсы примерно по 10-15 милисекунд на процесс, потом переключает на другой. Для процессов, которые что-то активно вычисляют (например архивация), после анализа деятельности может быть выделен более длинный слайс или несколько подряд, то есть уменьшается свитчинг. При этом оценка времени, которая нужна на сам свитчинг - она довольно сложная, ведь для подсчета количество потраченного cpu нужно потратить cpu, и эти 10-15% может на самом деле не существовать.

Если парралельных процессов очень много и все хотят что-то делать (чекнуть load average), то машина просто не успевает обработать их все, и тратить на переключение приличное количество ресурса, вместо того чтобы непосредственно выполнять код ваших программ.
Таким образом какого-то определенного лимита на context switching нет, это просто еще одна метрика, которая может подсказать что слишком много одновременно запускаете, можно попробовать оптимизировать.

Ну или просто не хватает CPU, а система ошибочно показывает свободные ресурсы, которых на самом деле нет.

Линукс на самом деле не так уж детально может посчитать точное количество ресурсов. Там выполняется все очень просто - на входе в контекст засекается timestamp, на выходе из контекста засекается таймстамп, и потраченное время дописывается в метаданные процесса (для каждого ядра, если процесс многопоточный). Исторические значения не записываются, в метаданных процесса есть только вот это - сколько всего cpu usage с момента старта процесса.
Если запустить какой-нить top, он будет каждые 1-2 секунды бегать по списку процессов, сравнивать этот параметр и показывать результат загруженности за последние 1-2 секунды, но вот уточнить процесс занял свои 25% cpu плавно в течение секунды, или он занимал 100% cpu первую четверть секунды или третью - вы уже не сможете.

Ну и само ядро считает свои внутренние потоки так же само.
И только активность самого process scheduler (то есть cpu затраченное на анализ и переключения процессов) не может быть красиво подсчитана.

p.s. я не разработчик линукс, поэтому это мое IMHO основанное на наблюдениях и обзорных статьях о работе современного планировщика, если будут гуру которые меня поправят или подтвердят сказанное - будет круто.

Не обращайте внимание. Этот расчет, как средняя температура по больнице.

Здесь продают бу серверное железо. Не "рабочая-станция-с-али-на-ксеоне" а именно настоящий серверный сервер (5 и более летней давности). Примерно за 30К можно собрать платформу без аппаратного рейда, с винтами и памятью.
Нелепая сборка из геймерской матери и ксеона сервером не является и никогда им не станет хотя бы потому что у нее нет ECC-памяти и KVM (а без KVM ты по любому чиху тащи к нему монитор :) Плавали с X99, знаем)

Вообще при длительном отсутствии следует и холодильник тоже отключать.
А так:
1. ИБП, чтобы исключить возгорание из-за некачественного электричества
2. Датчики дыма и пожарную сигнализацию, чтобы в случае возгорания вызвать пожарных
3. Камеру, чтобы проконтролировать состояние самостоятельно
4. Какие-нибудь автономные системы пожаротушения - есть специализированные для серверов

Что делать дальше?

А что вы сделали сейчас? Алгоритм простой:
1) нарисовать схему сети
2) реализовать физический и канальный уровни
3) реализовать сетевой уровень
4) поставит сервисы

Есть шаблон

Что ещё за шаблон? Ну вот вам другой шаблон: кидаем всё на микротик, клиентам раздаём ip, привязываем их на микротике к макам; за настройку последней мили пусть платят дополнительно - провайдеру наплевать, есть ли там роутер и что за ним находится.

Вот схема.

Схема неправильная. Адреса не указаны, линки не прописаны, порты повторяются, dhcp почему-то летают в воздухе, а dns отсутствует.

Скопировать куда то данные
Сделать новый рейд
Скопировать обратно

Вероятнее всего дело не в версии Windows 11, ищите другую причину - например вы джойните\компьютеры находятся в разные OU с разными политиками GPO или входите на комп под учетной записью с правами администратора или без.
Ну и gpresult никто не отменял-всегда можно выгрузить и проанализировать.

копать сюда

https://www.ovhcloud.com/en/bare-metal/high-grade/...
36*18/2 = 324 Тб один сервер , если Raid 5-6 точнее 50-60 то можно и одним обойтись, но помоему эти рейды на таком количестве дисков непримениымы, поэтому класситка 10

от этой стоимости пляшите - в сторону уменьшения, ессно

например - 10к серверов по 6 дисков, вот туда raid5060 уже встанут, емкость дисков по 16 уже пром - итого по 64Тб на сервер

дальше - распределенные FS типа Riak / min.io etc

ну и наконец - ленточные системы, но они, конечно, не просто холодные, а ледяные, но - опять же - вы не говорите специфику данных бизнеса, может и подойдут

по итогу выбор будет из двух

(*)несколько дешевых серверов с усложненным администрированием
или один-два дорогих

варик (*) лучше тем что можно разнести по разным ДЦ, и странам, иногда это важно

Весь вопрос - под какие цели нужно хранилище?
Если под блобы виртуалок или подключаемые сетевые диски к виртуалкам, то рекомендую присмотреться к CEPH, настоятельно рекомендую.
Если же нужна большая файлопомойка, то здесь тоже все непросто. Можно поверх CEPH сделать samba/nfs.
Можно развернуть AFS. Можно Gluster, но тут проблема с маленькими файлами - будет сильно тормозить.
А можно попробовать поставить SeaWeedFS, он отлично подходит для мелких файлов.

Но! Если пользователи должны получать удаленный доступ, то все равно придется ставить что-то типа samba/webdav/nfs.

PS. И да, развертывал хранилище таких размеров на основе CEPH и кучи сервисов. 5-9 серверов cо сдвоенными Intel Xeon 2840, 64 Gb, 10G ethernet + диски из расчета дублирования или троивания объема.
Другими словами для 500Тб нужно как минимум 1 Петабайт сырых дисков, а лучще 1,5 Пб.
PPS. Скорость в хнаниличе на infiniband 40Gb (вместо ethernet 10G) была в районе 7GB/s при копировании блобов хранилища. Диски были HDD 7500 разной емкости.

Для начала стоит определиться с задачами, которые решала бы СХД, на сегодняшний день это некое универсальное надёжное хранилище данных под какие-то типовые рабочие нагрузки, такие как виртуализация, СУБД , файловое хранилище, документооборот, везде где есть отказоустойчивая кластеризация. Как только сделаете правильную постановку задачи, определитесь с приложениями, типом доступа к СХД (а СХД это преимущественно блочный доступ: FC, iSCSI, SAS), определитесь с количеством хостов, которые вы хотите подключать к хранилищу, вы сможете определить какое хранилище вам нужно, и это может быть вообще не СХД.
Примерная стоимость дисков:
Диск SAS Seagate 14Tb ST14000NM004J (полезный объём 12,73ТБ) –290$
Считаем RAID6 (8+2) 500ТБ - 49 дисков + 2 запасных, итого 14790$
Стоимость Samsung Enterprise SSD, 2.5"(SFF), PM1653, 7680GB, SAS, 24Gbps, R4200/W3700Mb/s, IOPS(R4K) 770K/135K, MTBF 2M, 1DWPD/5Y – 1560$
Считаем RAID6 (8+2) 50ТБ – 10 дисков + 1 запасной, итого 17160$
В итоге только стоимость OEM дисков будет 31950$.
Стоимость 1 сервера –от 5k$, СХД – от 10k$

Данная ошибка не связана со способом создания загрузочной флешки, если вы видите это окошко то 'проверку на формат уже прошли'.

Данное сообщение говорит что в системе нет драйверов например на USB или дисковый контроллер и дальше работать не будет.

Есть следующие решения:
* найти в биосе usb-cdrom режим (видел такой в паре материнок старых), в довесок, чтобы с гарантией, сделать копию диска простым копированием iso образа прямо в устройство флеш-накопителя (условно если он будет /dev/sdb вот в него и копируй с помощью dd), и пофиг какого этот диск размера (лишь бы было больше или равно размеру iso), этот метод кстати универсальный и позволяет загружать liveusb как на EFI так и на legacy mbr.

* переключить систему в режим EFI или Legacy mbr, в зависимости от ситуации, драйвера могут использоваться разные в т.ч. из BIOS для режима EFI

* Заранее разбить диск на два раздела (либо добавить в систему еще один диск) и чтобы с гарантией (это если будет еще проблема в обнаружении диска, т.е. установщик покажет пустой список) использовать SATA устройство, а в биосе переключить в режим IDE (драйвера для этого режима с гарантией есть в установщике), но не забыть позже установить драйвера на материнку и вернуть AHCI режим. Первый раздел использовать как целевой для установки а на второй, отформатировав его в fat32/ntfs/exfat, скопировать в корень содержимое установочного iso образа. Дело в том что установщик windows будет искать свои файлы в корне всех дисков системы, если не найдет их на загрузочном диске (не удивлюсь если эта фича поддерживается еще с тех времен, когда систему устанавливали с флопи-дисков)

* если ничего не помогает, тогда соверши первую фазу установки (когда идет копирование файлов до перезагрузки) или даже всю, создав виртуальную машину в работающем linux (рекомендую qemu прямо из командной строки, ее проще новичку для данной задачи использовать) и прописав в ней весь используемый жесткий диск. К сожалению без дополнительных телодвижений это сработает только при использовании legacy mbr, так как для efi установщик должен еще прописать информацию об установленной системе в биосе, но это можно будет сделать позже средствами linux (у меня опыта нет, гугли, утилита efibootmgr)

Если в спектр хобби и рабочих обязанностей не входит поднятие серверов, мониторинг, работы с рейдами и бэкапами, то наверное лучше использовать коробочные решения. QSAN, QNAS, QNAP - любые штуки с Q.
Продавцы сами подберут под требования железяку, ибо такое обычно в магазине на полках не валяется.
Скорее всего подойдет то что позиционируется производителем под видеонаблюдение, исходя из того что кроме объема требований не озвучено.
И диски продаваны тоже подберут. Лучше сразу в пару контор обратиться (больше не стоит, много волокиты). Тринити, например, слышал что адекватны. И по текущим условиям гарантий что-то скажут.

Да, диски объемом больше 6 тб я бы не советовал. Ну то есть при любом уровне рейда перестроение может идти очень долго на дисках большого объема. Получается уже хранилка на 24 бэя. Хотя опять же - тз нет.

У VmWare своя файловая система, никакие восстановляторы ее могут не брать. Искать нужно именно восстановление удаленных файлов на VmWare.

Ну и разумеется, помнить, на какие три категории делятся все админы :)

Рецепт стандартный: выключаем, вставляем память согласно документации на сервер, включаем, тестируем. Если всё ОК - пускаем в прод.