Расскажу поэтапно, что бы было более понятно. Просьба написать в комментарии к вопросу если какие то дополнительные данные нужны, выясню.
Сотрудники (~40 человек) работают через RDP на удалённом сервере. Работа элементарная, в офисных программах, 1С. Так сложилось исторически, это меняться не будет, во всяком случае в обозримом будущем. Выглядело это так же просто, на голое железо накатан win server 2019, в 1 рейде было 2 hdd 1tb. Конфигурация сервера следующая: HP DL360 gen9/2x E5-2680v4/RAM 196Gb/2xSATA 960Gb/HDD 1Tb/
RAID HP P440ar 2Gb
Работало всё не так уж быстро, но стабильно. Помимо слабого железа были и другие проблемы, все сервисы в одном месте. 1С,субд, пользователи с их рдп сессиями, прочие программы.
Далее количество людей возросло, требование к быстродействию так же. Надо было что-то менять и мы решили приобрести сервер. Его изначальная конфигурация: Dell R660 8SFF / 2х6444Y / 4х64GB DDR5 / H965i /
2хSSD 3,84TB NVMe (intel ssd d7 p5520 series 3.84 tb ssdpf2kx038t1) / 6хHDD 2,4TB SAS / 2х1,4kW /
iDRAC9 Ent NVMe установлены в саму материнку, а не в рейд контроллер!(из за невозможности установить nvme в этот рейд, о чем поставщик умолчал). По подсчетам такого объема RAM должно было хватить на 1-2 года, а мощности процессора в купе с nvme дисками должны были дать ощутимый прирост к быстродействию системы, файлов не столь ощутимо, т.к. они хранились на сасах, но в целом, всё должно было быть ок. Но если бы это было так, я бы сейчас не задавал этот вопрос, потерянный от непонимания причин.
Проясню, что я совсем не разбираюсь в серверном железе, могу только оценить/сравнить цифры, потоки, ширина шины, объем кэшей и прочее, но про совместимость ноль понимания. То же касается и софтовой части, в общих чертах знаю как работает виртуализация, но не в деталях. Сам я не занимаюсь процессом, но контролирую его.
Это было предисловие, а сейчас к самой проблеме:
Установили proxmox, сделали вм для домена и обменки (WinS2025), вм для 1с, вм для рдп WinS2025.
Был сделан 1 рейд nvme на базе софтового рейда, остальные сасы в 5 рейд на базе 965 рейд контроллера. При тестировании(тест гилёва, обычный файловый серфинг) система показывал себя хуже пентиума. Папки, файлы открывались очень медленно, тест гилёва показывал ~20 баллов. Решили протестировать nvme без рейда, тест гилёва показывал 70+, но скорость работы не сильно увеличилась (тут я могу быть не точным, т.к. это слова админов, замеры скорости никакие не остались) Было проведено в общей сложности около 20и тестов. 1С на nvme. 1С не на нвме но на сасах, 1с без нвме, чистая нвме где только 1С. В том числе был ряд других тестов. С виртуализацией на гипер-ви. и VMware. по результатам показатели были идентичными. Так же был тест установки WinS2025/2019 без вирутализации на голое железо. Везде nvme показывал себя плохо.
Обратившись к поставщикам по гарантии, после их проверки, нам было сказано, что железо работает как и должно, опущу все подробности, но если вкратце, тогда я принял решение поставить вместо nvme еще 2 таких же саса, т.к. они хотя бы показывали нормальные показатели в гилёве.
После переноса всего рабочего процесса людей на новый сервер мы столкнулись с валом проблем, но что касается моего вопроса, это зависания, падение сервера, резкое потребление ram с 30% до 100% с последующим падением сервера, медленная работа файлов(макросов в них, обновление формул), 1С, совсем не лучше предыдущего сервера. Админы говорят, что это из-за памяти, т.к. proxmox забирает 25% от выделенного объема, т.е. 120+- гб на рдп ему не хватает, тоже и с 1с, 100гб ему не хватает - в связи с чем идёт перераспределение памяти текущих сессий и как следствие зависания и тормоза. Загрузка часто доходит до 75%.
В состоянии полной неопределенности и понимания я хочу найти ответы, получается, на 2 основных вопроса:
Почему при изначальной сборке(на nvme) могло работать не так? (пожалуйста от наиболее вероятной причине к наименее)
Почему, после замены nvme, система всё ещё работает медленно, в частности открытие файлов/обработка макросов/формул/1С? Что я могу проверить, что админы настроили корректно, а что нет? Что является правильным/best practice при настройке в таком виде?
Alexey Dmitriev,
Насколько мне известно, proxmox забирает 25% для работы самого proxmox, поправьте если это не так
фото/метрики тестов, увы, нет у них, но в течении использования постоянно присылают скрины по типу:
Показывая проблему нехватки памяти(на скрине показано резкое увеличение памяти при запуске процесса дефрагментации диска и последующее падение сервера
У меня была подобная проблема с выключенным гипертрейдингом, при настройке сервера не обратил внимания. Сервер hp 380 g9 с двумя 2680, 256 Гб, 2x samsung 1.92 Тб nvme w2012r2 с hyper-v, 1C, SQL, RDP отдельными виртуалками, около сотни пользователей, 15 баз, все крутится без тормозов. У вас железо на два поколения моложе, должно летать.
мм. мило. хз кто , кто вообще не понимает в вопросе собирается прокнтролировать админов по советам из инета. Отлично.
По делу - если ваши админы не вывозят (а они явно не вывозят) - наймите интегратора. Поставьте задачу - по быстродействию, по каким-либо другим метрикам и трахайте ему мозг.
Проксмокс не имеет оверхеда в 25% процентов - это лютая херь. Машины в проксмоксе очень чувствительны ко многим вещам, например - как именно диски виртуалок сделаны, как LVM-тома или как qcow-файла на файловой системе. Включено кеширование в свойствах диска виртуалки и т.п. и т.д.
Много аспектов.
Rett-oo, если вы там упражнялись с Hyper-V, то:
- ваши ВМ вы куда положили - на RAID1 из NVME-дисков рядом с системой?
- как отформатированы ваши дисковые разделы - с размером блока по умолчанию или нет?
- DISKSPD запускали для проверки быстродействия?
6хHDD 2,4TB SAS
я бы запилил RAID6 и дисковый раздел форматировал с блоком 64К
- 1С какая - файловая/нефайловая? Для 1С важна частота CPU, а не многоядерность
Dmitry, я не пытаюсь проконтролировать работу админов, я пытаюсь проконтролировать процесс т.к. это поставленная мне задача. Лучшие практики или советы что может быть не так я прошу именно для того, что бы уменьшить диапазон возможных проблем и проверять поочередно причину такой работы сервера. Подскажите интегратор например кто? и как он учувствует в процессе обслуживания сервера?
Роман Безруков, SAS, по словам админов, запускался системный процесс дефрагментации диска(упорядочевание и т.д.), 96 гб было выделено серверу рдп на первое время, но как показала практика, увеличив до 120+ это не помогло. Даже когда на сервере было 5 человек и расходовало меньше 20% всех ресурсов запускался этот процесс и расход памяти улетал в небо и как следствие падал сервер. Это одна из многих проблем, которую решили переустановкой рдп с Win server 2025 на Win server 2019.
Админы говорят, что это из-за памяти, т.к. proxmox забирает 25% от выделенного объема, т.е. 120+- гб на рдп ему не хватает, тоже и с 1с, 100гб ему не хватает - в связи с чем идёт перераспределение памяти текущих сессий и как следствие зависания и тормоза.
Добавлю ещё, что 4 потока это не так уж и много для серверного ОЗУ, а точнее мало... Проверьте, может планки ещё и не на разных потоках стоят, а линейно подключены и работают в 1 поток.
Роман Безруков,
1. Да, лежали рядом с системой, на NVMe.
2. Формат дисков по умолчанию
3. Не тестировали, займемся в понедельник
4. 1С серверная, не файловая.
Rett-oo, начните так - дальше по результатам:
1. Сделайте отдельный GPT-раздел для хранения ВМ и форматируйте его в NTFS с размером блока 64К
2. Все не системные дисковые разделы делайте GPT и форматируйте в NTFS с размером блока 64К
3. Тесты делайте после подготовки дисков
4. Для базы и логов 1С сделайте отдельные разделы (лучше на nvme) аналогично п.1 и подключите их к соответствующей ВМ
Если гипервизор не Hyper-V, то используйте параметры форматирования, аналогичные указанным.
Все несистемные диски/разделы внутри ВМ форматировать в NTFS с блоком 64K
Для начала я бы обновила все прошивки сервера. Bios, прошивку raid-контроллера.
Сервер новый, могут стоять очень старые прошивки с различными ошибками.
"Был сделан 1 рейд nvme на базе софтового рейда" - если средствами мат платы, разберите его и просто пробросьте оба диска в проксмокс, там соберите ZFS raid1 (можно прямо при установке). Правильно выберите параметр ashift для вашего массива.
Как вариант, можно поставить проксмокс на 6хHDD 2,4TB SAS, а zfs raid1 использовать только для вм
При создании вм укажите контроллером диска VirtIO SCSI single, так же отметьте "Использовать QEMU Guest Agent"
После установки вм обязательно установите virtio-win driver с помощью iso-образа https://pve.proxmox.com/wiki/Qemu-guest-agent
Да, вм для 1с или 2019, ну или 2022 если хочется более долгосрочной поддержки
модели нвме дисков огласите.
а также нужно провести скоростные тесты через Live cd на этих дисках.
тест чтения виндовой виктории, а также тест последовательной записи aida64
p.s. 2025 винсервер в прод - такое себе решение.
система новая и не ясно, сколько нюансов она может привнести.
2019 винсерв с обновами бест чойс.
по поводу памяти, к 1с как люди подключаются? rdp/remoteapp/публикация базы и подключение через тонкий/веб клиент? настроено ли ограничение памяти в субд?
так ли нужно людям создавать полноценную рдп сессию на сервере для работы?
ибо доки и так можно через шару с огр правами (тем более домен есть) рулить, а подключение извне через впн
единственное, что я запомнил на всю жизнь, так это то, что никогда нельзя брать диски от Intel. они ведут себя слишком странно. вроде, диск неплохой, ТХ хорошие, но при этом работает отвратительно. если диск, то лучше Kingston или Samsung.
Ещё есть нехилая вероятность, что проблема в кристале процессора. у Intel 2 года назад было загрязнение на производстве кристаллов, с которым они не могут разобраться до сих пор. деградирующий чип, который не может корректно отрабатывать внутренние инструкции = система, которая ведёт себя абсолютно непредсказуемо.
касательно софтин, я бы предложил потестить сначала всё оборудование через аиду, потом делать выводы.
Также попробовать поставить линуксы и посмотреть, как система будет себя вести.
Ещё из причин наиболее очевидных — это скорость интернета на портах самого сервера, коммутаторе, розетках да и в общем на СКС.
Проверить, сколько ОЗУ у рейд контроллера, возможно её не хватает на такое количество дисков (необходимо, как я вижу хотя бы 4 гб для плавной работы) просмотреть какой из вариантов raid массивов используется и есть ли в этом необходимость.
посмотреть банально, что уходит в перегрзуз при стандартной работе, максимальной нагрузке на сервер и простое.
Ну и лучший совет, за который в меня захотят плюнуть — вернуть харды и поставить SSD форм-фактора 2.5. Любая винда любой редакции новее 7-ки не может нормально работать с хардами и постоянно уводит их в перегрузку.
касательно софтовых проблем, что RDP программы могут жрать столько оперативки — тоже верно, но лишь отчасти. зависит от конкретной редакции программы, у многих висит ограничение на количество занимаемой памяти, после которого они начинают кушать файл подкачки.
Кстати про файл подкачки, нужно проверить ещё и его, и убедиться, что его объём составляет МИНИМУМ в 1,7 раз больше, чем количество физической ОЗУ.
Ну и моё любимое: не покупать серверные базы на интеле, когда AMD выпускает дешёвые кластерные процессоры с огромным количеством ядер и нормальной частотой без косяков на производстве:)
Покажите все настройки виртуалок, а так же с какими параметрами делали сотовый рейд и что за фс использовали. 4 планки оперативки мало, а если натыкали их по несколько в один канал или к одному процу то вообще смерть. Да и в принципе конфигурация дисковой подсистемы не ахти. По нормальному должно быть например зеркало из ссд sata/sas/nvme только для гипервизора, быстрое хранилище для базы 1с и ей сопутствующего и по вкусу отдельно массив для файл шар, бэкапов и прочего.
Средний
