Gradle. Почему сборка на windows намного медленнее?

Question

[Dmitry Roo]

Провожу сравнение скорости сборки на разных платформах...
Проект для тестов производительности известный и общедоступный: https://github.com/spring-projects/spring-framework
Параметры запуска:

% java --version
openjdk 11.0.5 2019-10-15
OpenJDK Runtime Environment AdoptOpenJDK (build 11.0.5+10)
OpenJDK 64-Bit Server VM AdoptOpenJDK (build 11.0.5+10, mixed mode)

./gradlew clean build -x test --no-build-cache
Сборка занимает (по результатам нескольких запусков):
на Core i7 8750H (MacBook Pro) ~3:00 минуты
на Ryzen 7 2700 + Windows (Настольный ПК) ~3:45
на Ryzen 7 2700 + Linux (Настольный ПК) ~ 2:00

т.е. у *nix систем гигантское (почти в 2 раза) преимущество в скорости сборки!

Вопрос: Почему сборка на  windows намного медленнее? Ну или почему сборка на *nix системах намного быстрее? Есть идеи как ускорить сборку на windows?

Comments

[Dmitry Roo]

Во всех системах SSD + 16Gb RAM
Папка проекта добавлена в исключения windows defender.

[alex1478]

Dmitry Roo, попробуй на время теста вообще отключить антивирус.

[tiroman]

alex1478, не спасет, проверено на собственном опыте

[Dmitry Roo]

alex1478, пробовал. Не помогает от слова совсем.

[nidalee]

В качестве оффтопа: в 3д тоже такое встречается часто, бывает и до 50% быстрее на linux тот же блендер, винят планировщик винды.

Answer 1

[mayton2019]

Linux быстрее создает процессы (fork()). Это особенно видно при работе с консольными тулзами. И с теми-же тулзами которые портированы под Windows к примеру. Это одна причина. И вторая - это файловая система. Linux/Ext4 обычно менее затратная в обслуживании огромного количества мелких операций чем Windows/NTFS. Например проверка атрибутов безопасности в Linux - это проверка битовой маски. В Windows - чуть больше действий.

Ко всему конечно могут быть и другие различия в имплементации java под Windows которых я не знаю.

Comments

[Dmitry Roo]

Похоже, в этой задаче NTFS проигрывает  Ext4/HFS+
Попробовал использовать Ramdrive для проекта - на windows время сборки уменьшилось до 3х минут, а вот на маке эффекта нет (3 минуты и на  ramdrive и на ssd)

[mayton2019]

Ramdrive - дорогое удовольсвие. Обычно память и так используется рационально. А если вы что-то под себя резервируете то другие приложения автоматически этого не получаю. Ramdrive - это конечно вариант. Но - кратковременный и управляемый вручную. После сборки вам надо не забыть его погасить.

[Dmitry Roo]

mayton2019, ramdrive - это, конечно, только в качестве эксперимента. Похоже, что предположение, насчет ext4 vs ntfs - верно. Использование ramdrive в ежедневной работе - сомнительно.

[pfg21]

Dmitry Roo, опять же, в линуксе обратная ситуация :) на tmpfs основана работа кучи системных разделов.

Answer 2

[tiroman]

Тут есть некоторые личности которые утверждали что это ложь, я авторитетно заявлял что это так, я тоже проводил кучу опытов в попытке хотя бы сравнять производительность грэдла на линуксе, не получилось... Причем я скажу что все продукты intellij работают быстрее под линуксом, не только грэдл, причины я до конца понять не смог и решения не нашел, пожтому почти 5 лет сижу на линуксе

П.с. пробовал и open jdk и оракловский и много чего пробовал нашаманить

Comments

[mayton2019]

Были ли равные условия? У Gradle есть .config где определяется максимальное число рабочих процессов --max-workers. Я думаю что они определяют скорость сборки много-модульного проекта. И еще gradle очень хитрый и при любой возможности пытается не компилировать когда есть возможность. Например запуск модульного теста может не вызвать полный цикл компиллятора. Тоесть это возможно не был вопрос Windows-vs-Linux а скорее один конфиг против другого.

[tiroman]

mayton2019, один и тот же проект, пустой, из стандартного набора, настройки студии по умолчанию, я даже тесты и замеры делал, на Лоре одному умнику доказывал ))

[mayton2019]

Так я не про проект говорю а про конфигурацию gradle на конкретной ОС. Посмотрите gradle.properties в инсталляции в GRADLE_HOME и в каталоге проекта. Возможно были различия.

[tiroman]

mayton2019, я же написал настройки студии дефолт, одинаковые, грэдл тоже

[mayton2019]

Попробуй запустить на обоих конфигурациях сборку с опцией -debug. И без параллелизма. Будет длинная постыня операций. Далее для двух конфигураций надо сравнить время. Я думаю в логе будет очевидно что какая-то одна операция долго исполнялась.

[tiroman]

mayton2019, так мне это уже не так важно )) я под линуксом себя комфортно чувствую

[Роман Василенко]

Вот, да. В своё время тоже перешёл на линукс исключительно из за этого.

И завис на нём навсегда ))