Можно ли заставить скрипт ./configure работать со всеми ядрами?

Question

[Сергей Карбивничий]

Собираю часто софт из исходников. Так как ноут слабый(2 ядра) то беру мощный VDS почасово (или поминутно). Сегодня захотелось собрать haiku OS. Для сборки данной ос, нужно клонировать 2 репозитория. Первый - buildtools(там разные утилиты и gcc), второй - собственно - haiku OS. Сначала нужно сконфигурировать проект:

../configure --cross-tools-source ../../buildtools --build-cross-tools x86_64

потом собственно сама сборка:jam -q -j2 @nightly-raw #-j2 - количество ядер
Если со сборкой самой ос проблем нет, так как там можно указать количество ядер, то скрипт конфигурации выполняется очень долго(около часа). Когда выполнялся ./configure, заметил, что собирается много утилит, в том числе и gcc и исходного кода, и 8 ядер загружены примерно на 3-10%. Так можно ли задействовать все ядра для ускорения сборки buildtools?

PS: jam -q -j8 @nightly-raw загружает все ядра под завязку.

Comments

[rPman]

В gentoo для этого была фича ebuild - parallel-install оно запускает какраз сборку пакетов параллельно
но у тебя этим занимается сам главный скрипт ./configure
вот его и ковыряй, но боюсь легко не получится

Можно попробовать сэкономить, при наличии почасовой или даже поминутной оплате облачных ресурсов:
используя distcc можно отправить запуск компиляторов на удаленные машины, т.е. настраиваешь образ типовой сборочной машины с distcc, и пишешь скрипты по управлению клонированию, запуску и остановки их при изменениях среднего cpu load, если он ниже некоторого порога, постепенно выводишь машины из кластера и останавливаешь, а если выше - наоборот добавляешь машин.

В таком конфиге скорость сборки увеличить может и не получится, но центральный скрипт пусть работает на медленной дешевой/твоей машине, ведь он только configure запускает, а сама сборка пусть на удаленных

Но боюсь если оплата не поминутная, сэкономить не получится. Все облачные сервисы берут оплату в лучшем случае почасовую, плюс еще подгадать в момент билинга чтобы не стартовать/останавливать посередине

[Сергей Карбивничий]

rPman,

но боюсь легко не получится

Согласен. Буду смотреть форум Haiku, может что-то найду.

[Сергей Карбивничий]

rPman, Блин, я в вопросе сделал опечатку - не VDS, а VPS :) VPS стоит копейки) 8 ядер, 16 памяти - около 4р. в час). Тем не менее софт собирается раз в 8 быстрее, чем на ноуте.

Иногда хочется поэкспериментировать с редактированием исходников интересного софта, поэтому я делаю bash скрипты, которые клонируют репозиторий нужной программы, скачивают на чистый ubnutu-сервер зависимости, конфигурируют и собирают софт. Потом тяну себе по scp на ноут уже собранный софт. Прикольно получается, всё практически делается на автомате.

Answer 1

[Сергей Карбивничий]

Ха, всё довольно просто! В configure можно передать параметр -j8!

../configure -j8 --cross-tools-source ../../buildtools --build-cross-tools x86_64

Работает!
Решение нашел случайно просматривая форум haiku: How to compile Haiku on Haiku?

Comments

[rPman]

оно запускает configure паралельно для разных пакетов? странно -j8 это вроде бы указание количество одновременно запускаемых gcc

[Сергей Карбивничий]

rPman, Но сработало.

[Сергей Карбивничий]

rPman, Заново сконфигурировалось менее чем за 8 минут.