1) Ставят задачу - что за ОС нужна, для чего.
2) Выбирают инструмент и начинают реализовывать задачу.
В общем ОС это программа для компьютера, и пишут ее точно так же как и любую другую программу.
Достаточно будет прочитать документацию на процессор (к примеру Intel 4000 страниц)?
Достаточно для чего? Вполне возможно, что документацию под конкретный процессор придется изучать, а может и нет.
Вендор компьютера представляет какие-то примеры system software?
С чего бы? Задача вендора - реализовать товар под своим брендом. Какое ему дело до софта???
Или как вообще люди начинают писать свою ОС?
По желанию или необходимости.
Либо захотелось человеку и он готов потратить время, либо шеф поставил задачу, и ему приходится дабы не вылететь с работы ее реализовывать.