Операционку сейчас написать легко (все относительно, конечно). Дорого - написать достаточное количество драйверов.
Те компании, для которых это не дорого, столкнулись с таким обломом: нужно найти достаточное количество желающих писать приложения для их операционок. ОС без приложений - кому нужна? Зачем? Самсунг и микрософт изо всех сил привлекают разработчиков, но их успехи космически далеки от андроида, яблочного и GNUсного семейств.
Поэтому, и по ряду других причин, вопрос о написании очередной новой операционки целесообразно поставить с другого ракурса: а зачем?
Почему для решения ваших задач нельзя использовать готовые наработки? Вы уверены, что вам нужна именно ОС? Новое ядро? Или только оболочка?
Пожалуй, имеет смысл говорить не столько о финансовых затратах, сколько о культурных достижениях - в ядрах сосредоточены сотни тысяч решений, 30-50-летний опыт. Делать что-то по другому - конечно нужно, но было бы адекватным решением определиться - что именно и зачем?
Более прямые ответы:
- хорошо бы понять, какой именно объем работ подразумевается под написанием ОС? Если не использовать имеющееся, что именно и зачем нужно сделать заново? Хотя можно поспорить, что смысла не имеет...
- C/C++
- Присоединяйтесь к опенсорсным проектам. Это лучшая школа, из существующих. Лучше вы нигде программировать не научитесь.
- Затраты в больших проектах измеряются в человекочасах.