По моему задавая подобный вопрос, даже не стоит начинать ... Просто "умный дом" это зоопарк из технологий, с кучей нюансов.
Брать что-то за основу для подобного проекта - не солидно
А с таким подходом стоит подумать о смене профессии. Серьезно.
было решено делать свою ОС
Еще один бред ... Хотя ноги оттуда же. ОС вам не нужна, пишите софт для готовой. В вашем случае под Linux.
0) Определите бюджет конечного продукта (цена на выходе). Вы сюда будете часто возвращаться и тут ждет не мало не приятных сюрпризов.
1) Как минимум определитесь с железом. Малина и аналоги конечно круто, но что будет
исполнительным оборудованием? Выбор очень большой и не очевидный. А это как раз основной вопрос.
2)
- Как?
Найдите ответ на этот вопрос. И тут вам кто-то врядли поможет, потому что не ясно что вы хотите получить на выходе.
3)
- Что учить?
Ну раз собрались писать на сях, то их и учите. Много учите. МНОГО! Но я бы выбрал язык попроще типа PHP, Node JS, Go. В этом случае МНОГО будет несколько меньше.
4) Раз вас много, постарайтесь разбиться по разным направлениям.
5)
- В каком направлении работать? (Дизайн --- Функциональность)
Во всех, но по классике сначала пилят функционал, а потом уже натягивают картинку.