Железо разное можно использовать, тут Ваши конкретные задачи должны быть. Можно Raspberry Pi3, можно и Arduino, а можно и данные с IoT девайсов на облако отправлять, там их и обрабатывать. Но я бы рекомендовал Raspberry. Хотя продаются готовые наборы для умного дома на базе Arduino.
Не думаю, что есть смысл создавать свою ОС для этого, достаточно будет тогоже Raspbian(по крайней мере для старта).
Литературу читайте по Shell progrmming и С/С++.