А я думаю, что начать лучше все-таки с IDE, во-всяком случае, если работаете на Windows.
Конечно, разбираться в инструменте, который используешь, - это хорошо, правильно и полезно. Но для старта этого просто не нужно. Вы потратите достаточно много усилий на то, чтобы разобраться в процессе компиляции, даже не начав собственно программирования.
Поэтому я думаю, что для начала можно поставить Visual С++ Express и начинать писать код через 20 минут :)
На Linux, действительно, можно начинать без IDE, тем более что никаких IDE для плюсов там и нет.