Задачку вы себе выбрали неслабую! :-) OpenSource редактор схем есть в KiCAD. Там, кажется, С++ и Qt. Я бы рекомендовал использовать именно С++ и Qt, поскольку нативный код работает быстрее, что важно при симуляции. Ну и у Qt прекрасная документация и большое сообщество разработчиков. Дополнительным бонусом - кроссплатформенность при правильном написании кода.