1. Ответ на ваш вопрос специфичен для конкретного языка. Например Цэ, на сколько я знаю, не несет дополнительного оверхеада во время выполнения, в то время как golang имеет свой рантайм, что связано с управлением памятью и поддержкой специфичных для языка возможностей. У скриптовых языков рантайм еще более тяжел, и потому они они дольше стартуют, даже если далее подключается jit компиляция и полезная нагрузка исполняется бодро.
2 + 3. В подавляющем большинстве ответ нет, заменить загруженную в память программу нельзя. Erlang вроде как умеет штатно, но и там это высший пилотаж.