И возможно ли теоретически построение более оптимального компилятора, чем у С, в ближайшие годы?
Навряд ли. В этот язык вложено много человеко-часов. Поскольку он представляет из себя общепринятый стандарт, то проще доработать расширения для своих нужд, чем разрабатывать компилятор с нуля.
Правильно ли я считаю, что С-программы работают быстрее программ на других языках после Ассемблера?
Не обязательно. Вот взять, к примеру, сравнение Web Framework Benchmarks
https://www.techempower.com/benchmarks/
Программа на C заняла лишь 6-е место в списке.
Что делает C эффективным ("быстрым", но не только)?
Inline-функции
GoTo, ассемблерные вставки
регистровые переменные
адресная арифметика
разные "подсказки" для компилятора, типа векторных инструкций процессора и прочих.
Для того, чтобы заменить язык C, необходимо:
вложить много человеко-часов, создав компилятор, который генерирует код эффективнее C
разработать лучший toolchain, чем имеющийся.
Дополнительные ссылки:
icps.u-strasbg.fr/~bastoul/local_copies/lee.html
ftp.cvut.cz/kernel/people/geoff/cell/ps3-linux-doc...
https://ispc.github.io/