Двоичный код бывает разный. Есть ассемблерный код, он тоже двоичный, а есть так называемый "байт код" - созданный для какой либо среды runtime выполнения.
Ассемблерный код всегда быстрее любого runtime выполнения.
Наглядно можно посмотреть тут
https://godbolt.org 
