tsarevfs

За скорость обработки циклов отвечает процессор?

Внутри цикла могут быть операции, скорость которых зависит от быстродействия памяти или даже жесткого диска, например если вы читаете там из файла. Но процессор тоже важен.

Если в однопоточном выполнении какого-либо сценария будет 50 тысяч итераций, это нормально?

Если теле цикле простая арифметика, то такой цикл будет выполнятся доли секунды.

А если поставить всё это дело на машину с высокочастотным процессором?

Зависит не только от частоты процессора, но скорее всего будет быстрее.

И если программа выполняется в одном потоке, то количество ядер не важно?

С кучей ядер нашу программу будут меньше прерывать другие процеессы, например сама операционная система. См. "вытесняющая многозадачность".

Реализация зависит от платформы. Вы можете посмотреть во что компилируются интересующие вас операции для конкретного компилятора с помощью дизассемблера (в студии есть встроенный, для unix есть objdump -D > somefile.asm).
Вообще, оптимизации на уровне арифметических команд это последнее дело. Для начала желательно убедиться, что нет алгоритма с лучшей ассимптотикой (считая что все арифметические операции работают за 1).
Для обработки однотипных данных возможно получить ускорение за счет векторных операций из расширений процессора SSE* или на GPU.