WGM12 равен трём.
(1 << WGM12) равно 0b00001000 (единица, сдвинутая на три бита влево)
TCCR1B |= (выражение) это побитовое или, устанавливает в единицу те биты регистра TCCR1B, которые у правого операнда равны единице, а остальные не трогает. Например:
TCCR1B = 0b10101010;
TCCR1B |= 0b00001111;
теперь TCCR1B будет равен 0b10101111;