у тебя пустой DOM, есть только body.
1. В первой ф-ии ты создаешь div и p, а styleTest у тебя будет равен null, потому что querySelector ищет в DOM дереве .styleClassTest, а его на данном этапе там нет. У тебя есть p с этим классом, но он ещё никуда не добавлен, а просто находится в переменной. Затем ты добавляешь свою матрёшку в body и делаешь проверку и она уже проходит, но styleTest.style.color = 'yellow' не срабатывает, потому что как ты помнишь в переменной styleTest у тебя null.
2. Едем дальше, вторая ф-я всё тоже самое, НО в DOM дереве у тебя уже есть элемент с классом .styleClassTest, поэтому одноимённая переменная уже будет не пустой и ей в условии ниже ты и задаёшь жёлтый цвет.