ledokol88

1. Если атрубут value для checkbox-а не задан, то метод jQuery val() всегда возвращает "on". Для выяснения состояния лучше использовать проверку наличия псевдокласса checked:
$('#zakaz input[name=nomer1]').is(':checked')
2. В PHP значение checkbox передаётся только если он был включён, в противном случае оно вообще не передаётся. Т.е. вместо проверки на пустую строку if ($_POST[ 'nomer3' ] == '') ..., надо проверку на существование if (isset($_POST[ 'nomer3' ])) ...
(Ну или для PHP7 просто if ($_POST[ 'nomer3' ]) )

в zakazmessage.php убираете лишние echo:

// отправка сообщения
mail($sendto, $subject, $msg, $headers);
// отдать js скрипту номер заказа
echo $Nzakaz;

в js принимаете ваш номер:

success: function(data) {
$('#zakaz').find('input[type=text],input[type=email],input[type=tel], textarea').val('');
$('#zakaz').find("input[type=checkbox], input[type=radio]").prop("checked", "");
console.log(data); // в переменной data и будет ваш номер, далее передавайте его как хотите, например так:
$('#zakazbModal').html(data);
                    }

Чтобы решать такие вопросы необходимо видеть ваш код или хотя бы версию fancybox.
Но если вам этого хватит то вот сделал пример:


Перед открытием окна, получаем ид открываемого окна, находим в нем все input и очищаем их:

$("[data-fancybox]").fancybox({
		beforeShow: function( instance, slide ) {
      $(slide.src).find('input').val('');
    }
});

Или применяем reset() к самой форме

https://jsfiddle.net/hoq0djwc/1/

Вероятно, не [type=checkbox]:checked, а #data1:checked, #data2:checked…

Исключительно на CSS эту задачу решить нельзя.
С помощью него можно получать соседние и дочерние элементы. А из одного элемента получить доступ с дочернему объекту соседнего элемента нельзя.
Варианта два - с помощью js добавляйте/удаляйте нужные классы/стили у нужных элементов, либо добавляйте классы к общему корневому элементу (например, body), и там уже на css меняйте нужные стили.