$(this) - это документ, у него нет атрибута checked
$(this).prop('checked', my_cookie);
Вам нужно при загрузке страницы проверять есть ли кука, если нет, то показать модалку. И повесить обработчик на изменение в чекбоксе, если он выбран, то нужно записать куку.
$(document).ready(function(){
var my_cookie = $.cookie($('.modal-check').attr('name'));
if (!my_cookie) {
$('#myModal').modal('show');
}
$(".modal-check").change(function() {
$.cookie($(this).attr("name"), $(this).prop('checked'), {
path: '/',
expires: 1
});
});
});