На modal-backdrop не получилось из-за того, что над ним довлеет #modalfoto. Поэтому я бы добавил событие щелчка по #modalfoto, в которое включил бы проверку на координаты щелчка. Если пользователь щелкнул за пределами div, обрабатываем событие, если нет - ничего не делаем.
Набросал примерную схему действий.
$("#modalfoto").click(function(e){
var modalDialog = $(this).find('.modal-dialog');
var xOffset = modalDialog.offset().left;
var yOffset = modalDialog.offset().top;
if((e.pageX < xOffset || e.pageX > xOffset + modalDialog.width()) &&
(e.pageY < yOffset || e.pageY > yOffset + modalDialog.height()) {
// какие-то действия
}
});