-1) кто такой
input type="login"
???? text знаю, password знаю, login шо за зверь?
0) проверить, подключен ли JQ
1) биндить евент по загрузке, и правильнее использовать on, то есть:
$(document).ready(function () {
$('#login_r').on('keyup', function(){
console.log('пошел процесс!');
...
console.log(msg);
})
}
2) Использовать console.log(), сначала в самом начале функции обработчика жс, чтобы убедиться что бинд вообще работает, далее, если все работает, выводить ключевые переменные на точках ветвления/изменения параметров. В конце вывести что пришло аяксом.
3) как и советовали, для начала и для отладки, уберите все и оставьте только вывод.
4) mysql_* функции являются устаревшими, используйте PDO(рекомендуется) или mysqli_*.
UPD:
Теперь выводит alert('error');. То есть пропускает весь цикл до последнего else.
Для начала замените алерт на вывод в консоль, далее - выводите не бесполезный error, а данные которые пришли, нахрена вам этот еггор? По уму, оперировать надо цифрой а не буквой, то есть отдавать 0 или 1.