У Nikon D5100 должно быть все «честно» с FullHD разрешением, возможно в «нечетких» кадрах видео виновато то, что у вас была установленна низкая скорость затвора (см например
урок про скорость затвора на Vimeo).
А вообще — если цель именно съемка видео — то для этого традиционно больше подходят фотоаппараты Canon. Для них есть специальная прошивка
Magic Lantern которая облегчает съемку видео.