Как правильно получать кадр фильма без артефактов?

Замените jpeg на png

Конвертация видео в мультяшное?

Тогда www.compression.ru/video/cartoonizer/index.html или https://www.youtube.com/watch?time_continue=104&v=...

Как предотвратить постепенное ухудшение видео файлов?

Да.