Если не вдаваться в извращения и неподдерживаемые ни кем особенности формата, то разница приблизительно такая:
PNG сам по себе - формат сжатия без потерь, то есть он позволяет сохранить изображение один к одному, а JPEG сжимает изображение с потерями (при том потери можно регулировать несколькими параметрами, собственно "качество" и цветовая субдескретизация, то есть степень потери информации в цветоразностном канале).
Оба формата поддерживают прогрессивную загрузку, но по-разному: JPEG - по блокам, PNG - черезстрочно.
PNG поддерживает прозрачность в двух вариантах: прозрачный/непрозрачный и 256 градаций прозрачности, а JPEG прозрачность не поддерживает.
PNG может хранить цвет в полноцветном режиме TrueColor (24 бита) и в палитровых режимах (до 256 цветов), а JPEG бывает только полноцветный или 256 градаций серого.
Степень сжатия JPEG при одинаковых настройках изображения, но разных картинках зависит от плавности цветовых переходов в картинке, а степень сжатия PNG - от наличия повторяющихся одинаковых пикселей.
PNG не поддерживает хранение метаданных в EXIF, а JPEG - поддерживает.
Если что-то осталось неясным - спрашивайте в комментариях к ответу.