Очень интересно, ничего не понятно.
Там, где я получаю значение е - e = realPart + imagePart; - что делать с комплексной частью i возле синуса? Т.е. e^iAngle=cos(Angle)+ i sin(Angle) - что делать с мнимой частью при реалезации?
Если вам нужен только частотный спектр, можете просто выбросить другую часть, но тогда невозможно будет обратное преобразование.
я не совсем понимаю, что должно служить новыс значением цвета пикселя. Правильно ли я делаю?
Вы должны получить частотно-фазовый спектр, вырезать ненужные частоты, преобразовать спектр назад в изображение.
В целом советую вам прочитать статьи об устройстве JPEG и дискретно-косинусном преобразовании на хабре. Там было несколько статей, которые подробно всё это разжёвывали и даже экспериментировали с другими преобразованиями/параметрами/таблицами дискретизации/ресемплингом...