Анализировать exe через hex редактор это сильно... Попробуйте IDA.pro и научитесь пользоваться дизассемблером паралельно изучив все что для этого нужно.
Декомпиляторов не существуют, либо их возможности ограничены. Помню для Delphi был неплохой декомпилятор, для прилажек собранных из php/python/ruby/js тоже можно сделать (ибо там как бы... все в открытую лежит по идее).