С написания диссертации по обработке сигналов. Ну или со знакомства с человеком, который пишет диссертацию по обработке сигналов.
Почему? Потому что чтобы превзойти существующие решения хотя бы в какой-то нише (напр., приемлемое качество речи при очень низком битрейте, или lossless-кодирование с высокой степенью сжатия) нужно хорошо поработать. Потом еще провести десяток-другой серьезных экспериментов, чтобы доказать преимущества вашего подхода в конкретных случаях (см. выше). Тогда в вашем кодеке будет реальная ценность, и вас, возможно, услышат серьезные люди.
А "для себя" -
Stalker_RED уже все сказал: изучите теорию, и существующие решения. Узнаете столько всего, что с вероятностью 98% перехочется делать свое. Зато будете знать, как делают другие.
