С чтения спек по существующим форматам, с выяснения "почему они сделали именно так", и с вникания в
xkcd.ru/927UPD: Пожалуй, дополню, чтобы получше донести мысль.
Уже существуют
медиаконтейнеры. Они позволяют упаковать внутрь медиаконтент, указать какой кодек используется, и еще всякие мелкие плюшки типа DRM. Чтобы получить известность и поддержку в разных операционках и устройствах, ваш новый формат должен в чем-то превосходить существующие.
Если вдруг вы собрались создавать
аудиокодек а не
формат, опять таки, следует ознакомиться с вашими конкурентами. Никто не станет запиливать в железо поддержку кодека, который дает плохое качество или плохой битрейт.
Если вы пишете "для себя" - начните с
обработки сигналов, например. Там и про компрессию есть.