Взял обёртку над ManagedBass как и советовал Vabkab
Единственно, мне пришлось доустанавливать библиотеку libbass в ArchLinux (в AUR есть)
Вот код если кому интересно:

using ManagedBass;
using System;

namespace Yamux
{
    public class Player
    {
        public static void PlayUrlFile()
        {
            // Init BASS using the default output device
            if (Bass.Init())
            {
                // Create a stream from a file
                var stream = Bass.CreateStream("/home/kirill/Downloads.mp3");

                if (stream != 0)
                    Bass.ChannelPlay(stream); // Play the stream

                // Error creating the stream
                else Console.WriteLine("Error: {0}!", Bass.LastError);

                // Wait till user presses a key
                Console.WriteLine("Press any key to exit");
                Console.ReadKey();

                // Free the stream
                Bass.StreamFree(stream);

                // Free current device.
                Bass.Free();
            }
            else Console.WriteLine("BASS could not be initialized!");
        }
    }
}

Но я всё равно не могу прослушивать музыку из интернета :(
Что делать?
Качать сырые байтики и тут-же передавать их в плеер?
Но как это сделать?
Я не разу подобным не занимался