Чтобы Long.decode декодировал шестнадцатиричные числа, перед числом надо написать 0x. Пример: Long.decode("0xff00dd")
Возможно, для Вашей задачи удобнее воспользоваться Long.parseLong, который принимает систему счисления вторым аргументом. Пример: Long.parseLong("ff00dd", 16)
P.S. int для хранения цвета вполне достаточно.
