Не очень понятно, в чем проблема:
Если словарь надо именно "отсортировать", т.е. сделать так, что-бы он следовал общепринятому порядку сортировки то:
d={(0, 0, 255): ((0, 0, 5), (0, 0, 5), (0, 0, 23), (0, 0, 23)),
(255, 0, 0): ((0, 0, 10), (0, 0, 10), (0, 0, 21), (0, 0, 21)),
(0, 255, 0): ((0, 0, 15), (0, 0, 15), (0, 0, 21), (0, 0, 21)),
(255, 255, 0): ((0, 0, 20), (0, 0, 20), (0, 0, 21), (0, 0, 21)),
(0, 255, 255): ((0, 0, 24), (0, 0, 24), (0, 0, 21), (0, 0, 21))}
d1=dict(sorted(d.items()))
d1
Out[99]:
{(0, 0, 255): ((0, 0, 5), (0, 0, 5), (0, 0, 23), (0, 0, 23)),
(0, 255, 0): ((0, 0, 15), (0, 0, 15), (0, 0, 21), (0, 0, 21)),
(0, 255, 255): ((0, 0, 24), (0, 0, 24), (0, 0, 21), (0, 0, 21)),
(255, 0, 0): ((0, 0, 10), (0, 0, 10), (0, 0, 21), (0, 0, 21)),
(255, 255, 0): ((0, 0, 20), (0, 0, 20), (0, 0, 21), (0, 0, 21))}
Если же у вас есть какой-то специфический "правильный порядок", и он вам известен, то просто берете поэлементно ключи из списка "правильного порядка" и ищете соответствующий элемент из начального списка. Без всяких библиотек, простейший цикл.