Вам нужно использовать defaultdict и set:
from collections import defaultdict
dic = defaultdict(set)
dic[1].add(1)
dic[2].add(2)
dic[1].add(1)
dic[1].add(3)
print(dic)
print(dic[0])
В Python 3.6 словари и множества сохраняют оригинальный порядок элементов, в более ранних версиях порядок не гарантируется.