Ну и данные будут гоняться туда и обратно каждый раз.
Да и программно можно массивы подгружать кучками
time python -m timeit 'set(range(1,1000022)) - set(range(1,1000000))'
10 loops, best of 3: 98.4 msec per loop
real 0m4.002s
user 0m3.528s
sys 0m0.468s