ну допустим так:
select *
from `table_name`
where (from_id = 32 and to_id = 20)
or (from_id = 20 and to_id = 32)
limit 1;
Только учтите, что если в таблице будут две записи: 32,20 и 20,32, то определить какая из них верная, на основе входных данных, не представляется возможным.
