1) Почему такая большая разница в результатах?
2) Стоит ли ждать, что реальная выдача дотянется до xml по результатам, может было у кого на практике такое?
Потому что Яндекс так решил и ждать, что что-то изменится нет резона. Просто имейте ввиду эту информацию и все.
Еще в 2013 году Девака провел небольшое исследование по этому вопросы и пришел к выводу:
По витальным запросам выдача может разниться сильней, по коммерческим не так сильно (6-7%). Однако, встречаются единичные запросы, дающие максимальную разницу между позициями в XML и в органическом поиске Яндекса. Причина подобных отличий пока не ясна.
В целом, если проверяться через сервисы, использующие Яндекс.XML, нужно учитывать небольшую погрешность данных, которая может варьироваться в зависимости от тематики.