Яндекс так может потому что:
1) у них кучи метрики от всех пользователей по которым они могут сразу знать ссылки
2) их роботы могут гулять по ссылкам, т.е. в документе X есть ссылка на документ Y а в документе Y ссылка на документ Z
3) У яндекса есть яндекс браузер через который они в дополнение п1 знают еще кучи ссылок.
Ваш вариант "кроме как подбирать xxxxxxxxx проверяя код ответа?" для вас и будет единственно доступным если не найдете каких либо дыр, дыр в api.
