Скорее всего потому что rtb_partners и auctionModel не совпадают с тем что в него передается.
Как я понимаю, сравнение происходит по ссылке и мок возвращает null.
Если вам не особо важно что туда придет, то можно сконфигурировать безусловно:
var mock1 = new Mock<IRtbService>();
mock1
.Setup(a => a.GetAuctionResult(It.IsAny<IEnumerable>(), It.IsAny<AuctionModel>()))
.ReturnsAsync("VAST");