У вас есть 10000 значений. Вы выбираете N значений. Значит вероятность попасть p0 = N/10000.
Ну а дальше чисто теория идёт. Вам надо найти вероятность k попаданий подряд, после которых следует n промахов подряд. Следовательно, p(k,n) = p0^k*(1-p0)^n. Дальше задаёте доверительную вероятность p1, мол, пусть событие наступило, если его вероятность не меньше 0,9. Ну и подбирайте такие k и n,чтобы p(k,n)>=p1.
А из этой теории с помощью численных методов сами выведите нужную вам формулу в программе.