Есть цель над которой бьюсь долгое время, нужно понять как реализовать подобную систему и возможно ли это вообще с точки зрения ресурсной затратности.
Есть сайт на котором находятся хеши.
Цель отправить хеш в скрипт на проверку, чтобы он собрал все его входящие хеши(допустим их 50), сохраняем в БД.
После нужно таким же образом брать каждый полученный хеш и собирать его входящие хеши и добавлять так же в БД.
Таким образом мы прошлись по всем 50-ти хешам и получили(допустим в каждом так же по 50) и мы получаем 2500.
И таким образом долгое время пока не придем к определенному условию которое этот процесс остановит.
Вроде бы все звучит легко, но уже долго бьюсь над реализацией.
В чем же собственно проблемы?
1. Прокси(одного прокси хватает на проверку около 1400 хешей), их там может быть более 700000 тысяч.
2. Скорость, что самое важное, я пытался делать данную систему на асинхронных библиотеках(наверное это плохо), и проверка составляет около трех дней, что очень плохо, ибо это нужно сократить хотя бы до получаса, именно из-за этого я пришел сюда, ибо я не знаю как это составить так, чтобы он моментально брал все хеши из БД и начинал проверять сразу, в потоках? Но как правильно это составить.
Я не прошу готовых решений подобной проблемы, я прошу лишь помочь и подсказать, как правильно создать структуру такой тяжелой проверки, упираясь в скорость. Что использовать и как лучше составить.
Нужно вопрос разобрать на более понятный. Что такое входящие хеши.
В чем бутылочное горлышко? Вы за каждым хешом лезете на сайт, и вам не дает скачать 2500 хешей?
Сайт чужой? Нельзя с него взять хеши прямо из базы?
Или что не так?
Попробуйте перефразировать ваш вопрос, чтобы человек не знающий вашей ситуации понял суть вопроса, а не вокруг него.
Средний
Простой
Простой
