Вечный цикл в многопоточности. Как сделать правильно?

Question

[Константин Теплоухов]

Всем привет . Нужно написать код где N потоков работаю в вечном цикле . Не пойму как написать правильно чтоб избежать многих проблем .
ps: на сколько знаю не закрывающиеся потоки могут вызывать разные проблемы . Ту же утечку памяти . Или всё чушь и такой код нормален ?
Пример

for (int i = 0; i < 50; i++)
            {
                Thread thread = new Thread(MyMethod);
                thread.IsBackground = true;
                thread.Start();
            }

        private void MyMethod()
        {
            while (true)
            {

            }
        }

Comments

[Василий Банников]

А каких проблем ты хочешь избежать?
В текущем виде у тебя просто будет несколько потоков, которые впустую жрут процессорные мощности

[Константин Теплоухов]

Василий Банников, В этом вечном цикле будет вызов 3 функций
1. возвращает генерируемое число
2. функция делает гет запрос на сайт , подставляя в юрл число, и получает ответ .
3. проверяет ответ . Если 1 то сохраняет юрл если 0 то не сохраняет .
И так по кругу . Долго . Недели , возможно и месяцы .
Вот и хотелось бы узнать не вызовет ли подобное проблемы

[сергей кузьмин]

Константин Теплоухов, так за Неделю на сайте просекут что у вас бесконечеый цикл и забанят вас

в бесконечном цикле безопасно только на ноль делить

[Константин Теплоухов]

сергей кузьмин, Не забанят . Там можно .

Так вот и интересно , как сделать то что мне нужно без этого цикла ?

[сергей кузьмин]

ну на этот вопрос еще стругацктие ответили

Лозунг у них был такой: "Познание бесконечности требует бесконечного времени".
С этим я не спорил, но они делали из этого неожиданный вывод: "А потому работай не работай — все едино".

[Владимир Коротенко]

Константин Теплоухов,
https://blog.stephencleary.com/2012/02/async-and-a...

Task.WaitAll await Task.WhenAll Wait/await for every one of a collection of tasks to complete

[Василий Банников]

Константин Теплоухов, а как один поток у тебя передаёт данные в другой?

[Константин Теплоухов]

Василий Банников, он не передаёт, сохраняет юрл через конструкцию lock(this)

[Василий Банников]

Константин Теплоухов, ужас какой.
Попробуй:
1. Вместо полноценных потоков запускать Task-и. Тк у тебя работа с сетью, то они будут дешевле, чем Thread-ы.
2. Вместо передачи через lock - попробуй System.Threading.Channels - они гарантируют безопасную передачу и не блокируют

[Константин Теплоухов]

Василий Банников, Спасибо , попробую . Те делать task-и и в них запускать вечные циклы ?
ps: можно ли вам куда-то написать ? Я недавно создавал топик по поводу утечки памяти , там вы посоветовали профайлер . И мне действительно удалось найти место утечки . А вот как пофиксить не понял . Проблема в
моём HttpWebRequest , а именно вот тут pinnablebuffercache . Такая конструкция не помогла
Request.AllowWriteStreamBuffering = false;

[Василий Банников]

Константин Теплоухов, а что утекает то?

[Константин Теплоухов]

Василий Банников, ну у меня код , в многопотоке гоняет вечный цикл . Там идут веб запросы через HttpWebRequest , и с каждым часом потребляемая память увеличивается . Профайлер в студии показал что дело в pinnablebuffercache и каком-то List<Object> в нём .
В гугле нашёл что может помочь
Request.AllowWriteStreamBuffering = false;
Однако не помогло

[Василий Банников]

Константин Теплоухов,
1. а где у тебя list'object используется?
2. Переходи на HttpClient и переиспользуй его

[Константин Теплоухов]

Василий Банников, В этом то и проблема , list я не использую . Те есть некий pinnablebuffercache а внутри него Этот самый list . Опять же , если верить профайлеру
C HttpClient,om что-то не заладилось . Давно пробовал и не помню , толи я не смог каждый раз брать рандомный прокси , толи новый юрл

[Василий Банников]

Константин Теплоухов, от того что ты каждый раз делаешь запросы с новыми прокси вполне может утекать.
Мокажи код хоть.

[Константин Теплоухов]

Василий Банников,

private static string GetUrl(string id, string proxy , int port)
        {
            try
            {
                HttpWebRequest Request = (HttpWebRequest)WebRequest.Create("https://site.com/" + id);

                Request.UserAgent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.79 Safari/537.36";

                Request.Method = "GET";
                Request.KeepAlive = true;
                Request.Timeout = 10000;
                WebProxy myproxy = new WebProxy(proxy, port);
                
                Request.Proxy = myproxy;
                Request.AllowWriteStreamBuffering = false;
                Request.AllowAutoRedirect = false;

                Request.CachePolicy = new HttpRequestCachePolicy(HttpRequestCacheLevel.NoCacheNoStore);


                string _url;

                using (HttpWebResponse response = (HttpWebResponse)Request.GetResponse())
                {
                    using (Stream stream = response.GetResponseStream())
                    {
                        using (StreamReader sr = new StreamReader(stream, Encoding.UTF8))
                        {
                            _url = sr.ReadToEnd();
                        }
                    }
                }
                Request = null;
                if (_url != null)
                {
                    _url = Pars(_url, "url=", "\"", 0);
                    return _url;
                }
                else
                {
                    return "error";
                }
            }
            catch (Exception ex)
            {
                
                return "error";
            }
        }

[Василий Банников]

Константин Теплоухов, не думаю, что утекает именно здесь.
Но не вижу причин не использовать HttpClient

[Константин Теплоухов]

Василий Банников, именно здесь . Если не использовать этот кусок кода и просто так гонять потоки то утечки нету

[Василий Банников]

Константин Теплоухов, а что кроме него никакой другой код не работает?

[Константин Теплоухов]

Василий Банников, Нет , просто если убрать именно этот код то утечки нету

[Константин Теплоухов]

Василий Банников, Вот скрин с профайлера на всякий случай

клик

[Василий Банников]

Константин Теплоухов, могу только предложить уйти с HttpWebRequest :)
Если у тебя задача делать запросы через прокси, то заведи себе энное количество HttpClient с подключенными проксями и выбирай случайный из них для запроса

[Василий Банников]

Константин Теплоухов, хотя стоп. Они у тебя нифига не утекают. Всего 2мегабайта.
Хотя 300 Connection немного подозрительно выглядит. В любом случае в топе всё что связано с HttpWebRequest

Answer 1

[Владимир Коротенко]

Правильно так
https://docs.microsoft.com/ru-ru/dotnet/api/system...
Хорошая статья разъясняющая как это работает https://habr.com/ru/post/654101/
Кроме того если это сервер то лучше вытащить тяжелую артиллерию https://github.com/ldcsaa/HP-Socket
https://docs.microsoft.com/en-us/archive/msdn-maga...

Comments

[Константин Теплоухов]

Спасибо .
На самом деле был ещё вопрос , не хотелось снова тему создавать и думал спросить у вас в телеграмме , а вас там давно не было . Однако большое спасибо . Вроде то что нужно