Webbrowser в консольном приложении — нехватка памяти, почему?

Question

[MaximDoshi]

При запуске приложения, примерно на 100й итерации цикла, приложение уже нереально тупит. В процессе вижу, что память постепенно увеличивается.

static void Main(string[] args)
        {
            var mThreadt = new Thread(getPage);
            mThreadt.SetApartmentState(ApartmentState.STA);
            mThreadt.Start();            
            }

static void getPage()
        {
StreamReader file = new System.IO.StreamReader(@"kw.txt");
while ((line = file.ReadLine()) != null)
            {
String GoogleHTML = String.Empty;
                using (WebBrowser browser = new WebBrowser())
                {
                    browser.ScriptErrorsSuppressed = true;
                    browser.Navigate("https://www.google.com.ua/search?q=");
                    while (browser.ReadyState != WebBrowserReadyState.Complete)
                        Application.DoEvents();
                    GoogleHTML = browser.DocumentText;
                }
}
}

Answer 1

[Виталий Пухов]

какой смысл с отдельного потока в консоли? Чтобы UI не тормозил?)
единственное что тут может быть это GC не успевает собирать мусор(ибо его будет много)
Можно добавить после завершения блока using код GC.Collect();

Comments

[MaximDoshi]

Компилятор ругается, если не создавать поток.

System.Threading.ThreadStateException was unhandled

{"ActiveX control '8856f961-340a-11d0-a96b-00c04fd705a2' cannot be instantiated because the current thread is not in a single-threaded apartment."}

GC.Collect(); после using не помог, память продолжает рости.

[Виталий Пухов]

MaximDoshi: тогда понятно, что делается с полученными данными после загрузки? в это фрагменте они просто перезатираются. Возможно проблема не в этом фрагменте кода

[Виталий Пухов]

MaximDoshi: специально проверил, этот код не утекает, 1600 итераций прошло память выше 40 мб не поднималась. Нужно смотреть утечки в той части кода что "за кадром"

[Виталий Пухов]

MaximDoshi: еще можно заменить webbrowser на этот www.codeproject.com/Articles/9032/Extended-web-bro... компанент, чтобы не грузить картинки и прочий шлак, потому как в текущей реализации придется ждать пока загрузится вся страница со всем шлаком на ней, хотя нужен только ее код.

[MaximDoshi]

Виталий Пухов: Исходный код, я немного сократил и привел выше то, что получилось. На самом деле там вместо browser.Navigate("https://www.google.com.ua/search?q="); в программе браузер идет по адресу "https://www.google.com.ua/search?q=" + line + "&tbm=isch&tbs=isz:lt,islt:qsvga". И получается, что если запустить так, как я выше привел код, то нормально заработало, а если если открывать в браузере "https://www.google.com.ua/search?q=" + line + "&tbm=isch&tbs=isz:lt,islt:qsvga" , то память не очищается полностью что ли. Сейчас попробую использовать расширенный webbrowser, который вы посоветовали. спасибо!

[Виталий Пухов]

MaximDoshi: Должно сработать, вероятно там с очисткой дополнительных ресурсов проблемы. Либо вообще заменить браузер на чтото вроде:

static string getResponse(string uri)
{
StringBuilder sb = new StringBuilder();
byte[] buf = new byte[8192];
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = 0;
do
{
count = resStream.Read(buf, 0, buf.Length);
if (count != 0)
{
sb.Append(Encoding.Default.GetString(buf, 0, count));
}
}
while (count > 0);
return sb.ToString();
}
Это будет на порядок быстрее, не грузит ничего кроме текста и не гадит в памяти.

[MaximDoshi]

Виталий Пухов: Пробовал использовать класс HttpWebRequest, но конкретно гугл, почему-то в таком случае показывает капчу, банит, подменяет страницу. Если через webbrowser, то нормально все, потому я и делаю именно так. А вообще я нашел уже решение своей проблемы. Пришлось создать отдельное приложение в котором я получаю html код страницы и возвращаю в главное приложение. Конечно это бред, но неохота выяснять почему webbrowser не освобождает ресурсы. Спасибо!

[Виталий Пухов]

MaximDoshi: в принципе это нормально что он банит, просто запрос не так сформирован, нужно сформировать его так как это бы сделал браузер:
Ключ Значение
Запрос GET /search?sclient=psy-ab&newwindow=1&safe=off&site=&source=hp&q=asdasd&oq=asdasd&gs_l=&pbx=1&bav=on.2,or.r_cp.&bvm=bv.93564037,d.bGQ&biw=1714&bih=944&dpr=1&pf=p&sugexp=msedr&gs_rn=64&gs_ri=psy-ab&tok=2PeaEAIHe2sWSWqbMWxP2g&cp=6&gs_id=q&xhr=t&es_nrs=true&ei=45pVVeGNMIjdywPYkoH4Bg&emsg=NCSR&noj=1
HTTP/1.1
Accept text/html, application/xhtml+xml, */*
Referer https://www.google.ru/
Accept-Language ru-RU
User-Agent Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
Accept-Encoding gzip, deflate
Host www.google.ru
DNT 1
Connection Keep-Alive
Cookie PREF=ID=0a4d5ba68169db9a:U.....

[Виталий Пухов]

MaximDoshi: эти данные легко получить из раздела сеть в режиме разработчика (f12) в IE 10+