IIS, php, w3wp.exe, cmd.exe и многопоточность? заставить не залипать процессы?

Question

[ipadm]

Хабрасообщесту Хабрапривет!


Возникла проблема при реализации довольно простой задачи. На сайте из PHP генерируется PDF из разных файлов, в том числе и созданных на лету с помощью TCPDF. Все эти файлы соединяются в разном порядке и отправляются на разные почтовые ящики. Операции объединения выполняются через passthru() вызов PDFTK.


Все замечательно работает если вызывать (обращаться к странице) один раз.


Но если происходит одновременное обращение двух и более пользователей к странице, то процесс cmd.exe залипает и не завершает свою работу. Точнее он выполняет все что должен, но просто не завершается и так и висит в памяти, не давая продолжить выполнение PHP скрипта. Таким образом в памяти может залипнуть несколько процессов:


w3wp.exe

cmd.exe

pdftk.exe

cmd.exe

pdftk.exe

cmd.exe

pdftk.exe

cmd.exe

pdftk.exe

cmd.exe

pdftk.exe

…

cmd.exe

pdftk.exe


убить которые можно только убив процесс w3wp.exe. Такая картина наблюдается только в Windows (а конкретно Win2003k server). Под Linux тот же скрипт выполняется с нагрузкой до 100 одновременных вызовов без проблем (больше нагрузку не пробовал, т.к. больше не ожидается по ТЗ).


К сожалению я привязан к использованию PDFTK т.к. чистых PHP классов, которые бы не убивали ссылки внутри PDF обнаружить не удалось.


Прошу помочь любым советом.

Answer 1

[Altimar]

Если не страшно, что в PDF в углу первой страницы будет буква P (которая не видна при печати) — переезжайте с TCPDF на PrinceXML ( www.princexml.com/ ). Из всех рассмотренных мной генерилок PDF эта оказалась самой правильной. Он же склеивает несколько HTML в один PDF. И памяти жрет очень скромно в сравнении с остальными.
Раньше на винде крутилось — проблем не было.

Возможно проблема в реализации pdftk.exe, который пытаясь одновременно считать из 2 одинаковых файлов где-то лочится

Comments

[ipadm]

Большое спасибо за ответ на мой вопрос, к сожалению наличие посторонних водяных знаков критично для проекта. Ниже в ответе на комментарий я описал какую латку пока наложил. Проблема не в pdftk а где-то на уровне PHP или IIS.

К сожалению вопрос остается не решенным. В любом случае благодарю за ответ.

Answer 2

[Николай Турнавиотов]

Первое — я бы попробовал отдебажить процесс воткнув где только можно вывод отладочной инфрмации с привязкой к сеансу клиента (клиент а, клиент б, клиент с) и времени выполнения команды и времени, которое эта команда выполнялась, может это поможет разобраться.

Второе — перейти с cmd на powershell не составит большого труда, а писать скрипты на нём — одно удовольствие объектного .Net языка с широкими возможностями отладки.
С PHP не подскажу, да, я в нём не силён, но что-то мне подсказывает что проблема не в нём.

Если так уже нужен сайт под Win в принципе при наличии ТЗ его можно реализовать нс C# + Asp.Net и MVC, нативно и без геморроя, с этим я тоже могу попробовать помочь, в общем.

Comments

[ipadm]

Спасибо за Ваш ответ.

Ниже я ответе на комментарий на написал, что проблема появляется даже при минимальном коде, поэтому вероятнее всего фокус выбрасывает IIS или PHP.

Я изучу Ваше предложение относительно powershell — спасибо. Возможно это подходящее решение.

Вообще-то я предпочитаю работать с Linux просто заказчик оплатил доводку проекта и приходится использовать что есть, но если Вы поможете переложить часть касающуюся работы с PDF на ASP.NET, буду благодарен скромно, но материально. Прошу Вас написать в личку Ваши условия.

Answer 3

[rPman]

Выглядит, как будто процессы где то обращаются к общему ресурсу и ждут его освобождения (какой-нибудь кривой метод реализации очереди), выше уже посоветовали тщательно отладить и выявить где именно в коде образуется затык, обычным подробным логированием.

Переложить весь код генерации в отдельный процесс, запускаемый вне сессии IIS (отдельным сервисом или даже standalone приложением) на том же php через какую-либо простенькую очередь, а вебсерверу оставить задачу — поместить задание в очередь, ждать его завершения, отдать результат.

Достоинство такого разделения — более полный контроль над нагрузкой (процесс, обрабатывающий задания в очереди может быть многопотоковым) и самое главное, он будет запускаться в контексте обычного приложения без каких-либо внутренних особенностей и глюков, которые порождает IIS (ведь вы же сами показали что только под IIS возникает проблема).

И главное, переписывать ничего не придется, фактически только добавить очередь задач и ее обработку.

Comments

[ipadm]

Большое спасибо за ответ. На севере создал простой файл с единственным скриптом passthru('dir > c:/test.txt') множественный вызов которого также вызывает затор и подвисание процессов. Вероятно что-то очень неверно в настройке IIS или PHP.

Первым делом я создал флаг (файл в папке), наличие которого говорит сне о том что процесс уже запущен, а если время с момента создания файла больше минуты — мне отправляется уведомление о зависании на почту, Таким образом через *опу я вопрос решил, но как Вы понимаете это не серьезное решение.

К сожалению, задав вопрос я кому-то серьезно насрал в душу, причем настолько, что мне слили карму, поэтому я не смогу Вас отблагодарить плюсованием. Прошу принять мою искреннюю благодарность на словах.

[rPman]

мне достаточно спасибо :)

p.s. кстати, если вам критично использования windows (поставлены в такие неудобные условия) попробуйте уйти от проблем, сменив IIS на apache

а еще лучше cygwin+… любой_linux_вебсервер+php, у cygwin создана целая прослойка между userland и OS эмулирующая поведение linux, возможно и работу с ресурсами оно так же сэмулирует в нужном вам направлении, цена за это — легкое повышение нагрузки
(cygwin это не эмулятор, это набор библиотек, позволяющих скомпилировать приложения из исходников, рассчитанных на работу в linux, у них целый package manager готовый есть который скачивает и настраивает необходимые зависимости пакетов, в общем все вкусное из мира linux, собранные нативно по win)

Answer 4

[Denisio]

Генерируйте PDF в отдельном сервисе. Запускать внешний софт из внутренностей IIS — очень плохая идея.

Comments

[ipadm]

Готов, но как? Буду благодарен за линк где почитать как это сделать или каким софтом такое можно настроить.