У меня такая связка: (console app + phantomJS) + self-host asp.net webapi (сервис для приема и сохранения данных). На фантоме удобно разобрать данные, так же удобно управлять процессами фантома из .net, далее уже более-менее структурированные данные отправляются на asp.net webapi в json-формате и над ними производятся преобразования, кэш и складирование в БД. Фантом стоит рассматривать как короткоживущий процесс.