осознать, что современные фреймворки фронтенда, предполагают выполнение массы кода js на стороне браузера. который, в свою очередь, может существенно менять дизайн, и докачивать значительную часть контента. в том числе стилей
надежнее автоматизировать браузеры. если вы опираетесь на C#, возможно, вам может быть полезен проект
CEF# (на сколько помню, есть режим и оф-скрин рендеринга (экономия ресурсов) но целесообразно только когда уже "рука набита")
