c# - 我想创建一个 webscraper，它将从 angular 网站上抓取 html

Question

我正在开发一个 Web 刮板，它将从 Angular 网站中刮取。

我为此目的使用 HttpClient 类，但我没有在页面的正文标记中获取 html 标记，而是获取<ng-view> </ng-view>标记。谁能解释发生了什么以及如何获取 HTML 代码而不是ng-view标签？

标签： c#angularweb-scraping

Answer 1

据我所知，这是不可能的。您可以“抓取”的只是提供给浏览器的初始标记。所有其他内容将通过运行 JavaScript 获得，该 JavaScript 会回调服务器以获取更多数据。

除非您准备好编写一个完整的、功能齐全的 JavaScript 引擎，否则我会说初始页面就是您所获得的全部内容。