web-crawler - 抓取 - 如何获取动态生成的内容的值？

我正在使用Firefox firebug tool. 这是为了抓取。我想获得动态生成的内容的价值。

我了解该网站的工作原理，但我被困在一个特定的（最终）点。需要这里有经验的人的帮助。

最终目的是获取产品的链接：-

Step1)它使用其 API 搜索产品（在搜索栏中）。这个API的输入product name和响应是HTML内容形式的搜索结果，最后将结果显示在页面上。

Step2)为获取所选产品的链接，网站使用uniqueID该产品的上述内容点击另一个API，response(link) 的形式为http://example.com/uniqueId/?link_id={{link_id}}

link_id上面的响应与正确的，不是一起显示在文本框中{{link_id}}。

在检查（使用萤火虫）文本框后，里面的内容是http://example.com/uniqueId/?link_id={{link_id}}. 但是，当在前端看到时，它会显示http://example.com/uniqueId/?link_id=123bad3

不确定，但我觉得这类似于 Jinja 模板语言，其中{{link_id}}是上下文变量并且是服务器填充的。

我怎样才能提取link_id？

标签： web-crawlerscreen-scraping