javascript - 既然 Twitter 需要 JavaScript，我该如何抓取它们？

Question

我有几个网站可以监控 Twitter 的特定类型的语句，并使用 PHP 中的 curl 抓取相关的推文。几天前，这些网站停止抓取 Twitter。我想他们可能重新设计了他们的 mobile.twitter 网站的布局，我所要做的就是将我的 xPath 查询更改为不同的类或其他东西，但我发现每当你尝试在没有启用 JavaScript 的情况下访问 Twitter 时，你都会得到启用 JavaScript 访问 Twitter 的提示。似乎没有办法解决这个问题。在此更改之前，人们可以访问不需要 JavaScript 的 Twitter 版本，因此我可以使用简单的 curl 请求和 xPath 查询来抓取推文。

我在 Google 上搜索了启用 JavaScript 支持 curl 请求的方法，但一无所获。是否可以在 curl 请求中添加一些内容来解析 JavaScript，或者我是否需要找到其他解决方案？

标签： javascriptphpcurlxpathtwitter

Answer 1

有许多免费端点可以帮助解决这个问题，而不必抓取网页。如果您正在寻找特定的推文，请尝试新的 v2。搜索 API：https ://developer.twitter.com/en/docs/twitter-api/tweets/search/introduction

您只需要拥有一个经过批准的开发者帐户即可。