javascript - PHP - 抓取 javascript 网站

Question

我正在尝试使用 php curl 检查任何列入黑名单的关键字的网站内容。但是使用 curl 我不会得到 JS 脚本生成的内容。我必须扫描数千个网站，效率是这里的重点。我需要获取 js 内容。到目前为止，我遇到了 Phantomjs-php。是否有任何其他 js 脚本会占用更少的资源来与 php.ini 一起使用。我只需要获取 html 内容。对此的任何见解都非常感谢，因为我是获取 JS 生成内容的新手。

谢谢林恩

标签： javascriptphpweb-scraping

Answer 1

我很确定Codeception会为您解决问题。

您可以将其配置为与无头浏览器一起使用，就像 phantom.js 和 puppeteer 一样，并查看您的 js 生成的内容。您想要做的样本验收测试如下所示：

$I->amOnPage('/login');
$I->fillField('username', 'davert');
$I->fillField('password', 'qwerty');
$I->click('LOGIN');
$I->see('Welcome, Davert!');

取自：https ://codeception.com/docs/03-AcceptanceTests