Node.js 使用 PhantomJS 抓取动态网页实战教程

Node.js 使用 PhantomJS 抓取动态网页实战教程

前言

在使用 Node.js 进行网页数据抓取时，开发者通常会首先考虑使用内置的 http 模块。例如，抓取百度首页的代码实现如下：

var http = require('http');
var req = http.request('http://www.baidu.com/', function (res) {
 res.setEncoding('utf8');
 res.on('data', function (chunk) {
  //响应内容
  console.log(chunk)
 });
});
req.end(function () {
 // console.log('连接关闭');
});

然而，这种方式仅适用于直接获取静态 HTML 源码，应用场景存在较大局限性。

如果目标网页的内容是通过 JavaScript 动态生成的，而非直接包含在初始 HTML 中，那么单纯使用 http 模块将无法获取到所需数据。

此外，若网页采用 GBK 等非 UTF-8 编码，上述基于 http 模块的方法在处理字符编码时也会遇到诸多不便。

对于 HTTPS 协议的网页，使用 http 模块还需要进行额外的配置和修改，增加了开发复杂度。

因此，我们需要寻找一种既功能强大又易于使用的替代工具。

PhantomJS

PhantomJS 正是解决上述痛点的理想方案。

简单来说，PhantomJS 是一个无图形界面的浏览器，能够执行 JavaScript 并渲染网页。

PhantomJS 安装配置

安装

推荐使用 cnpm 进行 PhantomJS 的安装，命令如下：

cnpm install phantomjs --save-dev

建议采用局部安装而非全局安装。若选择全局安装，其他用户在运行你的源代码时可能会因缺少该依赖而报错，导致项目无法正常运行。

若选择局部安装，需要在 package.json 文件的 scripts 字段中添加如下配置：

"phantomjs":"node_modules/.bin/phantomjs"

后续运行代码时将用到此命令，至此安装步骤完成。

编写抓取代码

编写代码

新建一个 JavaScript 文件，文件名可自定义，例如 main.js：

var webpage = require('webpage');
var page = webpage.create();
page.open('http://www.baidu.com/', function (status) {
 var data;
 if (status === 'fail') {
  console.log('open page fail!');
 } else {
  console.log(page.content);//打印出HTML内容
 }
 page.close();//关闭网页
 phantom.exit();//退出phantomjs命令行
});

代码中引用了 webpage 模块，但此前并未显式安装该模块，为何可以直接引用？

实际上无法直接引用。如果尝试使用 node main.js 执行这段代码，将会运行失败。正确的执行方式应如下所示：

npm run phantomjs main.js

这里的 npm run phantomjs 对应的是前文在 package.json 中定义的那条命令，使用方式非常便捷，体验几乎与直接使用 http 模块无异。

通过 page.content 即可获取渲染后的 HTML 代码。该 page 对象还包含其他多种属性和功能，能力更为强大。

至此，你已经完成了 PhantomJS 抓取网页的入门学习。如需深入了解，建议查阅 PhantomJS 官方文档。

总结

以上就是本文的全部内容，希望这些内容能对各位的学习或工作有所帮助。如有疑问，欢迎留言交流，感谢大家对本站的支持。