使用PuppeteerDOM解析JavaScript动态渲染的页面。使用此插件需要有一定的Node.js基础知识，并且会配置Node运行环境。

此插件是基于PuPHPeteer包的简单封装，支持使用Puppeteer所有的API，非常强大!

环境要求

PHP >= 7.1

Node >= 8

安装

1, 安装插件

composer require jaeger/querylist-puppeteer --ignore-platform-reqs

2,安装Node依赖（与composer一样在项目根目录下执行）

如果不是在项目根目录执行，之后运行QueryList代码会报错，提示 Cannot find module 'lodash' Require stack，但是你安装了lodash，还是一样会报这个错，所以npm或者yarn安装时要在项目根目录

Error:The command "'node' '/.../vendor/nesk/rialto/src/node-process/serve.js' '/.../vendor/nesk/puphpeteer/src/PuppeteerConnectionDelegate.js' '{"idle_timeout":60,"log_node_console":false,"log_browser_console":false}'" failed. Exit Code: 1(General error) Working directory: /.../frontend/web Output: ================ Error Output: ================ node:internal/modules/cjs/loader:936 throw err; ^ Error: Cannot find module 'lodash' Require stack: - /.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js - /.../vendor/nesk/rialto/src/node-process/NodeInterceptors/ConsoleInterceptor.js - /.../vendor/nesk/rialto/src/node-process/serve.js at Function.Module._resolveFilename (node:internal/modules/cjs/loader:933:15) at Function.Module._load (node:internal/modules/cjs/loader:778:27) at Module.require (node:internal/modules/cjs/loader:1005:19) at require (node:internal/modules/cjs/helpers:102:18) at Object. (/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js:3:11) at Module._compile (node:internal/modules/cjs/loader:1105:14) at Object.Module._extensions..js (node:internal/modules/cjs/loader:1159:10) at Module.load (node:internal/modules/cjs/loader:981:32) at Function.Module._load (node:internal/modules/cjs/loader:822:12) at Module.require (node:internal/modules/cjs/loader:1005:19) { code: 'MODULE_NOT_FOUND', requireStack: [ '/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js', '/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/ConsoleInterceptor.js', '/.../vendor/nesk/rialto/src/node-process/serve.js' ] }

下面安装Node依赖

npm install @nesk/puphpeteer

或者使用yarn安装Node依赖:

yarn add @nesk/puphpeteer

如果npm安装速度太慢，可以尝试更换国内npm镜像源：

npm config set registry https://registry.npm.taobao.org

插件注册选项

QueryList::use(Chrome::class,$opt1)

$opt1: 设置chrome函数别名

API

chrome($url, $options = []) 使用Chrome打开链接，返回值为设置好HTML的QueryList对象

参数$url: 要访问的网页链接地址

参数$options: 设置Puppeteer的launch()方法的选项，全部选项：puppeteer.launch([options])

用法

在QueryList中注册插件

use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 注册插件，默认注册的方法名为: chrome
$ql->use(Chrome::class);
// 或者自定义注册的方法名
$ql->use(Chrome::class,'chrome');

基本用法 ...

本文给出的方法是最基本的PHP采集方法，很多网站都做防采集的处理，对于这些网站可以尝试使用QueryList(php项目)采集，另外对于JS生成的页面可以用Nodejs采集。

什么叫采集？

就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。

可以通过三种方法来使用PHP访问到网页

1. 使用file_get_contents()

前提：在php.ini中设置允许打开一个网络的url地址。

使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络

<?php echo file_get_contents(https://www.baidu.com/);?>

2. 使用socket技术采集：

socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。例如要想获取这个页面的内容，http://tv.youku.com/?spm=a2hww.20023042.topNav.5~1~3!2~A，用socket写如下：

<?php
//连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间
$fp=fsockopen("www.youku.com",80,$errno,$errstr,30);
if(!$fp) die("连接失败".$errstr);
//构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议
$http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1\r\n"; // \r\n表示前面的是一个命令
$http.="Host:www.youku.com\r\n"; //请求的主机
$http.="Connection:close\r\n\r\n"; // 连接关闭，最后一行要两个\r\n
//发送这个字符串到服务器
fwrite($fp,$http,strlen($http));
//接收服务器返回的数据
$data=;
while (!feof($fp)) {
$data.=fread($fp,4096); //fread读取返回的数据，一次读取4096字节
}
//关闭连接
fclose($fp);
var_dump($data);
?>

打印出的结果如下，包含了返回的头信息及页面的源码：

3、使用fopen获取网页源代码

<?php
$url = 'https://www.baidu.com/';
$opts = array(
    'http'=>array(
        'method'=>"GET",
        'header'=>"Accept-language: en\r\n" .
        "Cookie: foo=bar\r\n"
    )
);
$context = stream_context_create($opts);
 
$fp = fopen($url, 'r', false, $context);
while(!feof($fp)) {
    $result.= fgets($fp, 1024);
}
fpassthru($fp);
fclose($fp); 
 
?>

4. 使用curl...