系统环境Win10,PHP8.0。此方法最大好处是能获取JS生成的内容。

首先查看chrome版本，谷歌浏览器输入下面命令查看

chrome://version/

https://googlechromelabs.github.io/chrome-for-testing/下载好对应版本的chromedriver

我的windows下载的是 win64的

下载后运行，看到运行在了端口9515上，后面配置的时候要用到。

...

此方法已经不好用了 2023年12月备注

使用PuppeteerDOM解析JavaScript动态渲染的页面。使用此插件需要有一定的Node.js基础知识，并且会配置Node运行环境。

此插件是基于PuPHPeteer包的简单封装，支持使用Puppeteer所有的API，非常强大!

环境要求

PHP >= 7.1

Node >= 8

安装

1, 安装插件

composer require jaeger/querylist-puppeteer --ignore-platform-reqs

2,安装Node依赖（与composer一样在项目根目录下执行）

如果不是在项目根目录执行，之后运行QueryList代码会报错，提示 Cannot find module 'lodash' Require stack，但是你安装了lodash，还是一样会报这个错，所以npm或者yarn安装时要在项目根目录

Error:The command "'node' '/.../vendor/nesk/rialto/src/node-process/serve.js' '/.../vendor/nesk/puphpeteer/src/PuppeteerConnectionDelegate.js' '{"idle_timeout":60,"log_node_console":false,"log_browser_console":false}'" failed. Exit Code: 1(General error) Working directory: /.../frontend/web Output: ================ Error Output: ================ node:internal/modules/cjs/loader:936 throw err; ^ Error: Cannot find module 'lodash' Require stack: - /.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js - /.../vendor/nesk/rialto/src/node-process/NodeInterceptors/ConsoleInterceptor.js - /.../vendor/nesk/rialto/src/node-process/serve.js at Function.Module._resolveFilename (node:internal/modules/cjs/loader:933:15) at Function.Module._load (node:internal/modules/cjs/loader:778:27) at Module.require (node:internal/modules/cjs/loader:1005:19) at require (node:internal/modules/cjs/helpers:102:18) at Object. (/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js:3:11) at Module._compile (node:internal/modules/cjs/loader:1105:14) at Object.Module._extensions..js (node:internal/modules/cjs/loader:1159:10) at Module.load (node:internal/modules/cjs/loader:981:32) at Function.Module._load (node:internal/modules/cjs/loader:822:12) at Module.require (node:internal/modules/cjs/loader:1005:19) { code: 'MODULE_NOT_FOUND', requireStack: [ '/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/StandardStreamsInterceptor.js', '/.../vendor/nesk/rialto/src/node-process/NodeInterceptors/ConsoleInterceptor.js', '/.../vendor/nesk/rialto/src/node-process/serve.js' ] }

下面安装Node依赖

npm install @nesk/puphpeteer

或者使用yarn安装Node依赖:

yarn add @nesk/puphpeteer

如果npm安装速度太慢，可以尝试更换国内npm镜像源：

npm config set registry https://registry.npm.taobao.org

插件注册选项

QueryList::use(Chrome::class,$opt1)

$opt1: 设置chrome函数别名

API

chrome($url, $options = []) 使用Chrome打开链接，返回值为设置好HTML的QueryList对象

参数$url: 要访问的网页链接地址

参数$options: 设置Puppeteer的launch()方法的选项，全部选项：puppeteer.launch([options])

用法

在QueryList中注册插件

use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 注册插件，默认注册的方法名为: chrome
$ql->use(Chrome::class);
// 或者自定义注册的方法名
$ql->use(Chrome::class,'chrome');

基本用法 ...

本文给出的方法是最基本的PHP采集方法，很多网站都做防采集的处理，对于这些网站可以尝试使用QueryList(php项目)采集，另外对于JS生成的页面可以用Nodejs采集。

什么叫采集？

就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。

可以通过三种方法来使用PHP访问到网页

1. 使用file_get_contents()

前提：在php.ini中设置允许打开一个网络的url地址。

使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络

<?php echo file_get_contents(https://www.baidu.com/);?>

2. 使用socket技术采集：

socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。例如要想获取这个页面的内容，http://tv.youku.com/?spm=a2hww.20023042.topNav.5~1~3!2~A，用socket写如下：

<?php
//连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间
$fp=fsockopen("www.youku.com",80,$errno,$errstr,30);
if(!$fp) die("连接失败".$errstr);
//构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议
$http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1\r\n"; // \r\n表示前面的是一个命令
$http.="Host:www.youku.com\r\n"; //请求的主机
$http.="Connection:close\r\n\r\n"; // 连接关闭，最后一行要两个\r\n
//发送这个字符串到服务器
fwrite($fp,$http,strlen($http));
//接收服务器返回的数据
$data=;
while (!feof($fp)) {
$data.=fread($fp,4096); //fread读取返回的数据，一次读取4096字节
}
//关闭连接
fclose($fp);
var_dump($data);
?>

打印出的结果如下，包含了返回的头信息及页面的源码：

3、使用fopen获取网页源代码

<?php
$url = 'https://www.baidu.com/';
$opts = array(
    'http'=>array(
        'method'=>"GET",
        'header'=>"Accept-language: en\r\n" .
        "Cookie: foo=bar\r\n"
    )
);
$context = stream_context_create($opts);
 
$fp = fopen($url, 'r', false, $context);
while(!feof($fp)) {
    $result.= fgets($fp, 1024);
}
fpassthru($fp);
fclose($fp); 
 
?>

4. 使用curl...

https://blog.csdn.net/huwei2003/article/details/107490468 建议安装pip install Selenium4R Selenium4R是 Selenium4的魔改版，国内可以直接安装

1 不管用requests_html，还是获取网页的源码时，发现通过ajax动态加载的内容都获取不到，得通过分析动态加载的接口去重新请求数据,有时很不方便。

2 下面我们利用 +phantomjs 来实现一次性获取网页上所有的内容；

1. 下载Phantomjs，下载地址：https://phantomjs.org/download.html 选择下载windows的还是linux的 2. 下完之后直接解压就OK了，然后selenium的安装用pip就行了

代码：

import requests
from lxml import etree
from lxml import html
from html.parser import HTMLParser #导入html解析库
from selenium import webdriver
import time
 
def getHTMLText(url):
        driver = webdriver.PhantomJS(executable_path='E:\\pythontest\\phantomjs-2.1.1-windows\\bin\\phantomjs')  # phantomjs的绝对路径
        time.sleep(2)
        driver.get(url)  # 获取网页
        time.sleep(2)
        return driver.page_source
 
def getHtmlByXpath(html_str,xpath):
        strhtml = etree.HTML(html_str)
        strResult = strhtml.xpath(xpath)
        return strResult
 
def w_file(filepath,contents):
    with open(filepath,'w',encoding='gb18030') as wf:
        wf.write(contents)
        
 
 
def main():
    url = 'https://m.fygdrs.com/h5/news.html?t=2&id=67062' #要访问的网址
    strhtml = getHTMLText(url) #获取HTML
    #print(html)
    w_file('E:\\pythontest\\wfile.txt',strhtml)
    strDiv=getHtmlByXpath(strhtml,"//div[@id='Article-content']")
    if(strDiv):
        str1= html.tostring(strDiv[0])
        print(str1)
        str2 = HTMLParser().unescape(str1.decode())
        print(str2)
        w_file('E:\\pythontest\\wfile3.txt',str2)
        
    print('ok')
 
 
if __name__ == '__main__':
    main()

--- end --- ...