用QueryList采集B站个人空间的内容受阻

PHPer 2021-12-25 548 0 0

$url="https://space.bilibili.com/90183256/channel/collectiondetail?sid=595";//采集个人空间内容受阻,B站会跳转要求登录 ,即使我是带着cookie也不行20211225

$ql = QueryList::get($url,[

// 'param1' => 'testvalue',

// 'params2' => 'somevalue'

],[

'headers' => [

'Referer' => 'https://search.bilibili.com/',

'User-Agent' => 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36',...

立即注册

更新于:2021-12-25 10:29:49
相关内容

今天看采集,搜:php采集框架,搜到:phpspider简单快速上手的php爬虫框架 - 简书和http://www.querylist.cc/

https://doc.phpspider.org/的官方文档里有

我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言

今天发现一键转载(采集)简书的内页报错,查了下代码,发现python返回的是b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x04\x03\xc5\

采集的页面地址是:https://www.jianshu.com/p/576dbf44b2ae

今天想采集简书的搜索列表页,结果搜索列表是JS生成的

又遇到了这个问题,如何采集JS生成的页面 20220413 18:18 后来发现了wordpress的采集插件: 胖鼠采集, WordPress最好用的开源采集小工具 测试了采集简书可以用,采集规则图片地址设置的相对路径,采集的内容还是绝对路径。bug了,不行后面再数据库的内容字段里做把图片路径替换下。 另外,列表采集配置规则,我试了配置了简书的搜索列表,但是没采集到内容。配置有问题,后面搞 20220413 20:24

wordpress 采集插件

推荐内容

如何注册Spotify,注册中遇到的问题

起因是找阿特拉斯耸耸肩3里片尾的歌曲,后面用谷歌插件 aha music找到了歌曲名字和作曲人:The Beginning Elia Cmiral,然后资料在spotify有,于是就注册,甚至通过远程服务器,在服务器上打开浏览器也...

Spotify无法注册,想了很多办法后无果于是联系客服

Spotify无法注册,想了很多办法后无果于是联系客服

客服回答中国地区现在无法注册 If you still need help, contact Spotify Support.

mysql8使用自带全文索引(带中文分词)

如果之前建立全文索引,要先删除建立的索引,然后用下面的重新建立索引,亲测有效,nice 20200408 1307 ALTER TABLE `w_note` DROP INDEX content ALTER TABLE `w_note` ADD FULLT...

MySQL如何重建索引

总结一下MySQL索引重建的方法:1: DROP INDEX + RECREATE INDEX.2: ALTER TABLE方法3: REPAIR TABLE方法,这种方法对于InnoDB存储引擎的表无效。4: OPTI...

linux Centos8邮件服务器的搭建和使用

echo "content" | mail -s "title" xxx@gmail.com vi /etc/postfix/master.cf 更改配置文件把#smtps inet n - - - - smtpd 注释去掉 保存退出,重启postfix服务,报错 [root@vultrguest ~]# sudo systemctl restart ...

webmin和postfix