今天看采集,搜:php采集框架,搜到:phpspider简单快速上手的php爬虫框架 - 简书和http://www.querylist.cc/

PHPer 2021-12-21 618 0 0

https://doc.phpspider.org/的官方文档里有

https://doc.phpspider.org/

介绍:《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序框架 ...

立即注册

我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言

很酷!

【更新】:源码在这里:https://github.com/owner888/phpspider

看了不少朋友圈里推荐的Python爬虫文章,都觉得太小儿科,处理内容本来就是PHP的强项,Python唯一的好处估计也就天生的Linux自带,和Perl一样,这点觉得挺不够意思的Linux,还是Mac厚道,天生就自带了Python、Perl、PHP、Ruby,当然我也很讨厌讨论一门语言的好坏,每门语言存在就一定有它的道理,反正PHP是全世界最好用的语言,大家都懂的^_^

前几天比较火的是一个人用C#写了一个多线程爬虫程序,抓取了QQ空间3000万QQ用户,其中有300万用户是有QQ号、昵称、空间名称等信息的,也就是说,有详情也就300万,跑了两周,这没什么,为了证明PHP是全世界最好的语言,虽然大家都懂的^_^,我用PHP写了一个多进程爬虫程序,只用了一天时间,就抓了知乎100万用户,目前跑到第8圈(depth=8)互相有关联(关注了和关注者)的用户。

e130d3f0ad_normal.jpg

ba8708bd84_normal.jpg...

立即注册

更新于:2021-12-21 11:11:30
相关内容

在找一个合适的PHP框架做项目

ThinkCMF(据说bug比较多)和fastadmin(插件几乎都要钱)都不合适 20231016

用QueryList采集B站个人空间的内容受阻

$url="https://space.bilibili.com/90183256/channel/collectiondetail?sid=595";//采集个人空间内容受阻,B站会跳转要求登录 ,即使我是带着cookie也不行20211225

访问phpmyadmin,页面是空白的,之前一直正常的

访问phpmyadmin,页面是空白的,之前一直正常的,这样管理数据库就很麻烦后面查了下,应该是phpmyadmin文件夹下的所有文件夹和文件的权限被我改成777导致的。
推荐内容

如何注册Spotify,注册中遇到的问题

起因是找阿特拉斯耸耸肩3里片尾的歌曲,后面用谷歌插件 aha music找到了歌曲名字和作曲人:The Beginning Elia Cmiral,然后资料在spotify有,于是就注册,甚至通过远程服务器,在服务器上打开浏览器也...

Spotify无法注册,想了很多办法后无果于是联系客服

Spotify无法注册,想了很多办法后无果于是联系客服

客服回答中国地区现在无法注册 If you still need help, contact Spotify Support.

mysql8使用自带全文索引(带中文分词)

如果之前建立全文索引,要先删除建立的索引,然后用下面的重新建立索引,亲测有效,nice 20200408 1307 ALTER TABLE `w_note` DROP INDEX content ALTER TABLE `w_note` ADD FULLT...

MySQL如何重建索引

总结一下MySQL索引重建的方法:1: DROP INDEX + RECREATE INDEX.2: ALTER TABLE方法3: REPAIR TABLE方法,这种方法对于InnoDB存储引擎的表无效。4: OPTI...

linux Centos8邮件服务器的搭建和使用

echo "content" | mail -s "title" xxx@gmail.com vi /etc/postfix/master.cf 更改配置文件把#smtps inet n - - - - smtpd 注释去掉 保存退出,重启postfix服务,报错 [root@vultrguest ~]# sudo systemctl restart ...

webmin和postfix