IT信息技术(information technology)的工具和内容整理

PHPer 2022-04-21 82 0 0

IT信息技术(information technology)工具和内容整理 20220421...

立即注册

更新于:2022-04-21 12:46:37
    您需要登录后才可以评论。 立即注册

    IP 地址查询 爬虫识别(在线工具)

    还需要用更多的ip来检验这个在线查询ip识别爬虫的工具是不是好用 20220421 12:55 又试了试,还行,O(∩_∩)O 20220421 13:05

    https://www.pdflibr.com/crawler/parse

    查询ip216.244.66.236

    9d82f90d3b-qq-jie-tu20220421124902_normal.jpg

    没有hostname,也不知道是不是爬虫,重新查了下

    587bbfc588-qq-jie-tu20220421130355_normal.jpg

    是营销爬虫,ok的


    这些都是爬虫的 User-agent,只要是开发过爬虫的小伙伴都知道,User-agent 可以伪造的,仅仅通过 User-agent 来判断爬虫是不准确的,我们还要通过 IP 地址判断是否是爬虫。

    66.249.71.19 - - [19/May/2021:06:25:52 +0800] "GET /history/16521060410/2019 HTTP/1.1" 302 257 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.97 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    上面这条日志,第一个是爬虫的 IP ,你确定它是 Google 搜索引擎的爬虫(蜘蛛)IP 吗?

    我们可以通过 IP 反查,可以看出来 Hostname 是:crawl-66-249-71-19.googlebot.com...

    立即注册
    更新于:2022-04-21 13:06:04
    相关内容

    IT理论

    OSI模型-百度百科

    OSI模型-智库百科

    OSI model-维基百科

    SOCKS-维基百科

    socks-百度百科

    github的那些事

    为使用Gifsicle而安装VS2010,并用gifsicle处理压缩GIF图片

    电子检索实体书「GitHub 热点速览 v.22.12」

    各种工具应用

    【差评】ScreenToGif:一款小而实用的屏幕录制生成gif工具(并不小巧)

    三款免费好用的Gif制作神器

    Youtube-2022年下载Youtube视频的3个方法和8个工具

    网站地图在线生成工具整理

    分享几个好用的WEB在线工具

    开源软件:我用的录屏软件(Caputure已经不在维护了,最后的版本好像还可以...

    Yii2项目个人整理(因Github访问不稳定,自己整理下,方便用)

    Yii2项目yii-starter-kit/yii2-starter-kit

    安装中文版的opencart-v37报错

    OpenCart 中文版/外贸版(代码各种坑,安装半天没安装上)

    Feehi_CMS一款让人很舒服的Yii2应用,适合企业建站等CMS建站

    rageframe2基于Yii2

    推荐内容

    分享几个好用的bt搜索bt资源下载网址网站

    影视电影剧集动漫综艺bt资源在线播放网址网站推荐分享

    全网最新bt磁力搜索引擎bt资源bt网站网址分享

    怎样使用V2Ray代理和SSTap玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩...

    sstap游戏代理教程 从此玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩虹六...

    使用V2Ray的mKCP协议加速游戏

    v2rayN已停止工作