|-转 IP 地址查询 爬虫识别(在线工具)
还需要用更多的ip来检验这个在线查询ip识别爬虫的工具是不是好用 20220421 12:55
又试了试,还行,O(∩_∩)O 20220421 13:05
https://www.pdflibr.com/crawler/parse
查询ip216.244.66.236
没有hostname,也不知道是不是爬虫,重新查了下
是营销爬虫,ok的
这些都是爬虫的 User-agent,只要是开发过爬虫的小伙伴都知道,User-agent 可以伪造的,仅仅通过 User-agent 来判断爬虫是不准确的,我们还要通过 IP 地址判断是否是爬虫。
66.249.71.19 - - [19/May/2021:06:25:52 +0800] "GET /history/16521060410/2019 HTTP/1.1" 302 257 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.97 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
上面这条日志,第一个是爬虫的 IP ,你确定它是 Google 搜索引擎的爬虫(蜘蛛)IP 吗?
我们可以通过 IP 反查,可以看出来 Hostname 是:crawl-66-249-71-19.googlebot.com...
浏览更多内容请先登录。
立即注册
更新于:2022-04-21 13:06:04
相关内容
IT理论
OSI模型-百度百科
OSI模型-智库百科
OSI model-维基百科
SOCKS-维基百科
socks-百度百科
github的那些事
为使用Gifsicle而安装VS2010,并用gifsicle处理压缩GIF图片
电子检索实体书「GitHub 热点速览 v.22.12」
各种工具应用
【差评】ScreenToGif:一款小而实用的屏幕录制生成gif工具(并不小巧)
三款免费好用的Gif制作神器
Youtube-2022年下载Youtube视频的3个方法和8个工具
网站地图在线生成工具整理
分享几个好用的WEB在线工具
开源软件:我用的录屏软件(Caputure已经不在维护了,最后的版本好像还可以...
怎样对老视频进行4k修复,使用Topaz Video Enhance AI
OBS直播基础教程
安装CUDA Toolkit和cuDNN
Yii2项目个人整理(因Github访问不稳定,自己整理下,方便用)
Yii2项目yii-starter-kit/yii2-starter-kit
安装中文版的opencart-v37报错
OpenCart 中文版/外贸版(代码各种坑,安装半天没安装上)
Feehi_CMS一款让人很舒服的Yii2应用,适合企业建站等CMS建站
rageframe2基于Yii2
推荐内容