IT信息技术(information technology)的工具和内容整理

IP 地址查询 爬虫识别(在线工具)

PHPer 2022-04-21 589 0 0

还需要用更多的ip来检验这个在线查询ip识别爬虫的工具是不是好用 20220421 12:55

又试了试,还行,O(∩_∩)O 20220421 13:05

https://www.pdflibr.com/crawler/parse

查询ip216.244.66.236

9d82f90d3b-qq-jie-tu20220421124902_normal.jpg

没有hostname,也不知道是不是爬虫,重新查了下

587bbfc588-qq-jie-tu20220421130355_normal.jpg

是营销爬虫,ok的


这些都是爬虫的 User-agent,只要是开发过爬虫的小伙伴都知道,User-agent 可以伪造的,仅仅通过 User-agent 来判断爬虫是不准确的,我们还要通过 IP 地址判断是否是爬虫。

66.249.71.19 - - [19/May/2021:06:25:52 +0800] "GET /history/16521060410/2019 HTTP/1.1" 302 257 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.97 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

上面这条日志,第一个是爬虫的 IP ,你确定它是 Google 搜索引擎的爬虫(蜘蛛)IP 吗?

我们可以通过 IP 反查,可以看出来 Hostname 是:crawl-66-249-71-19.googlebot.com...

立即注册
分享的网址网站均收集自搜索引擎以及互联网,非查问网运营,查问网并没有提供其服务,请勿利用其做侵权以及违规行为。

更新于:2022-04-21 13:06:04
    您需要登录后才可以评论。 立即注册
    相关内容

    如何查看链接的网络服务器例如游戏服务器的IP地址

    apache配置ip地址

    各种工具应用

    【差评】ScreenToGif:一款小而实用的屏幕录制生成gif工具(并不小巧)

    三款免费好用的Gif制作神器

    Youtube-2022年下载Youtube视频的3个方法和8个工具

    网站地图在线生成工具整理

    分享几个好用的WEB在线工具

    开源软件:我用的录屏软件(Caputure已经不在维护了,最后的版本好像还可以...

    怎样对老视频进行4k修复,使用Topaz Video Enhance AI

    OBS直播基础教程

    安装CUDA Toolkit和cuDNN

    华硕AUSU官网驱动和工具下载地址,有触摸板驱动SmartGesture,ATK等等

    typescript 学习笔记

    keystone 安装部署mysql数据库

    yarn的安装和使用

    推荐内容

    分享几个好用的bt搜索bt资源下载网址网站

    影视电影剧集动漫综艺bt资源在线播放网址网站推荐分享

    全网最新bt磁力搜索引擎bt资源bt网站网址分享

    人气美女女优百度指数排行榜(波多野结衣,苍井空,三上悠亚,深田咏美,桥本有菜,北条...

    最强人造人深田咏美,业界的社交女王

    人生起起落落的三上悠亚,成名前的清纯风,怎么搭配出来的?

    业内第一大长腿,桥本有菜的腿究竟有多长

    波多野结衣,岛国业界著作最多的超级劳模

    日本AV界NO.1,苍井空是多少宅男的疯狂?

    美女女优视频混剪 This Girl-Laza Morgan

    怎样使用V2Ray代理和SSTap玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩...

    sstap游戏代理教程 从此玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩虹六...

    影视电影剧集动漫综艺bt资源在线播放网址网站推荐分享