搜索引擎优化(SEO)相关整理

Robots.txt详解

PHPer 2022-04-12 560 0 0

Robots协议(也称爬虫协议,机器人协议等)的全称是“网络爬虫排除协议”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

Robots.txt的作用:

可以让蜘蛛更高效的爬行网站;

可以阻止蜘蛛爬行动态页面,从而解决重复收录的问题;

可以减少蜘蛛爬行无效页面,节省服务器带宽;

如何制作Robots.txt文件?

创建一个文本文档,重命名为Robots.txt,编写规则,用FTP把文件上传到空间;

创建robots.txt文件需要注意的问题:

必须是txt结尾的纯文本文件;

文件名所有字母必须是小写;

文件必须要放在网站根目录下;

Robots参数:

User-agent:

作用:用于描述搜索引擎蜘蛛的名字;

技巧:

1,当robots.txt不为空的时候,必须至少有一条user-agent的记录;

2,相同名字,只能有一条,但是不同的蜘蛛,可以有多条记录;

Disallow:

作用:用于描述不允许搜索引擎蜘蛛爬行和抓取的url;

使用技巧:

在robots.txt中至少要有一条disallow;

Disallow记录为空,则表示网站所有页面都允许被抓取;

使用disallow,每个页面必须单独分开声明; ...

立即注册

更新于:2022-04-12 08:03:10
    您需要登录后才可以评论。 立即注册
    相关内容

    搜索引擎优化(SEO)相关整理

    为什么百度手机搜索和电脑搜索排名不一样

    百度移动端和PC端蜘蛛的区别

    百度SEO,PC端与移动端排名,为什么不一致?

    百度指数关键词整理

    百度、搜狗、360、谷歌、Bing、神马、头条搜索-各大搜索引擎收录提交入口(...

    Robots.txt详解

    您的站点地图或站点地图索引文件未能正确声明命名空间

    php的curl和php正则获取网站在爱站查询的百度权重

    解决Bing不收录网站的问题

    Centos中查看nginx、apache、php、mysql配置文件路径

    开源商城shopwind安装许可协议

    推荐内容

    分享几个好用的bt搜索bt资源下载网址网站

    影视电影剧集动漫综艺bt资源在线播放网址网站推荐分享

    全网最新bt磁力搜索引擎bt资源bt网站网址分享

    人气美女女优百度指数排行榜(波多野结衣,苍井空,三上悠亚,深田咏美,桥本有菜,北条...

    最强人造人深田咏美,业界的社交女王

    人生起起落落的三上悠亚,成名前的清纯风,怎么搭配出来的?

    业内第一大长腿,桥本有菜的腿究竟有多长

    波多野结衣,岛国业界著作最多的超级劳模

    日本AV界NO.1,苍井空是多少宅男的疯狂?

    美女女优视频混剪 This Girl-Laza Morgan

    怎样使用V2Ray代理和SSTap玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩...

    sstap游戏代理教程 从此玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩虹六...

    影视电影剧集动漫综艺bt资源在线播放网址网站推荐分享