服务器搭建

robots.txt 不让搜索引擎收录网站的方法

PHPer 2020-03-29 1787 0 0

https://blog.csdn.net/resilient/article/details/51982561有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记...

https://blog.csdn.net/resilient/article/details/51982561

有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研究一下“如何让搜索引擎不收录我们的网站”,也许我们同样也用的到。

1.搜索引擎如何工作的?

简单的说,搜索引擎实际上依靠的庞大的网页数据库。按搜索方式可以分为全文搜索和目录搜索两种。

所谓全文搜索,是搜索引擎通过从网页自动提取信息来建立数据库的过程。至于提取的原理,就是SEO狂热者们所研究的算法,在他们的理想情况下,网页应该是针对搜索引擎设计的,具有最好的收录效果。当然,不是本文的话题。搜索引擎的自动信息搜集功能分两种。一种是定期搜索,即每隔一段时间(比如Google一般是28天),搜索引擎主动派出“蜘蛛”程序,对一定IP地址范围内的互联网站进行检索,一旦发现新的网站,它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索,即网站拥有者主动向搜索引擎提交网址,它在一定时间内(2天到数月不等)定向向你的网站派出“蜘蛛”程序,扫描你的网站并将有关信 息存入数据库,以备用户查询。

与全文搜索引擎相比,目录索引有许多不同之处。目录索引完全是手工操作的。

首先,搜索引擎属于自动网站检索,而目录索引则完全依赖手工操作。用户提交网站后,目录编辑人员会亲自浏览你的网站,然后根据一套自定的评判标准甚至编辑人员的主观印象,决定是否接纳你的网站。

其次,搜索引擎收录网站时,只要网站本身没有违反有关的规则,一般都能登录成功。而目录索引对网站的要求则高得多,有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引,登录更是困难。

最后,搜索引擎中各网站的有关信息都是从用户网页中自动提取的,所以用户的角度看,我们拥有更多的自主权;而目录索引则要求必须手工另外填写网站信息,而 且还有各种各样的限制。更有甚者,如果工作人员认为你提交网站的目录、网站信息不合适,他可以随时对其进行调整,当然事先是不会和你商量的。

目录索引,顾名思义就是将网站分门别类地存放在相应的目录中,因此用户在查询信息时,可选择关键词搜索,也可按分类目录逐层查找。如以关键词搜索,返回的结果跟搜索引擎一样,也是根据信息关联程度排列网站,只不过其中人为因素要多一些。...

立即注册
分享的网址网站均收集自搜索引擎以及互联网,非查问网运营,查问网并没有提供其服务,请勿利用其做侵权以及违规行为。

更新于:2020-03-29 00:51:34
    您需要登录后才可以评论。 立即注册
    相关内容

    Centos 服务器搭建(Centos8服务器搭建遇到的各种问题及解决方法)

    Centos8 更新yum或安装软件时提示 Failed to download metadata for repo...

    从CentOS 8到CentOS Stream,到底发生什么事了?

    CentOS8出现“ Error: Failed to download metadata for repo ‘AppStrea...

    如何将CentOS 8转换为CentOS Stream(202205实测有效)

    服务器搭建

    centos7用yum搭建LAMP环境之一

    CentOS 7 安装 LNMP 环境,sh脚本一键安装

    安装phaclon遇到的各种问题。

    LNMP的那些事情

    centos7安装openssl

    Centos系统在Apache服务器上安装SSL证书

    Centos7.4 修改MySQL5.7 root 密码

    2020在godaddy首页上看到企业建站服务

    邮件发送报错No IDN encoder found(install the intl extension or the tr...

    yum安装php扩展intl报错:Error: php71w-common conflicts with php-comm...

    如何在CentOS上安装PHP intl扩展?

    服务器选择-阿里云轻量应用服务器 轻量应用服务器 (香港节点丢包严重,延迟25ms)

    阿里云香港服务器和大陆服务器区别在哪,如何选择

    关于网站的robots文件以及robots文件在线生成工具

    robots.txt 不让搜索引擎收录网站的方法

    Yii2生成sitemap,yii2-sitemap-module Yii2 module for automatically ...

    验证谷歌站长平台 – GOOGLE SEARCH CONSOLE 验证流程

    centos7下自动备份mysql数据库

    谷歌站长平台实测网站

    CentOS 7中看PHP运行时的Log文件日志信息

    Linux设置Swap虚拟内存方法

    CentOS 7一键安装桌面环境命令(可远程RDP连接)

    如何在 CentOS8/RHEL8 上安装配置 VNC 服务器

    查问我看服务器搭建和使用中遇到的问题

    服务器搭建2

    mysql报错问题解决MySQL server PID file could not be found!

    找了半天找不到看着靠谱的centos8开机启动后运行的脚本

    LAMP一键安装包安装的时候方便,增加开机启动的时候出了问题

    一键安装,用sh脚本一键安装LAMP

    QQ授权码(更改QQ密码以及独立密码会触发授权码过期)

    FileZilla设置主密码保护FTP密码,服务器主机网站更安全了。

    linux配置多个ssl证书,Apache 配置多个HTTPS站点(202204亲测)

    certbot-auto不再支持所有的操作系统,新的ssl证书安装方法。

    CentOS版 docker一键安装(2023年11月亲测可用)

    Apache 或Nginx 都报错 No input file specified.

    服务器搭建3

    CentOS8下yum安装LNMP

    Linux查看端口使用状态、关闭端口方法

    LNMP与LAMP有哪些区别,安装哪个好?

    Centos杀死进程kill方法大全

    CentOS如何查看端口是否被占用

    xampp更改mysql数据库密码

    Vultr主机Centos Stream8系统上修改 Root 密码的方法(2022年版)

    Centos Stream8上安装ImageMagick和php的imagick扩展

    在 CentOS 7 上搭建属于自己的 “完美” 邮件系统

    Vultr如何发工单联系客服(2022年6月最新版)

    Could not get lock /var/lib/dpkg/lock-frontend Linux系统 sudo apt upda...

    Ubuntu Linux服务器安装图形化界面并用VNC Viewer连接(2022年6月实测有效)

    Centos7系统下图形化界面安装以及VNC远程连接教程(2022年6月实测ok)

    sudo 出现unable to resolve host 解决方法

    一键测试脚本bench.sh

    LNMP一键安装包添加、删除虚拟主机及伪静态使用教程

    Failed to update header with correct duration

    Centos7 安装Apache过程详解

    推荐内容

    怎样使用V2Ray代理和SSTap玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩...

    sstap游戏代理教程 从此玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩虹六...

    BT磁力搜索网站汇总和找不到的资源

    什么是磁力链接,您如何使用?

    Z-Library:全球最大的数字图书馆/含打不开的解决方案/镜像

    使用V2Ray的mKCP协议加速游戏

    v2rayN已停止工作

    【车险课堂】什么是无赔款优待系数ncd,你“造”吗?