武汉做网站的公司|禁止搜索引擎收录的方法

2017年 / 04月27日

    为什么要禁止搜索引擎收录?武汉做网站的公司—武汉盛世互联小编为你介绍:一般我们网站可能会有较大的文件,如:图片、FLASH、JS、视频等,为了节省宽带,也为了方便搜索引擎抓取,我们会设置robots协议,禁止搜索引擎收录。如果你希望搜索引擎收录网站所有的内容,就不要建立robots.txt协议。

    武汉做网站的公司|禁止搜索引擎收录的方法

    一般来说spider在访问一个网站时,最先就是查看网站的robots.txt,用于指定蜘蛛抓取网站上的数据。在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

    robots.txt文件放在哪里?

    robots.txt文件应该放置在网站根目录下。当spider访问一个网站,比如武汉做网站的公司—盛世互联官网:http://www.whweb.com.cn时,首先会检查该网站中是否存在http://www.whweb.com.cn/robots.txt这个文件,如果Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。如图下:

robots.txt协议

    禁止搜索引擎收录的方法

一、禁止搜索引擎跟踪网页的链接,而只对网页建索引

    如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的部分:

robots

二、如果您不想百度追踪某一条特定链接,百度还支持更精确的控制,请将此标记直接写在某条链接上:

robots

三、要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的部分:

robots

四、我想禁止百度图片搜索收录某些图片,该如何设置?

    禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现,例:

1、禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。

robots

2、仅允许Baiduspider抓取网页和.gif格式图片,允许抓取网页和gif格式图片,不允许抓取其他格式图片。

robots

3、仅禁止Baiduspider抓取.jpg格式图片

robots

    最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。想了解更多可阅读武汉网站优化的相关新闻。