颠覆传统,我有担当 学SEO只选有担当的机构
首页 >SEO培训教程 > 怎么写robots文件

怎么写robots文件

优就业SEO学院2016-09-09 10:58:40来源:优就业SEO学院
robots文件

1、什么是robots文件

首先要知道什么是robots文件,robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索引擎蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索引擎爬虫就沿着链接抓取。所以只有当您的网站中包含您不想让搜索引擎编入索引的内容时,才需要使用 robots.txt 文件。

2、robots文件可以起到什么作用

屏蔽网站内的死链接;屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面;阻止搜索引擎索引网站隐私性的内容。因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低该网站的权重,这样网站的排名就不好了。

3、怎么写robots文件

(1)允许所有搜索引擎访问

User-agent: *Disallow或者User-agent: *Allow: /

(2)禁止所有搜索引擎访问网站的所有部分

User-agent:*Disallow:/

(3)禁止除百度以外的所有搜索引擎索引你的网站

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

(4)禁止访问admin目录

User-agent:*Disallow:/admin

(5)允许访问images目录。

User-agent:*Allow:/images

(6)禁止所有搜索引擎访问网站中的几个部分

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

(7)允许所有搜索引擎访问网站中的几个部分

User-agent: *

Allow: /a/

Allow: /b/

Allow: /c/

(8)使用”$”限制访问url,仅允许访问以”.htm”为后缀的URL

User-agent: *

Allow: .htm$

Disallow: /

(9)禁止搜索引擎F抓取网站上所有图片,只允许引擎抓取网页,禁止抓取任何图片User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

免责声明:本文来源于网络,由网友提供或网络搜集,仅供个人交流学习参考使用,不涉及商业盈利目的。如有版权问题,请联系本站管理员予以更改或删除。谢谢合作!

热门标签:
robots文件
收藏人收藏
3

相关文章

最新文章

专业的SEO培训机构

师资团队教学环境关于我们联系我们学员体验热门标签

Copyright©1999-{date('Y')} 北京中公教育科技股份有限公司 .All Rights Reserved
京ICP备10218183号-88 京ICP证161188号 京公网安备11010802020723号