巧用网站禁止收录机制屏蔽蜘蛛抓取页面
基于网站安全与盈利的因素，站长并不希望某些目录或页面被抓取和收录，比如付费内容、测试阶段的页面及复制内容页面等。
SEO
尽管在网站建设的过程中，使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步，而导致页面不被收录。
但在某些情况下搜索引擎是能够读取他们的，基于网站排名考虑，我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。
强调一下，建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱，致使搜索引擎不能正确判断与抓取页面的主题与文字。
要确保网站某些目录或页面不被收录，需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。
1、robots 文件
搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。
user-agent：* 适用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: *.html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目录，Allow 告诉搜索引擎应该抓取哪些页面，由于不指定就是允许抓取，所以allow单独写没有意义。
2、meta robots标签
Meta robots 标签是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引本页内容。
最简单的 meta robots 标签格式为：
<meta name=”robots” content=”noindex,nofollow”>
效果是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
<meta name=”robots” content=”noindex”>
效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。
Google、必应、雅虎支持的标签如下：
Noindex:不要索引本页面
Nofollow:不要跟踪本页面上的链接
Nosnippet:不要在搜索结果中显示摘要文字
Noarchive:不要显示快照
Noodp:不要使用开放目录中的标题和描述
百度支持：Nofollow和Noarchive
只有禁止索引时，使用meta robots才有意义。
使用了 noindex meat robots 标签的页面会被抓取，但不会被索引，页面URL也不会出现在搜索结果中，这一点与 robots 文件不同。
网站哪些页面屏蔽后更加有利于搜索引擎蜘蛛爬行
在SEO优化过程中，有时候需要对搜索引擎蜘蛛进行屏蔽，就是禁止对网站某个地方进行抓取，那么我们应该如何屏蔽搜索引擎蜘蛛呢？
屏蔽图片目录
网站中图片是主要元素，很多网站中的图片素材都是从其他地方找来的，搜索引擎是可以分辨出真假，这会影响网站收录，所以对网站中图片目录“images”进行屏蔽还是有必要的，这样也节省了不少流量。
屏蔽双页面的内容
一个可以生成静态页面的网站，一般来说动态页面也是可以访问的，两者如果都被搜索引擎完全牵引，访问到了一致的内容，对搜索引擎来说是有害无益。而我们要屏蔽的是动态页面，因为静态页面更容易被搜索引擎牵引收录。
屏蔽危及网站安全的隐私目录
所有涉及到有关安全的目录，比如数据库目录，网站日志目录以及备份目录都有必要进行屏蔽。通过ROBOTS.TXT来屏蔽掉，网站的排名就能得到明显的提升。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至19401980@qq.com举报，一经查实，本站将立刻删除。
