Meta标记是一个非常有用的标记。它位于文档的头部，存储网页的一些信息。常见的是Description和keywords。它们分别告诉搜索引擎页面的描述和关键字。
今天在浏览百度快照发现客户的网站无法索引快照。
检查客户网站代码后才发现，网页中竟然加上了禁止百度谷歌建立网站快照的代码
禁止搜索引擎建立网站快照的 meta 标签：
<meta name="robots" content="noarchive"/>
如果是对于单独的某个搜索引擎不允许建立快照，例如百度，我们就可以写成：
<meta name="Baiduspider" content="noarchive" />
可以抓取本页，而且可以顺着本页继续索引别的链接，但不许保存快照
<meta name="Baiduspider" content="index,follow,noarchive" />
关于这个 meta 标签，其实也是可以不用加入 html 中去，针对这个就是利用这个方法实现对蜘蛛的控制。
更多关于控制蜘蛛爬取索引的标签：
#可以抓取本页，而且可以顺着本页继续索引别的链接
<meta name="robots" content="index,follow" />
#不许抓取本页，但是可以顺着本页抓取索引别的链接
<meta name="robots" content="noindex,follow" />
#可以抓取本页，但是不许顺着本页抓取索引别的链接
<meta name="robots" content="index,nofollow" />
#不许抓取本页，也不许顺着本页抓取索引别的链接。
<meta name="robots" content="noindex,nofollow" />