WordPressLeaf主题设置：在使用本主题时如何设置robots.txt和sitemap.xml？

导语：robots.txt和sitemap.xml也是属于SEO的范围，上篇说了WordPressLeaf主题的大家能看见的SEO设置问题：标题、关键字、描述，这篇来说说怎么样设置一个站点的robots.txt和sitemap.xml。

robots.txt

robots.txt是搜索引擎在抓取一个网站内容前，首先要检查的文件，它会根据你的robots.txt中的设置来抓取你的网页，哪些网页你是允许抓取的，哪些是不让它抓的，现在各大引擎都遵守这个规则。

以前,好像有一次是360太过心急，为了突破自己的索引数量，违法了robots.txt的规则，然后被网友们批斗了好久，因为它抓取了隐私内容。

至于robots.txt该怎么写，我这里就不多说了，网上一搜一大把，我这里贴出我的robots.txt，大家可以参照。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /trackback
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /comments
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /a/date/
Disallow: /author
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php
Disallow: /url/
Disallow: /go/
Disallow: /go_mall/
Disallow: /?tag=*
Disallow: /tag/
Sitemap: https://www.wordpressleaf.com/sitemap.xml

User-agent意思是说所有引擎的蜘蛛，Disallow表示禁止，Sitemap表示你的xml格式站点地图。有时候，引擎会对重复内容进行惩罚，所以你要禁止一下重复抓取。robots.txt放置在网站的根目录下面，例如www.wordpressleaf.com/robots.txt。

如果你不会写可以看看我们朋友阳光的话。

sitemap.xml

sitemap.xml很重要，可以明确让蜘蛛抓取哪些内容，这些内容在你的网站的权重是怎么分配的。一般来说首页是分值最高，然后目录页，然后再是文章页。比如，你首页给了1的分值，那么目录页就只能给0.8，文章页你就只能给0.6，这样的话，蜘蛛引擎才知道你的哪些内容是最重要的。

你可以WordPress站点地图源码下载：生成sitemap.xml的sitemap.php下载来下载我们提供的sitemap.xml生成代码，设置方法里面有，这里就不多说了。

你可前往WordPress高级应用：我的WordPress博客将会出现在搜索引擎中吗？（六）看看，里面说到sitemap.xml对谷歌蜘蛛是很重要的。它能简化蜘蛛的工作。

因此，理想的Robots文件没有任何不允许的部分，并可以链接到XML格式的sitemap，如果一个精准的sitemap文件已经被创建了的话（虽然这本身是罕见的！）。

结束

你学会了吗？seo对网站还是很重要的，所以能注意的地方，你一定要注意。