WordPressLeaf主题设置:在使用本主题时如何设置robots.txt和sitemap.xml?

导语:robots.txt和sitemap.xml也是属于SEO的范围,上篇说了WordPressLeaf主题的大家能看见的SEO设置问题:标题、关键字、描述,这篇来说说怎么样设置一个站点的robots.txt和sitemap.xml。

robots.txt

robots.txt是搜索引擎在抓取一个网站内容前,首先要检查的文件,它会根据你的robots.txt中的设置来抓取你的网页,哪些网页你是允许抓取的,哪些是不让它抓的,现在各大引擎都遵守这个规则。

以前,好像有一次是360太过心急,为了突破自己的索引数量,违法了robots.txt的规则,然后被网友们批斗了好久,因为它抓取了隐私内容。

至于robots.txt该怎么写,我这里就不多说了,网上一搜一大把,我这里贴出我的robots.txt,大家可以参照。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /trackback
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /comments
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /a/date/
Disallow: /author
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php
Disallow: /url/
Disallow: /go/
Disallow: /go_mall/
Disallow: /?tag=*
Disallow: /tag/
Sitemap: https://www.wordpressleaf.com/sitemap.xml

User-agent意思是说所有引擎的蜘蛛,Disallow表示禁止,Sitemap表示你的xml格式站点地图。有时候,引擎会对重复内容进行惩罚,所以你要禁止一下重复抓取。robots.txt放置在网站的根目录下面,例如www.wordpressleaf.com/robots.txt。

如果你不会写可以看看我们朋友阳光的话。

WordPressLeaf主题设置:在使用本主题时robots.txt和sitemap.xml?

阳光

sitemap.xml

sitemap.xml很重要,可以明确让蜘蛛抓取哪些内容,这些内容在你的网站的权重是怎么分配的。一般来说首页是分值最高,然后目录页,然后再是文章页。比如,你首页给了1的分值,那么目录页就只能给0.8,文章页你就只能给0.6,这样的话,蜘蛛引擎才知道你的哪些内容是最重要的。

你可以WordPress站点地图源码下载:生成sitemap.xml的sitemap.php下载来下载我们提供的sitemap.xml生成代码,设置方法里面有,这里就不多说了。

你可前往WordPress高级应用:我的WordPress博客将会出现在搜索引擎中吗?(六)看看,里面说到sitemap.xml对谷歌蜘蛛是很重要的。它能简化蜘蛛的工作。

因此,理想的Robots文件没有任何不允许的部分,并可以链接到XML格式的sitemap,如果一个精准的sitemap文件已经被创建了的话(虽然这本身是罕见的!)。

结束

你学会了吗?seo对网站还是很重要的,所以能注意的地方,你一定要注意。

目前在“WordPressLeaf主题设置:在使用本主题时如何设置robots.txt和sitemap.xml?”上有一条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注