网站SEO优化——robots和sitemap(转载)

  网站检索优化不仅需要对网站内容,外链,内链进行优化,还需要从sitemap.xml和robots.txt这些细节着手。robots和sitemap文件,前者的作用是减少百度蜘蛛在站内的无谓爬取,后者增加百度蜘蛛在站内的有效爬取,对百度,必应,谷歌收录和自己网站的SEO推广都十分重要。下面说说Sitemap和Robots.txt SEO优化技巧。


1.网站sitemap优化的技巧

1. 网站必须要设立sitemap文件

  不管你的网站是不是已经被收录,设置sitemap文件就像相当于给搜索引擎提供了你网站的目录,让搜索引擎更有效率的在你的网站上爬行抓取。制作sitemap可以导航到网站https://sitemap.webkk.net/

2. 根目录下必须要有sitemap.xml文件

  这是针对第一点来说的,许多网站系统可以自动生成sitemap文件。但是存储的名称和位置可是多种多样:比如ecshop默认生成的sitemap文件命名为sitemaps.xml;dedecms系统生成的sitemap文件就位于data/rss/目录之下,名称也是已数字命名的。这些都不是规范的。搜索引擎默认的格式是你根目录下的sitemap.xml文件。也就是说,搜索引擎来到你网站的时候会自动寻找你的sitemap.xml文件,而不是其他目录或其他名称的文件。

3. 建立sitemap的索引文件

  关于sitemap的索引文件,了解的人并不多,主要是大家都没有考虑到第2个问题,以为只要自己设立了sitemap文件就可以了。俗话说酒香还怕巷子深,你把sitemap文件放到那么深的文件目录,你觉得搜索能找到吗。有人说,我提交到搜索引擎的管理员工具中,但并不是每个搜索引擎都有管理员工具的。如果你在网站根目录下设立了默认的sitemap索引文件,则可以便捷的向来到你网站的任何一个搜索引擎展示你的网站目录。

  并不是每个网站都需要一个sitemap索引文件。这是因为索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。一般情况下,当你的sitemap文件至少在两个或以上时,才建议设立sitemap索引文件。在根目录下建立以sitemap.xml命名的索引文件指向你真正的sitemap文件。

4. 在robots.txt声明你的sitemap文件

如果没有直接链接的话,也许有的搜索引擎并不主动搜索你网站目录下的sitemap文件。但是,不论是google,baidu,还是其他不知名的小搜索引擎,都会首先索引你网站根目录下的robots.txt文件。如果你在robots.txt文件中声明你sitemap文件及其位置,那么蜘蛛的爬行也就顺利成章了。


2.网站robots.txt优化的技巧

  一般站长都知道,建好网站后进行SEO检索优化,需要建立网站的sitemap.xml,特殊情况的话需要进行robots.txt文件的设置。

1. 根据需要设立robots.txt文件

  robots.txt文件是专门给搜索引擎看的,告诉他这个网站那些地方你可以爬行,那些地方你不可以爬行。或者那些蜘蛛可以爬行,哪些蜘蛛不能爬行。比如:淘宝网的robots.txt中就声明了禁止百度的蜘蛛爬行。其实,说白了,robots.txt就是搜索引擎爬行网站的准许证,在拿到了准许证后,根据网站的目录(sitemap文件)来爬行你的网站。如果你的网站有特殊设置,可以利用robots.txt来设置。
  robots只有一个:robot.txt,这是一个文本文件,主要利用Allow(允许)和DisAllow(禁止)两个命令,(这两个重要的是禁止),禁止百度蜘蛛爬取一些无谓的文件和文件夹,增加百度搜录速度。

2. 把你网站的非实质内容页面及目录在robot.txt中设定

  这里说的设定一般是指disallow这些没有实质内容的页面及目录。为什么这么做,原因在于搜索引擎在每个网站上停留及爬行的时间都有限。我们需要确保搜索引擎爬行及收录我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多流量。如果有些目录和页面就算被搜索引擎爬行收录了也带不来流量,反而占用了搜索引擎搜索你其他有价值页面的机会,那就得不偿失。这些目录和页面常见的有:

a. 管理后台,被加密的目录(搜索引擎爬了对你没好处)。
b. 功能目录,无内容页面链接的目录;
c. 注册,注销,收藏,打印等链接(或使用rel=“nofollow”标记);

3. 在robots.txt中声明你的sitemap文件

  具体原因已经在上面说过了,设置的方法如下:

在robots.txt加入如下的一行文字:
Sitemap: http://www.xxxx.com/sitemap.xml (替换你自己实际的sitemap文件地址)

  有多个sitemap文件,没有建立sitemap索引文件的也可以在robots.txt里同时声明。
Sitemap: http://www.xxx.com/sitemap.xml
Sitemap: http://www.xxx.com/sitemap_index.xml


  原文转自https://blog.51cto.com/seomonkey/832078

发表评论

邮箱地址不会被公开。 必填项已用*标注