1. 论坛系统升级为Xenforo,欢迎大家测试!
    排除公告

使用Robots解决重复收录之案例分析

本帖由 盖世太保2011-11-15 发布。版面名称:软文发布区

  1. 盖世太保

    盖世太保 New Member

    注册:
    2011-04-08
    帖子:
    872
    赞:
    0
    使用过ECSHOP的朋友都会知道ECSHOP有严重的重复收录过多的问题,很多朋友的网站实际产品加文章数量仅仅1000来个,查询链接居然有3,4千,google甚至会有上万。 重复链接因为Title一样,所以常常会被搜索引擎惩罚导致收录差,对于这个问题,SEOer们是必须要解决的,以下发表我个人的解决经验,欢迎点评。

      分析会有哪些重复链接产生

      1.就我使用的情况,首先是产品页和文章页会有很多的页面以 ?from=rss 结束

      如 http://www.xxxx.com/goods-1.html?from=rss

      这个的解决方法有二,一是通过删除rss信息订阅功能,二是Robots设置

      我个人选择的是第二种

      所以我在Robots里加了一条禁止搜索引擎索引的语句:

      Disallow: /*rss*

      这句的意思是只要根目录下的链接带 "rss"就不索引,除非你的网站会有带页面地址里正好出现rss这连续三个子母,这个语句都可以解决这个问题。

      2.分类页里的动态链接

      分类页里充斥了大量的动态链接

      包括属性筛选的链接

      排序的链接

      显示方式的链接

      接下来我们逐一击破

      首先是属性筛选的链接

      如http://www.xxxx.com/category-1-min80-max90-attr0.html

      这个是筛选里面的价蓝河传奇格的筛选

      包括其他属性的链接,我们发现规律就是都会出现 "min" "max" "attr"三个词,分别是最小,最大,属性值

      和上面的,我们在Robots加了一跳禁止抓取包括这三个词的语句:

    Disallow: /*min*
    Disallow: /*max*
    Disallow: /*attr*

      然后,排序的链接和显示方式的链接我们点击后同样会出现类似一长串,其中仍然包括 1.76狂暴传奇"min" "max" "attr"三个词

      因而上面Robots的设置已经可以解决

      这样就完了吗?没有,虽然我
    中变无英雄传奇
    刺客归来私服们设置了Robots的抓取,但为了让蜘蛛爬行更方面直接,我们需要做另外一个工作,就是限制爬行

      找到模板文件里对应的属性筛选和产品列表的模板文件(我自己的是cat_filter.lbi和goods_list.lbi)

      找到属性筛选、排序、显示方式的链接代码,在其里增加一句 rel="nofollow",意思就1.76精品版本是限制爬行

      robots的作用在于禁止抓取,而nofollow则在于禁止爬行,双管齐下很好的引导了蜘蛛和搜索引擎

      3.其它的一些重复动态链接

      我个人发现的其它重1.75传奇复链接还包括品牌商品里的显示方式

      如http://www.xxxx.com/brand-1-c0.html?display=text等

      我在Robots同样加了三句

    Disallow: /*min*
    Disallow: /*max*
    Disallow: /*attr*

      就解决了不同显示方式还武易传奇有不同链接的重复收录问题

      以上个人所提到的并未包含所有的动态链接,但给大家做了一个不错的参考,因为万变不离其宗,朋友们可以依据我提到的方法和思路慢慢的把自己的Robots写完整,同时适当的使用nofollow在模板里限制蜘逐鹿中原传奇 蛛的爬行

      注意的是对于已经收录了大量的重复链接,您进行以上提到的修改,搜索引擎并不能快速做出反应,
    1.85狂雷版本对待新的页面会限制收录重复页面,但对于已经收录的重复链接,搜索引擎需要花了一段时间取消收录而重新收录主页面,个人的经验是至少需要2个月。
     
  2. hjm1992

    hjm1992 New Member

    注册:
    2011-08-11
    帖子:
    780
    赞:
    0
  3. afdhye879

    afdhye879 New Member

    注册:
    2011-06-29
    帖子:
    1,348
    赞:
    0
    还可以了,支持一下。