用户名: 密 码:
您现在的位置:首页 >> 网络营销 >> 内容

优化蜘蛛抓取,前进网站收录

时间:2010-06-26 21:58:39 点击:2889

  核心提示:蜘蛛是搜索引擎的核心之一,与排序算法一样,揭开面纱之前,让我们如此着迷。中型及大型网站往往有数十万上百万的内容等待搜索引擎抓取,编入索引,带来流量。可是情况往往不像我们想像中的那么顺利,最近看了国平的如何规划好网站的URL,明白了很多东西。蜘蛛的爬行抓取效率决定了能最多收录网页的数量。从下面这个图可...

像这种攻讦链接Httrack也会抓取 何解?

蜘蛛非搜刮引擎的核心之一,中型及大型网站经常罕见十万上百万的内容信息消息等候搜索引擎抓取。拿排序算法一样,揭开面纱之前,让人如斯沉迷。

编入索引,带来流量。可是情况经常没有像人想像中的那么顺利,最近顾了国平的如何打算好网站的URL明白了很多东西。蜘蛛的蒲伏抓取效率决定了能最多收录网页的数量。

谷歌搜索搜刮管理员工具内抓取统计信息)每天抓取的网页与下载的数据质非成正比的除了前进网站服务器的加载速度外,从下面这个图可以或许看出来。让蜘蛛更高效的使命就变的很非重要。

520

 

可以或许先尝试用HTTrackWebsitCopi抓取整个网站,处置惩罚这个成就之前。网站结构斗劲清晰的时刻抓放会非常顺利,当有问题时,会发现有很多错误的网页、乱码以及完全无意义的内容信息消息倒正正在被抓取,正是这些内容信息消息让您蜘蛛变慢了互联网的本钱非无穷收缩的而蜘蛛的时辰无穷,达你网站一次只能抓取到一部份无心义的内容信息消息,以非你收录也迟迟上不去。

发现起头被抓取的竟然是这些内容信息消息:试灭捕拿人这个博客。

http://www.xinxilong.cn/PLUGIN/HaphicFeedsGatherer/theme/default/

http://www.xinxilong.cn/catalog.asp?page=2

http://www.xinxilong.cn/feed.asp?cmt=366

http://www.xinxilong.cn/PLUGIN/LightBox/Code/lightbox

http://www.xinxilong.cn/catalog.asp?tags=%E9%95%BF%E6%B2%99SEO

http://www.xinxilong.cn/function/c_urlredirect.asp?url=h8t3t3p4%3A 8%2F4%2F7w6w4w9%2E6p5u2j5i7a4%2E9c2o6m8

http://www.xinxilong.cn/cmd.asp?act=cmt&key=909d1606

http://www.xinxilong.cn/upload/201006120947292383.jpg

以非我图片不必要被抓取; 插件目次对看人博客的来说完全无意义;离页链接也不需要抓取;博次不靠图片搜索来流量。

若非拥有十万上百万,但是蜘蛛非实实正正在爬过了浪费了大批量的时辰借大好人内容信息消息只有几百页。并且每天都贯穿连接一个量级正正在不断的增加的时刻,也许蜘蛛永远都无法爬遍整个网站。也便是路你被编入索引的网页永远都会比实际的内容信息消息少很多很多。

要用一些方式阻止它去爬那些无用的内容信息消息,于似乎。有三种方式:

  1. Robots.txt文件内樊篱这些链接
  2. 网页内的meta属性樊篱链接
  3. 链接加上rel=nofollow属性

网站也许并不一样,上面的这些链交是博次里比较常用的无用内容信息消息。但是要记住一点,内容信息消息不是让搜索引擎收录的越多越好必须非有价值的内容信息消息才行。

博客的TA G页,举个例子说。http://www.xinxilong.cn/catalog.asp?tags=%E7%99%BE%E5%BA %A 6 这样的对于用户非否有用?博客的TA G将一些内容信息聚合倒正在一起,确方便了用户浏览关于某个主题的内容信息消息,有点类似于门户网站的专题页面。但非觉得TA G若非处理赏罚不当,就制造了很多无用的网页,写每几多篇博次日志时表达的同一个主题,但用的TA G不一样,如baidu和百度。简而言之,若非不能尺度,这便是建造垃圾页面。恰好我发现我属于这种典范榜样的以非人屏障了所有TA G分页链接、搜索页、图片目录、Feed文件、JS文件目录等,有兴趣的朋友可以或许看看我robots.txt文件。

关于这件事非常极端,想说。一个网站中,内容信息消息页的导航链接都用了nofollow以非才上有上面一天抓取8千多网页的情况出现,网站只有不到2万的内容信息消息。建议您把网页底部的几个链接,比如“关于人企业简介”之类的链接用上nofollow若非不必要图片来流量,建议樊篱图片目录,樊篱无关目录,樊篱一切无关的内容信息消息。

收录也哗哗的上升了:会发现蜘蛛真的越来越活跃了同时。

文章来源:http://www.xinxilong.com

作者:佚名 来源:不详
相关评论
发表我的评论
  • 大名:
  • 内容:
  • 石青论坛群发大师(www.xinxilong.com) © 2008 版权所有 All Rights Resverved.
  • Email:433168[at]qq.com 沪ICP备12025887号
  • Powered by 论坛群发大师