当前位置:始祖网址提交 » 站长资讯 » 站长资讯 » 搜索引擎 » 文章详细

搜索引擎中文分词技术探析

来源:本站原创 浏览:3113次 时间:2014-11-10

什么是分词, 如何分词搜索引擎会承认,这次第一位朋友提的问题,想必大家也听说过,很好奇,什么是分词技术,什么又是百度分词呢?分词大家容易理解。就是一段词用字符分开,比如标点符号,空格等。

  那什么叫分词技术呢?分词技术就是SE针对用户提交查询的关键串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。大家好好理 解。那么我们要理解分词技术先要理解一个概念。那就是查询处理,当用户向搜索引擎提交查询后,搜索隐藏接收到用户的信息要做一系列的处理。首先是到数据库 里面索引相关的信息,

  这就是查询处理,那么查询处理又是如何工作的呢?很简单,把用户提交的字符串没有超过3个的中文字,就会直接到数据库索引词汇。超过4个中文字 的,首先用分隔符比如空格,标点符号,将查询串分割成若干子查询串。举个例子。“什么是百度分词技术” 我们就会把这个词分割成“ 什么是,百度,分词技术。”这种分词方法叫做反向匹配法。2.然后再看用户提供的这个词有没有重复词汇。

  如果有的话,会丢弃掉,默认为一个词汇。接下来检查用户提交的字符串,有没有字母和数字。如果有的话,就把字母和数字认为一个词。好了,这就是SE的查询处理。

  讲了查询处理后,大家对分词技术,尤其是中文分词技术有了一个基本的了解。

  其实我讲的都是搜索引擎的原理。好了,我接下来讲分词的原理。我们用百度来举例

  百度是如何来分词的呢?分词技术现今非常成熟了。他分为3种技术。

  1.字符串匹配的分词方法

  2.词义分词法。

  3.统计分此法。

  先说第一种。

  也是常用的分词法,百度就是用此种分词。字符串匹配的分词方法,他又分为3中分词方法。

  1.正向最大匹配法

  什么意思呢?就是把一个词从左至右来分词。

  举个例子。

  “不知道你在说什么”

  这句话采用正向最大匹配法是如何分的呢?“不知道,你,在,说什么”与正向最大匹配法相对应的是反向最大匹配发。这是第二种分词方法。

  2.反向最大匹配法 来分上面我举的例子是如何分的呢 "不知道你在说什么"。反向最大匹配法来分上面这段是如何分的。“不,知道,你在,说,什么”,这个就分的比较多了,反向最大匹配法就是从右至左。

  3.就是最短路径分词法。

  这个什么理解呢 ,就是说 我一段话里面要求切出的词数是最少的。还是上面哪句话

  “不知道你在说什么”最短路径分词法就是指,我把上面哪句话分成的词要是最少的。不知道,你在,说什么,这就是最短路径分词法,分出来就只有3 个词了 。好了,当然还有上面三种可以相互结合组成一些分词方法。比如正向最大匹配法和反向最大匹配法组合起来就可以叫做双向最大匹配法。好了,第一种说完了,

  2.词义分词法。

  这种其实就是一种机器语音判断的分词

  方法。很简单,进行句法、语义分析,利用句法信息和语义信息来处理歧义现象来分词,这种分词方法,现在还不成熟。处在测试阶段。

  第三种,统计的分词方法。

  这个很简单,就是根据词组的统计,就会发现两个相邻的字出现的频率最多,那么这个词就很重要。就可以作为用户提供字符串中的分隔符。这样来分 词。比如,“我的,你的,许多的,这里,这一,那里”。等等,这些词出现的比较多,就从这些词里面分开来。好了,分词技术讲完了。

  那么我们刚刚学了分词技术,又如何来运用他们为我们的站点获得流量呢

  1.我们可以利用分词技术来增加我们站点长尾词。这样就可以获取流量排名。

  不但这些分出来的长尾词能够获取一定的排名,也能够推动站点的目标关键词获取很好的排名。这个原理就是内链原理,这里不再讲了。讲了这么多,我们举个例子。

 

  例如:三亚酒店预定,如何来分呢?

  正向最大匹配,反向最大匹配,双向最大匹配,最短链接匹配。

  1.正向最大匹配

  “三亚,酒店预定”

  2.反向最大匹配

  “三亚酒店,预定”

  3.双向最大匹配

  “三亚,酒店,预定”

  4.最短路径最大匹配。

  “三亚酒店预定”好了,我们分了词为

  “三亚,“酒店预定,预定,三亚酒店,三亚,酒店 ,三亚酒店预定。”

--------------------------------------------------

佛山办公家具

佛山,办公家具      佛山办公,家具     佛山,办公,家具   佛山办公家具

 

------------------------------------------------------------

 

  这些词每个都可以做一个主题页为目标关键词

  这些分出来的词,把他们都作为你站点的主题页,导入链接权重上来了,竞争力就大了,因为这些页面把他内链起来。用锚链接,指向主页的目标关键 词。呵呵,这就是分词的好处。他能够提升目标关键词的排名的竞争力也同时给站点带来一定流量。一旦导入链接权重上来了,竞争力就大了,因为这些页面把他内 链起来。

  用锚链接,指向主页的目标关键词。呵呵,这就是分词的好处。他能够提升目标关键词的排名的竞争力也同时给站点带来一定流量。分词还有一种好处。 那就是提升内页的排名。好的,这个我就不详细讲了。因为我在SEOWHY已经写了一篇文章。大家可以去看一下。就是关于百度,捕获描述的文章。如果你的内 页不做描述,那么百度就会给你定义一个描述或者从你的页面捕获一个描述。在捕获描述的时候,如果你的知道他会捕获哪一段,那么你说,你的排名会不会上升。 你就刻意写哪一段。

推荐站点

  • 快速提升门_医用门_卷帘防火门快速提升门_医用门_卷帘防火门

    衢州玖亿门业有限公司是集生产销售维护为一体的现代化企业:主要产品有:电动伸缩门、电动感应门、PV快速门、电动抗风门、电动车库门、电动卷闸门、电动水晶门、电动防火门、快速提升门、停车系统、智能道闸等产品。 本公司有多名资深技术工程安装师傅,还培养了一批熟练的技工,员工具有丰富的安装经验,强大的安装工程队伍,让您的工程安装和后期的维护,有更好的保障。 只要您一个电话联系到玖亿,我们会有专业人员上门为您服务,不论您是工程、企业或个人,安装新的门还是维修门,我们都会根据施工现场的实际情况和您的要求给出专业合理的方案供您选择。 企业的宗旨:以人为本客户至上的原则, 与客户真诚合作,和客户建立长期友好的合作关系,用高质量的产品赢得客户满意。给客户提供专业、及时、便捷的服务! 产品造型美观大方、新颖独特,价位合理,安全实用 ,欢迎广大新老客户来电详询。

    www.f58f.com
  • 衢州感应门_衢州快速门_衢州玖亿门业有限公司衢州感应门_衢州快速门_衢州玖亿门业有限公司

    衢州感应门厂家,专业定制、安装、维修各种感应门,为您解决感应门相关的任何疑难杂症。衢州玖亿门业是明智的选择,本公司产品大部分都是定制产品,按照贵司的需求样式尺寸定做,感应门、快速门、伸缩门,电卷闸门以及工厂和小区配套使用的岗亭、道闸、车牌识别、门禁电锁等,本公司一应俱全,一站式服务,解决您的售后顾虑问题。企业的宗旨:用高质量的产品赢得客户满意。给客户提供专业、及时、便捷的服务!

    http://www.door-industry-cn.com/
  • 免费发布信息网站大全_大中国商业信息网免费发布信息网站大全_大中国商业信息网

    大中国商业信息网免费发布不限制条数,大中国商业信息网是一个可以免费发布分类信息的B2B平台。可免费发布您的产品信息!便捷免费的B2B供求信息发布平台

    www.greatcnb2b.com
  • 大中华电子商务网大中华电子商务网

    大中华电子商务网免费发布不限制条数,大中华电子商务网是一个可以免费发布分类信息的B2B平台。可免费发布您的产品信息!便捷免费的B2B供求信息发布平台

    www.greatercnb2b.com
  • 全球商务信息网_中国分类信息网站大全_免费的网络推广平台全球商务信息网_中国分类信息网站大全_免费的网络推广平台

    欢迎访问全球商务信息网,这里有各行业信息网/B2B电子商务网站,是最方便的免费网络推广平台,已成为无数商家网络营销/网络推广的首选网站!

    www.globalb2bcn.com