全文检索[编辑]

全文检索的含义：

  全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。

  全文检索的方法主要分为按字检索和按词检索两种。按字检索是指对于文章中的每一个字都建立索引，检索时将词分解为字的组合。对于各种不同的语言而言，字有不同的含义，比如英文中字与词实际上是合一的，而中文中字与词有很大分别。按词检索指对文章中的词，即语义单位建立索引，检索时按词检索，并且可以处理同义项等。英文等西方文字由于按照空白切分词，因此实现上与按字处理类似，添加同义处理也很容易。中文等东方文字则需要切分字词，以达到按词索引的目的，关于这方面的问题，是当前全文检索技术尤其是中文全文检索技术中的难点。

  全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。一般来说，全文检索需要具备建立索引和提供查询的基本功能，此外现代的全文检索系统还需要具有方便的用户接口、面向WWW的开发接口、二次应用开发接口等等。功能上，全文检索系统核心具有建立索引、处理查询返回结果集、增加索引、优化索引结构等等功能，外围则由各种不同应用具有的功能组成。结构上，全文检索系统核心具有索引引擎、查询引擎、文本分析引擎、对外接口等等，加上各种外围应用系统等等共同构成了全文检索系统。

  最常用的全文搜索引擎有百度、谷歌（Google）等。与之相对应的是目录索引类搜索引擎。

全文索引的相关议题：

  语根处理 (stemming)
  符素解析器 (token parser) 1-gram, 2-gram , n-gram
  断词/分词 word segmentation
  反向索引 inverted index

算法、搜寻策略之模型：

  布林式 boolean
  统计模型 Probabilistic model
  向量空间模型 vector base model
  隐性语义模型 Latent semantic model

评量之准则：

  判断检索效果的两个指标：
  查全率=被检出相关信息量/相关信息总量（%）
  查准率=被检出相关信息量/被检出信息总量（%）

开放源代码之全文检索系统：

  lucene
  xapian

和中文有关的议题：

  断词（分词）
  语法解析
  古籍议题
  多语言混合

优化：

  剔除字(Stopwords)
  词性标注
  权威档(authority file)
  知识体系，本体论(ontology)
  超链接分析(page rank)技术

历史及未来之趋势：

自由语句搜寻

网络营销词典内容均由网友提供，仅供参考。如发现词条内容有问题，请发邮件至info # wm23.com。