PanGu.png

项目描述

Pan Gu Segment is a library that can segment Chinese and English words from sentence.
盘古分词是一个中英文分词组件。作者eaglet 曾经开发过KTDictSeg 中文分词组件,拥有大量用户。
作者基于之前分词组件的开发经验,结合最新的开发技术重新编写了盘古分词组件。

商业应用授权

最新字典文件

功能

中文分词功能

英文分词

一些英文简写是字母符号混合,或者是字母数字混合,这个分词起来就不能按照空格符号这样分割了,对于字母符号混合的如 U.S.A ,
只要将这个词录入到字典中,盘古分词就可以分出整词。对于字母和数字混合的,盘古分词会自动作为整词输出。

其他功能

对于一些标点符号,连词,助词等有时候需要在分词时过滤掉,盘古分词提供一个 StopWord.txt 文件,用户只要将需要过滤的词加入到这个文件中,
并将停用词过滤开发打开,就可以过滤掉这些词。 盘古分词可以让用户对如下特性设置自定义权值
  1. 未登录词权值
  2. 最匹配词权值
  3. 次匹配词权值
  4. 再次匹配词权值
  5. 强行输出的单字的权值
  6. 数字的权值
  7. 英文词汇权值
  8. 符号的权值
  9. 强制同时输出简繁汉字时,非原来文本的汉字输出权值。
*用户自定义规则 Lucene 提供了一个关键词高亮组件,但这个组件对中文的支持不是特别好,特别是如果还有多元分词的情况,处理的就更不好。
盘古分词提供了一个针对中文和英文的关键词高亮组件 PanGu.HighLight ,其对中文的支持要好于Lucene 那个高亮组件。 在PanGu4Lucene 这个包里面有我做的一个盘古+Lucene 的简单新闻搜索Web示例程序,Release 包里面有使用说明。

性能指标

Core Duo 1.8 GHz 下单线程 分词速度为 390K 字符每秒,2线程分词速度为 690K 字符每秒。

其他说明

盘古分词提供的字典包括17万个中文常用单词,但这个字典依然不够完整,如果要分词更准确,需要适当维护一下这个字典。
中文人名的识别能力取决于 ChsSingleName.txt, ChsDoubleName1.txt, ChsDoubleName2.txt 这三个文件,它们分别表示单子人名,
双字人名的首字和双字人名的尾字,如果有的人名没有分出来,需要维护这三个文件。

问题解答

盘古分词问题解答专业贴 http://space.cnblogs.com/group/topic/31349

相关文章

盘古分词-功能简介 http://www.cnblogs.com/eaglet/archive/2009/08/13/1545420.html
盘古分词-多元分词 http://www.cnblogs.com/eaglet/archive/2008/10/02/1303142.html

V1.0.0.2 版本分词演示

DemoV1.0.0.2.PNG