结合局部歧义词网格与条件随机场的双层分词法

Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｍａｒｃｈ　２０１３．Ｖｏｌｕｍｅ　２，Ｉｓｓｕｅ　１，ＰＰ．１－８　Ａ　Ｄｏｕｂｌｅ－—ｌａｙｅｒ　Ｗｏｒｄ　Ｓｅｇｍｅｎｔａｔｉｏｎ　Ｃｏｍｂｉｎｅｄ　ｗｉｔｈ　Ｌｏｃａｌ　Ａｍｂｉｇｕｉｔｙ　Ｗｏｒｄ　Ｇｒｉｄ　ａｎｄ　ＣＲＦ　Ｌｅｉ　Ｃｈｅｎ￣，Ｍｉａｏ上‘Ｊｉａｎ　Ｚｈａｎｇ，ＷｅｉｈｕｉＺｅｎｇ　Ｉｎｓｔｉｔｕｔｅ　ｏｆＩｎｔｅｌｌｉｇｅｎｔ　Ｍａｃｈｉｎｅｓ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｈｅｆｅｉ　２３００３　１，Ｃｈｉｎａ　Ｅｍａｉｌ：ａｌａｎ．ｃ１＠１６３．ｃｏｍ　Ａｂｓｔｒａｃｔ　Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａ　ｄｏｕｂｌｅ－ｌａｙｅｒ　ｍｏｄｅｌ　ｏｆ　Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　Ｌｏｃａｌ　Ａｍｂｉｇｕｉｔｙ　Ｗｏｒｄ　Ｇｒｉｄ　ｎｄ　Ｃｏｎｄｉａｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ．Ｆｉｒｓｔｌｙ，ｔｈｅ　Ｌｏｃａｌ　Ａｍｂｉｇｕｉｔｙ　Ｗｏｒｄ　Ｇｒｉｄ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｕｓｅｄ　ｔｏ　ｇｅｎｅｒａｔｅ　ｒｏｕｇｈ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｉｎ　ｔｈｅ　ｌｏｗｅｒ　ｌｅｖｅ１．Ｔｈｅｎ，ｔｈｅ　ｔｅｘｔ　ｉｓ　ｓｅｇｍｅｎｔｅｄ　ａｇａｉｎ　ｂａｓｅｄ　ｏｎ　ＣＲＦ，ｗｈｅｒｅ　ｔｈｅ　ｒｏｕｇｈ　ｒｅｓｕｌｔｓ　ａｒｅ　ｓｅｔ　ａｓ　ｏｎｅ　ｆｅａｔｕｒｅ．Ｔｈｅ　Ｌｏｃａｌ　Ａｍｂｉｇｕｉｙ　Ｗｏｒｄ　Ｇｒｉｔｄ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｔｈｅ　ａｄｖａｎｔａｇｅ　ｏｆ　ｄｅｔｅｃｔｉｎｇ　ａｍｂｉｇｕｉｙ　ｆｔｒｏｍ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ，ｗｈｉｌｅ　ＣＲＦ　Ｃａｎ　ｃｏｐｅ　ｗｉｔｈ　ｖｏｃａｂｕｌａｒｙ　ａｎｄ　ｏｕｔ—ｏｆ－ｖｏｃａｂｕｌａｒｙ　ｗｏｒｄ　ｅｑｕａｌｌｙ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅ　ｈｙｂｒｉｄ　Ｌｏｃａｌ　Ａｍｂｉｇｕｉｙ　Ｗｏｒｄ　Ｇｒｉｔｄ　ａｎｄ　ＣＲＦ　ａｐｐｒｏａｃｈ　ｉｓ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅ　ｒｅｓｏｌｕｔｉｏｎ　ｆｏｒ　ｔｈｅ　ａｍｂｉｇｕｉｔｙ　ａｎｄ　ｏｕｔ－ｏｆ－ｖｏｃａｂｕｌａｒｙ　ｗｏｒｄ．Ｔｈｅ　ｓｙｓｔｅｍ　ｉｓ　ｃｌｏｓｅｄ　ｔｅｓｔｅｄ　ｉｎ　ｔｈｅ　ＭＳＲＡ　ａｎｄ　ＰＫＵ　ｔｅｓｔｉｎｇ　ｓｅｔｓ　ｔｈａｔ　ａｒｅ　ｐｒｏｖｉｄｅｄ　ｂｙ　ｔｈｅ　ＳＩＧＨＡＮ２００５　Ｃｈｉｎｅｓｅ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｂａｋｅｏｆｆ，ａｌｏｎｇ　ｗｉｔｈ　ｔｈｅ　ｃｏｍｐａｒｉｓｏｎ　ｂｅｔｗｅｅｎ　ｆｏｕｒ　ｃｈａｒａｃｔｅｒｓ　ａｎｄ　ｓｉｘ　ｃｈａｒａｃｔｅｒｓ　ｉｎ　ａ　ｓｅｔ　ｏｆ　ｌａｂｅ１．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　Ｆ－ｍｅａｓｌｅｓ　ｏｆ　ｔｈｅ　ＭＳＲＡ　ａｎｄ　ＰＫＵ　ｔｅｓｔｉｎｇ　ｓｅｔｓ　ｉｎ　ｔｈｅ　ｃｌｏｓｅｄ　ｔｅｓｔ　ｒｅａｃｈ　９７．１％ａｎｄ　９５．１％ｒｅｓｐｅｃｔｉｖｅｌｙ．Ａｄｄｉｔｉｏｎａｌ。ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｏｆ　ｏｐｅｎ　ｔｅｓｔ　ｒｅｖｅａｌ　ｔｈｅ　ｐｒａｃｔｉｃａｌ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｈｅ　ｍｏｄｅ１．ｔ　Ｋｅｙｗｏｒｄｓ：ＬｏｃａｌａｍＵｇｕｉ￣ｗｏｒｄｇｒｉｄ；ＣＲＦ；Ｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ　结合局部歧义词网格与条件随机场的双层分词法术　陈雷　，李淼，张健，曾伟辉　中国科学院合肥物质科学研究院，智能机械研究所，安徽合肥２３００３１　摘要：本文提出了一种结合局部歧义词网格与条件随机场的双层中文分词模型。首先在底层使用局部歧义词网格对文　本进行粗切分，并将切分结果作为一项特征提供给高层的条件随机场模型；然后使用条件随机场模型对文本进行标注分　词。局部歧义词网格方法能够检测分词过程中产生的歧义问题，条件随机场模型能够平衡对待词表词和未登录词。两种　方法的结合能够较好地解决分词中的分词歧义和未登录词问题。本文在国际中文分词评测活动Ｂａｋｅｏｆｆ２００５提供的ＰＫＵ　和ＭＳＲＡ语料上对该双层分词模型进行了系统封闭测试，并进行了四字位标注集与六字位标注集的对比。实验结果的最　佳Ｆ值分别达到了９５．１％和９７．１％，优于单独使用条件随机场的分词效果。此外，开放测试的实验结果表明该模型也具有　一定的实际意义。　关键词：局部歧义词网格；条件随机场；分词　引言　中文分词的准确程度直接影响到相关后续处理（如：自动分类、信息检索等）的正确性，其重要性不言　而喻。我国在中文分词方面进行了多年的研究，并已取得了一定的成绩　】【　。然而，仍存在一些问题需要解　决。长期以来，分词歧义和未登录词问题一直被视为影响分词精度的两大因素。根据黄昌宁、赵海【ｌ】【　对两　届国际分词竞赛（Ｂａｋｅｏｆｆ２００３，Ｂａｋｅｏｆｆ２００５）中八个语料库的统计，由未登录词问题带来的分词精度下降比　分词歧义的影响平均大十倍以上。因此，有效的未登录词识别技术将会显著提升自动分词系统的性能指标。　基金资助：受国家自然科学基金（６１０７００９９）与国家科技支撑计划（２００９ＢＡＨ４１Ｂ０６）支持资助。　一１－　ＷＷＷ．ｉｗｐｕｂ．ｏｒｇ／ｃｓｔ　基于字标注的分词方法由于能够适应这种需求而成为目前的主流中文分词方法。基于字标注的分词方法是将　分词知识的学习转换为汉字序列标注的过程。由于每个字在构造一个特定词语时都占据一个构词位置（字　位），因此可以将分词过程看成字位信息的学习过程。把分词过程视为字标注问题的一个重要优势是，其能　够平衡地看待词表词和未登录词的识别问题，能够获得较高的未登录词识别率。Ｘｕｅ［４］根据汉字在词语中出现　的不同位置将汉字分为四类，然后利用最大熵模型【５Ｊ标记的方法进行切分；Ｐｅｎｇ等人ｌ６ｊ建立了一个基于条件　随机场（Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ，ＣＲＦ）的字标注分词模型，在使用一些常见的特征外还引入了许多领域知　识，提高了分词的性能。　作为目前主流的序列标注模型之一【７ｌＩ８】，本文借助ＣＲＦ进行分词。与上述相关工作不同之处在于：为了　进一步提高基于ＣＲＦ的字标注分词模型的分词性能，本文考虑使用更多或更为恰当的词表特征：同时为了解　决分词过程中产生的歧义问题，本文提出了一种结合局部歧义词网格与ＣＲＦ的双层中文分词模型。该模型首　先在底层使用基于局部歧义词网格的分词算法【９】对文本进行粗切分，该算法能够检测汉语分词过程中产生的　交叉歧义和覆盖歧义【ｍ】【１ｌ】，并将切分结果作为一项特征提供给高层的ＣＲＦ去学习；然后使用基于ＣＲＦ的字　标注方法对文本进行字标注，该算法能够平衡处理分词过程中的词表词和未登录词，且引入的局部歧义词网　格的粗切分结果特征能够对ＣＲＦ的标注起到重要的辅助作用，提高标注精度。本文在Ｂａｋｅｏｆｆ２００５分词语料　上进行了实验，验证了该分词模型的有效性。　１　结合局部歧义词网格和ＣＲＦ的分词　１．１局部歧义词网格的分词方法　汉语分词歧义包括交叉歧义和覆盖歧义，其中交叉歧义占切分歧义现象的９０％以上Ｉ１引，因此处理汉语　分词歧义的重点就是处理交叉歧义。针对汉语分词歧义的这一特点，王显芳、杜利　】提出了一种能够检　测交叉歧义的汉语分词算法。本文在其研究工作的基础上采用局部歧义词网格算法　Ｊ进行汉语的粗切分。针　对汉语分词中的覆盖歧义，使用迭代算法训练覆盖歧义候选词条词典。从而在考虑存在歧义的局部歧义词　网格时，能够将覆盖歧义的处理简化为查询覆盖歧义候选词典。在局部歧义词网格分词算法中检测到的覆　盖歧义采用的是“长词优先”的准则进行处理，能够在局部处理覆盖歧义，从而降低计算量，提高切分准　确率。同时，利用局部歧义词网格算法进行汉语粗切分的结果将作为一项特征提供给ＣＲＦ模型。　１．２条件随机场模型ＣＲＦ　条件随机场模型是一个优秀的序列标注模型，其主要优点之一就是能够加入任意的特征。本文在双层　分词模型的高层使用基于ＣＲＦ的字标注方法对文本中的每个汉字重新进行标注，并把底层的粗切分结果作　为ＣＲＦ的特征之一。该分词方法不但能够充分利用训练集的统计信息和中文的构词特点，而且能够平衡处　理分词过程中词表词和未登录词。　ＣＲＦ是一种在给定输入节点条件下计算输出节点的条件概率的无向图模型，具有表达元素长距离依赖　性和交叠性特征的能力，能方便地在模型中使用领域知识，较好地解决标注偏置等问题。对于一组长度为　的观察序列　＝Ｘ１，　：，．．．，Ｘｎ（代表待标记的汉字序列），输出状态序列Ｙ＝Ｙ　，Ｙ２，．．．，　（代表相应的标记序　列）的概率定义如下：　１————　Ｐ（Ｙ　ｌ　）＝÷ｅｘｐ（ＺＺ３，ｊｆｊ（ｙｊ＿ｌ，ｙＪ，ｘ，『））　Ｌ　ｘ　ｉ　Ｊ　（１）　ｚ　＝∑ｅｘｐ（）－￣∑　（　ｙ　ｌ　ｊ　，Ｘ，ｆ））　（２）　其中Ｙ＝　（　，Ｘ，ｆ）是一个特征函数，该特征函数是对状态转移　一　到　、整个观测序列Ｘ以及当前步　骤ｉ的各方面的一个衡量；特征函数值可以取值为０、１或任意实数。　＝　，．．．，　是通过训练数据对模型进　行训练之后得到的对特征函数的权重。本文使用Ｌ　ＢＦＧＳ算法从样本数据中训练得到特征权重　。ＣＲＦ的解　．２．　ｗｗｗ．ｉｗｐｕｂ．ｏｒｇ／ｃｓｔ　码过程，也就是求解串标注的过程，需要搜索计算该串上的一个最大联合概率，即：　：ａｒｇｍａｘ（ＹＩ　）　（３）　１．３标注集　将分词任务转换为序列标注任务，首先要定义合适的标注集合，标注集合的选择直接影响到分词的性　能。已有的基于ＣＲＦ的字标注分词系统大多使用二字位标注集。　本文的分词系统分别使用四字位和六字位【１　】标注集对汉字序列进行标注。四字位标注集合定义为｛Ｂ，Ｍ，　Ｅ，ｓ｝，其中Ｂ表示汉字出现在一个词的开头，Ｍ表示汉字出现在非词头和词尾的位置，Ｅ表示汉字出现在　词尾，Ｓ表示汉字独立成词。六字位标注集合定义为｛Ｂ，Ｂ２，Ｂ３，Ｍ，Ｅ，Ｓ），其中Ｂ，Ｂ２，Ｂ３分别表示汉字出现　在一个词的前三个位置。　１．４系统实现　本文提出的双层分词模型在底层使用局部歧义词网格的分词方法对文本进行粗切分，并将切分结果作　为一项特征传给高层的ＣＲＦ模型；然后在高层使用基于ＣＲＦ字标注方法对文本中的每个汉字重新进行标　注。两种方法的结合充分利用训练集的统计信息和中文的构词特点，且能够较好地处理汉语分词分词歧义　和未登录词问题。双层分词模型的识别流程如图１所示。　图１双层分词模型流程图　整个流程主要分为两步，以下结合具体的例子进行说明：　模型参数训练：如表１所示，首先从训练语料（如ａ所示）训练提取一元词表和二元词表：然后把训练　语料还原成未分词的原始语料（如ｂ所示），并使用局部歧义词网格分词算法对其进行粗切分；再把切分结　果（如Ｃ所示）和训练语料结合起来进行前期处理（如ｄ所示）；最后把该处理结果和特征模板输入到　ＣＲＦ中提取特征，进行参数训练。　表１　模型参数训练示例　ａ　水平Ｉ训练语料：国际金融市场风云变幻　ｂ　还原后的结果：国际金融市场风云变幻　Ｃ　局部歧义词网格切分后的结果：国际金融市场风云变幻　ｄ　结合ａ、ｃ标注的结果（四标注集）：国ＢＢ际ＥＥ金ＢＢ融ＥＭ市ＢＭ场ＥＥ风ＢＢ云ＭＭ变ＭＭ幻ＥＥ　切分测试语料：如表２所示，先使用局部歧义词网格算法对测试语料（如ｅ所示）进行粗切分，然后对　－３．　ＷＷＷ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ　切分结果（如ｆ所示）进行预处理（如ｇ所示），再使用基于ＣＲＦ的字标注方法对其进行标注，最后经过　后处理得到最终的分词结果（如ｈ所示）。　表２　切分测试语料示例　ｅ　测试语料：扬帆远东做与中国合作的先行　ｆ　局部歧义词网格算法的切分结果：扬帆远东做与中国合作的先行　ｇ　预处理的结果：扬Ｂ帆Ｅ远Ｂ东Ｅ做Ｓ与Ｓ中Ｂ国Ｅ合Ｂ作Ｅ的Ｓ先Ｂ行Ｅ　ｈ　ＣＲＦ标注处理后的结果：扬帆远东做与中国合作的先行　１．５特征模板　使用ＣＲＦ进行标注时，需要针对特定的任务选择合适的特征集合。原则上是选择的特征越多越好，但　是特征过多又会产生冗余信息，反而降低识别精度。借鉴Ｐｅｎｇ等人【６】的工作，并考虑在之后的实验中与其　工作进行对比，本文选择两类特征：基本特征和复合特征，分别说明如下。　（１）基本特征：主要考虑字本身包含的信息、上下文信息以及底层粗切分结果对分词的影响。首先，　字本身包含的信息是必不可少的一类特征，记为Ｃ（ｎ），表示位置ｎ的汉字信息，其中ｎ是表示相对于当前　字位置的整数变量，取值范围为［＿２，２］，０表示当前位置，负、正值分别表示当前位置的前后位置，表明本　文考虑当前字的前两个字和后两个字的信息。其次，底层的粗切分结果包含更多的上下文信息，也是一类　重要的特征，记为Ｔａｇ（ｎ），表示位置ｎ的汉字在底层中的标注结果。　（２）复合特征：在真实的文本中，影响分词的因素往往不只一类，需要考虑多个因素，才能很好地反　映实际情况，　而上下文信息尤为重要。本文通过对基本特征模板进行适当的组合，从而考虑上下文信息。　本文主要采用以下六个复合特征模板：ｃ（一２）ｃ（一１），ｃ（一１）Ｃ（０），ｃ（０）ｃ（１），ｃ（一１）ｃ（１），Ｃ（０）ｃ（２），Ｃ（Ｏ）Ｔａｇ（Ｏ）。　２实验与分析　２．１评测标准与语料　本文实验中使用的语料是第二届国际分词竞赛（Ｂａｋｅｏｆｆ２００５）中的两组语料：　（１）北京大学提供的ＰＫＵ语料：训练集词次数１．ＩＭ，测试集词次数１０４Ｋ。　（２）微软公司提供的ＭＳＲＡ语料：训练集词次数２．３７Ｍ，测试集词次数１０７Ｋ。　按照Ｂａｋｅｏｆｆ的规则，在每组分词语料上分为封闭测试和开放测试：封闭测试只允许从同组的训练语料　中获取知识进行分词；开放测试则不受此约束。本文首先在封闭测试条件下进行了对比实验。此外，为了　进一步验证本文双层分词方法的实际意义，本文还进行了开放测试。　２．２实验结果与分析　本文设计了４组实验（前３个实验为封闭测试，第４个实验为开放测试）：　实验１：单独使用ＣＲＦ的字标注方法进行分词。　实验２：采用局部歧义词网格和基于ＣＲＦ的字标注相结合的方法进行分词。　实验３：分别采用前向最大匹配法和局部歧义词网格对测试语料进行分词。　实验４：使用双层分词模型进行开放测试实验。　通过以上各组实验，来衡量不同种类特征和标注集对分词结果的影响；验证局部歧义词网格与ＣＲＦ相　结合的分词模型优于单独使用ＣＲＦ的分词模型，并与Ｐｅｎｇ等人【６】的工作进行比较；同时把实验２的结果与　该研究相关的分词方法：局部歧义词网格、前向最大匹配算法，进行性能的比较和分析；此外，把开放测　试和封闭测试的结果进行对比，验证本文双层分词模型的实际意义。　实验中使用基于词的Ｆ值（准确率Ｐ和召回率Ｒ的调和平均值：Ｆ＝２Ｐ　（Ｐ＋Ｒ））作为评估标准。　－４－　ＷＷＷ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ　２．２．１　实验１　单独使用ＣＲＦ的字标注分词方法。根据分词语料、特征模板和标注集的不同，该实验进行了八个测　试。在中文分词中，当前字符及其上下文各字符所包含丰富的信息是最重要的特征模板。因此该实验使用６　个字符组合特征模板，记为Ａ１：ｃ（－１），ｃ（０），ｃ（１），Ｃ（一１）Ｃ（０），ｃ（０）Ｃ（１），Ｃ（一１）ｃ（１），对应真实文本中的三字　窗；为了便于比较，该实验也使用１０个字符组合特征模板，记为ＢＩ：Ｃ（－２），Ｃ（一１），Ｃ（０），Ｃ（１），Ｃ（２），ｃ（－２）ｃ（一　１），Ｃ（－１）Ｃ（Ｏ），Ｃ（０）ｃ（１），ｃ（－１）Ｃ（１），Ｃ（０）ｃ（２），对应真实文本中的五字窗。该实验分别使用四字位和六字位标　注集。实验结果如表３所示：　表３　实验结果１（Ｆ值）　２．２．２　实验２　使用局部歧义词网格与ＣＲＦ相结合的分词方法。该实验中的特征模板Ａ２和Ｂ２是在Ａｌ和Ｂ１的基础上　加入了复合特征Ｃ（０）Ｔａｇ（０），即把局部歧义词网格的切分结果作为ＣＲＦ的特征之一。为了与实验１进行对　比，使用的分词语料和标注集均与实验１相同，在该实验中也进行相应的八个测试。实验结果如表４所示　（为便于比较，ＢＯ０５列给出了Ｂａｃｋｏｆｆ２００５的最佳成绩）：　．　表４　实验结果２（Ｆ值）　通过分析实验１和实验２的结果，得出以下结论：六字位标注集能够更详细地标注每个字的词位信息，　具有更强的表达能力；较之于四字位标注集，六字位标注集搭配适当的特征模板，能够获得更佳的分词性　能。虽然五字窗的特征模板Ｂｌ和Ｂ２相ＬＬ－－字窗的特征模板Ａ１和Ａ２包含更多的特征，但是采用前者取得的　分词结果不一定比后者好。原因分析如下：根据黄昌宁、赵海【ｌ儿３】对Ｂａｋｅｏｆｆ２００５训练语料词长的频率分布　统计，ＭＳＲＡ语料中三字及三字以下词的概率为０．９５７７，而四字词与五字词的概率和仅为０．０３３１；ＰＫＵ语　料中三字及三字以下词的概率为Ｏ．９７２１，而四字词与五字词的概率和仅为Ｏ．０２６１。五字窗的特征模板Ｂ　和　Ｂ２为了覆盖真实文本中概率很少的四字词和五字词，采用的分词模型增加了将近９０％的特征信息，致使系　统增加了大量的冗余信息，进而降低了分词精度。　Ｂａｋｅｏｆｆ２００５针对ＰＫＵ语料和ＭＳＲＡ语料的最佳成绩分别是９５．０％和９６．４％。对比实验１和表实验２的　实验结果，可以看出局部歧义词网格和ＣＲＦ相结合的分词系统能够达到更佳的分词精度，优于单独使用基　于ＣＲＦ的字标注方法。实验２取得较好分词结果的原因分析如下：加入的局部歧义词网格分词算法较好地　使用了从训练语料中提取一元词表和二元词表，不但很好地使用了词表知识，而且能够处理汉语分词过程　中产生的交叉歧义和覆盖歧义；与之相结合的ＣＲＦ可以很好地解决中文分词中的未登录词问题，并且由于　局部歧义词网格的分词结果作为ＣＲＦ的一项很重要的特征，相当于在对汉字的标注过程中，更充分地使用　了词表知识，提高了词表词的召回率，进而提高了系统的分词性能。　２．２．３　实验３　分别单独使用前向最大匹配、局部歧义词网格分词算法。本文在局部歧义词网格分词算法中检测到的　－５．　ＷＷＷ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ　覆盖歧义采用的是“长词优先”的准则进行处理。该实验比较前向最大匹配算法与局部歧义词网格算法的　分词效果。实验结果如表５所示：　表５　实验结果３　对比上述三组实验的结果，可以看出本文提出的结合局部歧义词网格和ＣＲＦ的双层分词方法的分词性　能显著高于单独使用前向最大匹配法或局部歧义词网格的分词方法；这是由于前者能够较好地解决分词歧　义和未登录词问题，验证了本文双层分词方法的有效性。单独使用局部歧义词网格分词算法的分词性能只　是略高于单独使用前向最大匹配法的分词方法，这是由于尽管局部歧义词网格能够检测出汉语分词中的覆　盖歧义和交叉歧义，但是还没有充分利用歧义部分的上下文信息以选择歧义部分的最优路径。如上文所　述，交叉歧义占切分歧义现象的９０％以上【ｌ引，处理歧义的重点就是处理交叉歧义，但是本文仅使用了二元　语言模型（二元词表）选择最优路径，对交叉歧义部分上下文信息的利用还不够充分；可以考虑使用更多　的上下文信息来进一步提高局部歧义词网格的分词性能。　２．２．４　实验４　使用与实验２相同的分词模型、训练语料、特征模板、标注集，但使用训练语料外的语料进行开放测　试。为了保证训练语料和测试语料对应相同的分词标准，开放测试语料分别使用北大人民日报分词语料　１９９８年２月份的前５０００句和ｂａｋｅｏｆｆ２００７的ＭＳＲＡ测试语料。实验结果如表６所示：　表６　实验结果４（Ｆ值）　对比实验２和实验４的结果可以看到，在训练语料和训练方法都相同的情况下，由于开放测试使用训练　语料外的语料进行测试，其分词性能低于封闭测试，但差异很小，表明本文提出的双层分词模型具有一定　的实际意义。　此外，将本文提出的结合局部歧义词网格和ＣＲＦ的双层分词模型与Ｐｅｎｇ等人【６】的分词模型进行对比分　析。相同点是两个分词系统都采用字标注的分词方法，均以ＣＲＦ作为学习模型，且都使用了词表特征；而　区别在于本文的双层分词模型使用了更大的字位标注集以及更多的特征函数。一方面，Ｐｅｎｇ等人【６】的分词　模型仅使用了二字位标注集：ＳＴＡＲＴ（词首）和Ｎｏｔ—ＳＴＡＲＴ（非词首）：而本文系统分别使用了四字位标　注集｛Ｂ，Ｍ，Ｅ，ｓ｝和六字位标注集｛Ｂ，Ｂ２，Ｂ３，Ｍ，Ｅ，ｓ｝，实验结果表明，较之于其他标注集，六字位标注集搭　配适当的特征模板，能够获得更好的性能。另一方面，在ＣＲＦ学习中，用于表达语言特性的特征函数起核　心作用。Ｐｅｎｇ等人【６１的分词模型把词表应用于特征函数中，其分词模型的特征模板为：ｃ（一２），ｃ（一１），ｃｏ），　Ｃ（２），Ｃ（－２）Ｃ（－１），Ｃ（－１）Ｃ（０），ｃ（ｏ）ｃｏ），Ｃ（－１）Ｃ（０）Ｃ（－１），考虑了当前词前后两个位置的上下文信息。本文的双　层分词模型的特征模板，不仅考虑了当前词前后两个位置的上下文信息，还把底层局部歧义词网格的分词　结果作为ＣＲＦ的一项特征信息，即实验２中的Ｃ（０）Ｔａｇ（０），更好地利用了词表特征，较好地解决了汉语分　词中的未登录词和分词歧义问题，取得了更好的分词性能。　３　结束语　本文针对中文分词中存在的分词歧义和未登录词识别问题，提出了一种结合局部歧义词网格与ＣＲＦ的　．６．　ＷＷＷ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ　双层中文分词模型。首先在底层该模型从训练语料中提取一元词表和二元词表，使用局部歧义词网格分词　算法对文本进行粗切分。该算法能够检测汉语分词过程中的覆盖歧义和交叉歧义，对于覆盖歧义采取“长　词优先”的准则，而对于交叉歧义则使用二元词表选择最优的切分路径，并把底层的切分结果传给高层。　然后，在高层使用基于ＣＲＦ的字标注方法对文本中的汉字重新进行标注，并把局部歧义词网格的切分结果　作为ＣＲＦ的特征之一，更好地利用了词表特征，该算法能够平衡地处理分词过程中的词表词和未登录词，　有效地提高了分词的性能。此外，分别采用四字位标注集与六字位标注集的对比实验表明，六字位标注集　能够更详细地标注每个字的词位信息，具有更强的表达能力；较之于四字位标注集，六字位标注集搭配适　当的特征模板，能够获得更佳的分词性能。通过实验表明，分词的Ｆ值分别达到了９５．１％和９７．１％，优于单　独使用条件随机场的分词效果。同时在开放测试的实验结果表明该模型也具有一定的实际意义。　本文提出的双层分词模型还存在有待改进之处。可分为以下几点：　（１）在语言模型的选择上还有待改进。由于底层的局部歧义词网格分词算法检测出交叉歧义后，仅仅　使用二元语言模型来选择最优切分路径，导致对交叉歧义部分上下文信息的利用不充分。下一步工作考虑　使用三元或三元以上的词表计算判断局部歧义词网格的最优路径，来进一步提高系统的分词性能。　（２）在ＣＲＦ模型与其他模型的结合上还有待进一步研究。在ＣＲＦ模型用于汉语分词进一步研究上，　也考虑将一些ｓｔａｔｅ．ｏｆ－ｔｈｅ．ａｒｔ分词模型与之进行融合。　（３）在分词的效率上还有待提高。李寿山、黄居仁【１　５Ｊ提出了一种基于词边界分类的中文分词方法。该　方法不同于目前主流的基于字标注的分词方法，而是直接对字符与字符之间的边界进行分类，判断其是否　为两个词之间的边界，从而达到分词的目的。该方法在时间效率上的改进也值得在下一步工作中进行借　鉴。　致谢　对审稿人员提出的中肯建议与意见，作者在此表示由衷的感谢。　ＲＥＦＥＲＥＮＣＥＳ　［１】黄昌宁，赵海．中文分词十年回顾［Ｊ】．中文信息学报，２００７，２ｌ（３）：８－２０　【２】付英英，孙济庆．近五年我国中文分词研究论文计量分析【Ｊ】．现代情报，２００９，２９（１　１）：１６１－１６６　【３】黄昌宁，赵海．由字构词——中文分词新方法［Ｃ】．中国中文信息学会二十五周年学术会议，２００６：５３—６３　［４　Ｎｉ４］ａｎｗｅｎ　Ｘｕｅ．Ｃｈｉｎｅｓｅ　Ｗｏｒｄ　Ｓｅｇｍｅｎｔ￣ｉｏｎ　ａｓ　Ｃｈａｒａｃｔｅｒ　Ｔａｇｇｉｎｇ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ　ａｎｄ　Ｃｈｉｎｅｓｅ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，　２００３，８（１）：２９－４８　【５】Ａｎｄｒｅｗ　ＭｃＣａｌｌｕｍ，Ｄａｙｎｅ　Ｆｒｅｉｔａｇ，Ｆｅｒｎａｎｄｏ　Ｃ．Ｎ．Ｐｅｒｅｉｒａ．Ｍａｘｉｍｕｍ　Ｅｎｔｒｏｐｙ　Ｍａｒｋｏｖ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｘｔｒａｃｔｉｏｎ　ａｎｄ　Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］．ＩＣＭＬ，２０００：５９１－５９８　［６　Ｆｕｃｈｕｎ　Ｐｅｎｇ，Ｆａｎｇｆ６］ａｎｇ　Ｆｅｎｇ，Ａｎｄｒｅｗ　ＭｃＣａｌｌｕｍ．Ｃｈｉｎｅｓｅ　Ｓｅｇｒｎｅｎｔ￣ｉｏｎ　ａｎｄ　Ｎｅｗ　Ｗｏｒｄ　Ｄｅｔｅｃｔｉｏｎ　Ｕｓｉｎｇ　Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ［Ｃ１．ＣＯＬＩＮＧ，２００４：５６２－５６８　【７】Ｊｏｈｎ　Ｄ．Ｌａｆｆｅｒｔｙ，Ａｎｄｒｅｗ　ＭｃＣａｌｌｕｍ，Ｆｅｒｎａｎｄｏ　Ｃ．Ｎ．Ｐｅｒｅｉｒａ．Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｓｅｇｍｅｎｔｉｎｇ　ａｎｄ　Ｌａｂｅｌｉｎｇ　Ｓｅｑｕｅｎｃｅ　Ｄａｔａ［Ｃ１．ＩＣＭＬ，２００１：２８２・２８９　【８】Ｈａｉ　Ｚｈａｏ，Ｃｈａｎｇｎｉｎｇ　Ｈｕａｎｇ，Ｍｕ－Ｌｉ．Ａｎ　Ｉｍｐｒｏｖｅｄ　Ｃｈｉｎｅｓｅ　Ｗｏｒｄ　Ｓｅｇｍｅｎｔ￣ｉｏｎ　Ｓｙｓｔｅｍ　ｗｉｔｈ　Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄ［Ｃ］．　ＳＩＧＨＡＮ，２００６：１６２．１６５　［９】张国兵，李淼．一种基于局部歧义词网格的快速分词算法【Ｊ］．计算机工程与应用，２００８，４４（１２）：１７５．１８５　【１０】孙茂松，邹嘉彦．汉语自动分词研究评述【Ｊ］．当代语言学，２００１，３（１）：２２－３２　【ｌ１】李玉梅，陈晓，姜自霞，等．分词规范亟需补充的三方面内容［Ｊ】．中文信息学报，２００７，２ｌ（５）：３－７　［１２】乔维，孙茂松．汉语交集型歧义切分字段关于专业领域的统计特性【Ｊ】．中文信息学报，２００８，２２（４）：１０．１８　【１３】王显芳，杜利民．一种能够检测所有交叉歧义的汉语分词算法【Ｊ】．电子学报，２００４，ｌ（１）：５０．５４　．７－　ｗｗｗ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ　【ｌ４】赵海，揭春雨．基于有效子串标注的中文分词【Ｊ】．中文信息学报，２００７，２ｌ（５）：８－１３　【ｌ５】李寿山，黄居仁．基于词边界分类的中文分词方法【Ｊ】．中文信息学报，２０１０，２４（１）：３－７　【作者简介】　陈雷（１９８１一），男，汉，博士，　李淼（１９５５　），女，汉，学士，研究员，研究方向　助理研究员，研究方向为人工智　能与自然语言处理。　Ｅｍａｉｌ：ａｌａｎ．ｃｌ＠１６３．ｔｏｍ　为人工智能。Ｅｍａｉｌ：ｍｌｉ＠ｉｉｍ．ａｃ．ｃｎ　张健（１９５４．），男，汉，学士，研究员，研究方向　为计算数学。Ｅｍａｉｌ：ｊｚｈａｎｇ＠ｉｉｍ．ａｃ．ｃｒｌ　曾伟辉（１９８２．），女，汉，硕士，助理研究员，研　究方向为信息检索。Ｅｍａｉｌ：ｗｈｚｅｎｇ＠ｍａｉｌ．ｕｓｔｃ．ｅｄｕ．ｃｎ　．８．　ｗｗｗ．ｉｖｙｐｕｂ．ｏｒｇ／ｃｓｔ