舆论摘要:一种鉴于统计的华语多义词排歧本领
词义务消防队歧(Word Sense Disambiguation,,WSD)是计划谈话学和天然谈话处置范围一个要害的接洽课题。词义务消防队歧(WSD)是一项“中央工作”,对于天然谈话处置中的很多运用范围具备要害的表面和试验意旨,囊括呆板翻译、消息检索、句法领会、语音合成等,该题目处置的是非将径直联系到那些运用题目的功效是非。 正文主假如在接洽获得扶助词义务消防队歧常识的本领普通上,创造了一个面向华语如实文本中虚词的词义务消防队歧体例。舆论重要从以次几个上面作了中心接洽和革新: 开始,对国表里WSD接洽近况举行了引见,中心说领会本课题接洽的东西及手段。舆论重要着眼于对华语如实文本中虚词(囊括动词、动词和刻画词)的词义务消防队歧。 其次,领会了华语歧异词的特性。贯串本课题实行目的,由《IR_Lab分门别类辞书》和《新颖华语辞海》中供给的消息,建立了义项引导词词表,并安排了动静词表、新搭配词词表和挑选词表。 安排并实行华语多义词WSD体例.。消歧模子重要囊括两大模块的实行:自进修模块和排歧模块。自进修模块主假如经过鉴于用语一致度和鉴于互消息的本领进修演练语言材料中的新搭配用语,充分排歧须要的用语资源。排歧模块的安排为两级构造:义项引导词排歧和确凿度排歧。义项引导词排歧的安排是一种鉴于分门别类辞书的安排,确凿度排歧主假如运用多义词窗口用语的牵制消息,经过确凿度公式计划多义词各个义项的确凿度,确凿度排歧的安排是鉴于统计的本领,多义词排歧体例的安排是一种鉴于分门别类辞书和鉴于统计相贯串的本领,体例具备很好的自进修本领,两种排歧本领的贯串辨别符合了歧异词地方的“强”和“弱”窗口左右文情况,两级排歧模子的安排使排歧的掩盖面增大。 结果,以北京大学计划谈话接洽所供给的1998年1月份《群众晚报》和哈尔滨产业大学消息检索试验室供给的规范演练语言材料动作演练语言材料,给出及个范例来证明和考证本体例的词义务消防队歧进程。 要害词:天然谈话处置,词义务消防队歧,一致度,熵,平衡互消息,确凿度