基于WordNet的英语词语相似度计算

基于WordNet的英语词语相似度计算 颜伟 荀恩东 北京语言大学 语言信息处理研究所 北京 100083 E-mail: {yanwei,edxun}@blcu.edu.cn摘要：本文主要介绍一种基于WordNet的英语词语相似度的实现方法，我们从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度，我们的向量包括三方面：(1)WordNet的同义词词集（Synset）(2) 类属信息（Class） (3)意义解释（Sense explanation）。实验结果表明这是计算英语词语相似度的一种可行的方法。 关键词：WordNet，词语相似度 English Word Similarity Calculation Based on WordNet Yan Wei Xun Endong Language Information Processing Center Beijing Language and Culture University Beijing 100083 E-main: {yanwei,edxun}@blcu.edu.cnAbstract: In our approach, English WordNet is used as the general synonym resource. The algorithm extracts synonym and use vector based method to calculate the English word similarity. The vector includes three kinds of information.(1)WordNet synonym. (2) Class. (3)Sense explanation. It is a feasible way to calculate the similarity of the English words in the experiments. Keywords: WordNet, word similarity 1 引言 随着自然语言处理技术的发展，语义研究，特别是词汇语义研究，成为目前自然语言处理领域的热点和前沿课题。本文介绍一种基于WordNet英语词语相似度计算的实现方法，希望能对英语词语间语义关系进行一些数量化研究。同时也希望能对中文信息处理及双语翻译提供一些方法和借鉴。 词语距离的计算方法大体上可以分成两类：一类是根据某种世界知识（ontology）来计算，主要是基于按照概念间结构层次关系组织的语义词典的方法，根据在这类语言学资源中概念之间的上下位关系和同位关系来计算词语的相似度。在这方面，许多学者已经基于WordNet做了大量的工作。另一类方法利用大规模的语料进行统计，这种基于统计的方法，主要将上下文信息的概率分布作为词汇语义相似度的参照。第一类方法建立在两个词汇具有一定的语义相关性当且仅当它们在概念间的结构层次网络图中存在一条通路这样
的假设的基础上。第二类方法建立在两个词汇具有某种程度的语义相似当且仅当它们出现在相同的上下文中这个假设的基础上。 基于语义词典的方法通常依赖于比较完备的大型语义词典。一般同义词词典都是将所有的词组织在一棵或几棵树状的层次结构中。我们知道，在一棵树形图中，任何两个结点之间有且只有一条路径。于是，这条路径的长度就可以作为这两个概念的语义距离的一种度量。如Rada R. etc和Lee J.H. etc通过计算在WordNet中词节点之间上下位关系构成的最短路径来计算词语之间的相似度。有些学者考虑的情况更复杂。Resnik,P.根据两个词的公共祖先节点的最大信息量来衡量两个词的语义相似度。Agirre & Rigau (1995)在利用WordNet计算词语的语义相似度时，除了结点间的路径长度外，还考虑到了其他一些因素。例如：概念层次树的深度：路径长度相同的两个结点，如果位于概念层次的越底层，其语义距离较大；概念层次树的区域密度：路径长度相同的两个结点，如果位于概念层次树中高密度区域，其语义距离应大于位于低密度区域的。由于WordNet中概念描述的粗细程度不均，有些领域概念的描述极其详尽，而有些区域的概念描述又比较粗疏，所以加入了概念层次树区域密度对语义距离的影响。基于词典的方法比较直观而且简单有效，但它受人的主观影响比较大有时不能反映客观现实。 基于统计的方法将词汇的上下文信息的概率分布作为词汇语义相似度计算的参照。Lillian Lee利用相关熵，P.Brown etc采用平均互信息来计算词语之间的相似度。基于统计的定量分析方法能够对词汇间的语义相似性进行比较精确和有效的度量。但是，这种方法比较依赖于训练所用的语料库，计算量大，计算方法复杂，另外，受数据稀疏和数据噪声的干扰较大，有时会出现明显的错误。 本文主要介绍一种基于WordNet的词语相似度的实现方法，这主要是一种基于语义词典的方法，我们从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度，。 2 WordNet的特点及其在英语词语相似度计算中的作用 语义分析，作为自然语言处理技术的一个重要方面，它所依赖的语言知识表示中最重要的初始环节就是语义词典。一部能够表达概念关系的语义词典是面向内容信息的自然语言处理工作的一项不可或缺的基础性资源。美国Princeton大学的WordNet就是一个语义词典的非常好的范例。它是在Princeton大学认知科学实验室的G. Miller教授指导下开发的，实际工作始于1985年。作为心理语言学家的实验品，WordNet的最初设计并不是接受计算语言学的影响或直接为自然语言处理服务的。80年代末，语义计算的需要，计算语言学家发现了WordNet并将之应用于自然语言处理中涉及语义分析的诸多领域。WordNet的基本思想简单明确，它的形式化做得很彻底。目前，WordNet已经成为一个事实上的国际标准，从EuroWordNet发展的事实不难看出，WordNet框架的合理性已被词汇语义学界和计算词典学界所公认。 WordNet是一个在线的词汇参照系统，它的独特之处在于它是依据词义而不是依据词形来组织词汇信息。WordNet使用同义词集合（Synset）代表概念（Concept），词汇关系在词语之间体现，语义关系在概念之间体现。WordNet构造的核心是如何表示词汇概念节点，以及在这些概念节点之间建立起各种语义关系。WordNet将英语词汇组织为一个同义词集合(Synset)，每个集合标明一个词汇概念；同时力图在概念间建立不同的指针，表达上下位、同义反义等不同的语义关系。这样就构成了一个比较完整的词汇语义网络系统。经过这样的过程，原本抽象的概念就被形式化了，变得具体而且可以通过词汇意义加以操作，概念之间还可以建立多种语义关系的联系和推理。这是在传统的义素分析法外简单而有效地表达词汇语义的另一种新的方式和途径。 WordNet现在已经发布了2.0版本，本文的实验是基于1.6版本进行的。Version 1.6主要
包括名词、动词、形容词和副词四类实词，虚词不予考察。在上述四类实词中，WordNet着重描写的是名词和动词。WordNet中词汇概念的语义关系主要包括：上下位、同义、反义、整体和部分、蕴含、属性、致使等。WordNet Version 1.6种描写了四类实词99643个概念节点和超过5000000个语义关系，形成了一张庞大的概念语义网络。 3 基于WordNet的英语词语词义相似度计算 3.1：本文的工作目标 我们相似度计算的最终目标是要服务于一个实用的英语信息检索系统。在信息检索中，用户的query一般都很短，我们能获得的信息很少。虽然，在英语中我们根据用户的query一般可以判断出检索词的词性。但对于多义词，我们往往无法判断出用户到底想检索含有哪个义项的文档，比如用户输入“bank”，我们很难判断出用户是想查询关于银行方面的文档还是查询关于河岸方面的文档。在这儿，我们引入相似度计算的方法，目的是为信息检索提供一个以检索词为中心按照相似度从高到低排列的相似词语的集合，根据这个集合我们可以向用户返回检索结果或进行问题扩展。我们的方法区分词语的不同词性，对多义词，我们不区分它的不同义项，只提供一个基于WordNet的相似词语的集合。 在我们的工作方案中，我们首先以WordNet的词汇语义分类作为基础，抽取出其中的同义词，然后采用基于向量空间的方法计算出相似度。工作流程如下： 3.2：基于WordNet的英语词语相似度计算
3.2.1：特征提取 我们利用WordNet提供的接口函数，从WordNet的同义词词集（Synset）、属类词（Class word）和意义解释（Sense explanation）这三个集合中抽取出候选同义词，然后进行特征提取，计算出： )(SWfeature}}{},{},{{)(WeWcWsSWfeature= }{Ws: WordNet中Sense W所有的同义词； }{Wc: Sense W所有的相关的属类； }{We: Sense W的解释中所有的实词。 3.2.2：意义相似度和词语相似度的计算 根据上面对词汇语义特征的描述，两个意义（Sense）之间的相似度可以通过计算其在三个不同的意义特征空间中的距离来得到。距离越小，相似度越大。依据意义相似度我们就可以容易地计算出WordNet中两个词语之间的相似度。 • 意义相似度 ∑∑∑∑∑∈∈∈∈∩∈∩∈∩∈××××+×+×××=),,{,j2),,{,2}{}{2}{}{2}{}{2)()()()()()()(1),(KeKcKsKQjKeKcKsKQiiWejWeiwiWcjWciwiWsjWsiwijivUiiiwIDFKwIDFKwIDFKewIDFKcwIDFsKSWjNoSWiNoSWSWSimilarity 其中： No(SW): W意义的顺序。例如，the first sense =1, the second sense =2…… IDF（）: 从WordNet中训练得到的构建WordNet时出现某个的文档的倒数 iwiwKs=1.5: 同义词特征的权重， Kc=1: 类属特征的权重， Ke=0.5:意义解释的权重， UQ：出现的指标集， iwvQ：出现的指标集 jw • 词语相似度 |2||1|)1,2((max)2,1((max),(|}2|,..,1{|}1|,..,1{|}1|,..,1{|}2|,..,1{21SWSWSWSWSimilaritySWSWSimilarityWWSimilaritySWijiSWjSWijiSWj++=∑∑∈∈∈∈ 其中： |SW1|：W1的sense的个数， |SW2|：W2的sense的个数。
4 实验结果及分析 我们对实验结果进行了人工的评价，评价方法主要是对计算得到的语义相似度的序列和人工的排列结果进行比较，结果表明前述方法的计算结果和人工按照语义相似度的排序结果基本一致。在后续的工作中我们打算把相似度检索结果作为信息检索系统的一个部分，具体考察词语相似度计算对我们工作的贡献。 语义相似度计算，其单个词与中心词语义相似度的具体取值并不重要，那只是统计意义上的一个数值，重要的是这些词汇相对于中心词可以依照语义相似度的取值相互比较，并形成语义相似度由高到低的序列。我们的工作目标是研制一个实用的信息检索系统，语义相似度对于提高信息检索的精确度和召回率都有重要的实用价值。 比如，用户想检索含有“sanctity”的相关文章，但我们的文档中没有这个词，我们就可以依据相似度计算（见表1）结果，在相似词序列中按相似度从高到低的顺序检索出相关文档返回给用户。 表1：sanctity相似词语序列（部分）中心词 相似词 相似度 sanctity holiness 1.000 sanctity sacredness 0.230 sanctity expressiveness 0.199 sanctity insolubility 0.199 sanctity counter factuality 0.194 sanctity constructiveness 0.189 sanctity unpopularity 0.185 sanctity unholiness 0.169 sanctity humanness 0.161 sanctity parental quality 0.161 sanctity particularity 0.161 sanctity inaccuracy 0.158 sanctity ethnicity 0.155 sanctity measurability 0.154 sanctity quantifiability 0.154 sanctity destructiveness 0.151 sanctity nativeness 0.150 sanctitysimpleness 0.149 sanctitywholesomeness 0.148 sanctityunlawfulness 0.148 sanctityincredibility 0.148 sanctityincredibleness 0.148 sanctityworldliness 0.146 sanctityfactuality 0.141 sanctityfactualness 0.141 sanctitypopularity 0.140 sanctitylawfulness 0.139 sanctityunsatisfactoriness 0.139 sanctityfinitude 0.136 sanctityboundedness 0.136 sanctityfiniteness 0.136 sanctitysatisfactoriness 0.135 sanctityordinariness 0.126 sanctitynegativism 0.121 …… ………… …… 我们的方法提供了一个针对某一个中心词的按照相似度从高到低排列的词语的序列，，同时我们可以区分出同一个词不同的词性的相似词语的序列。这一点在英语信息检索中很有价值。用户的query如果是一句话，那么我们就可以根据词语的不同词性进行检索或进行问题扩展。比如，在WordNet中“doctor”有名词和动词两种词性，我们就可以依据不同的词性来选择合适的相似词语序列进行检索或问题扩展。 名词“doctor”： 1. doctor, doc, physician, MD, Dr., medico -- (a licensed medical practitioner; "I felt so bad I went to see my doctor") 2. Doctor of the Church, Doctor -- ((Roman Catholic Church) a title conferred on 33 saints who distinguished themselves through the othodoxy of their theological teaching; "the Doctors of
the Church greatly influenced Christian thought down to the late Middle Ages") 3. doctor -- (children take the roles of doctor or patient or nurse and pretend they are at the doctor‘s office; "the children explored each other‘s bodies by playing the game of doctor") 4. doctor, Dr. -- (a person who holds Ph.D. degree from an academic institution; "she is a doctor of philosophy in physics") 表2：doctor（名词）相似词语序列（部分） 中心词 相似词 相似度 模式 doctor doc 0.400 <N N> doctor physician 0.400 <N N> doctor medical practitioner 0.270 <N N> doctor medical man 0.270 <N N> doctor Doctor 0.250 <N N> doctor health professional 0.223 <N N> doctor health care provider 0.223 <N N> doctor medical specialist 0.209 <N N> doctor caregiver 0.186 <N N> doctor professional person 0.150 <N N> doctor professional 0.107 <N N> doctor grownup 0.099 <N N> doctor adult 0.083 <N N> doctor sawbones 0.081 <N N> doctor operating surgeon 0.081 <N N> doctor surgeon 0.081 <N N> doctor psychoanalyst 0.077 <N N> doctor alienist 0.077 <N N> doctor horse doctor 0.076 <N N> doctor pathologist 0.075 <N N> doctor diagnostician 0.075 <N N> doctor brain doctor 0.074 <N N> doctor neurologist 0.074 <N N> …… ………… …… …… （其中“模式”表示的是中心词和相似词的词性） 动词“doctor”： 1：sophisticate, doctor, doctor up -- (alter and make impure, as with the intention to deceive; "Sophisticate rose water with geraniol") => adulterate, stretch, dilute, debase -- (corrupt, debase, or make impure by adding a foreign or inferior substance; often by replacing valuable ingredients with inferior ones; "adulterate liquor") 2：doctor -- (give medical treatment to)=> treat, care for -- (provide treatment for; "The doctor treated my broken leg"; "The nurses cared for the bomb victims"; "The patient must be treated right away or she will die"; "Treat the infection with antibiotics") 3：repair, mend, fix, bushel, doctor, furbish up, restore, touch on -- (restore by replacing a part or putting together what is torn or broken; "She repaired her TV set"; "Repair my shoes please")=> better, improve, amend, ameliorate, meliorate -- (to make better; "The editor improved the
manuscript with his changes" 表3：doctor（动词）相似词语序列（部分） 中心词 相似词 相似度 模式 doctor doctor up 0.500 <V V> doctor adulterate 0.400 <V V> doctor Doctor 0.333 <V V> doctor adulterate 0.065 <V A> doctor sophisticate 0.047 <V V> doctor furbish up 0.040 <V V> doctor bushel 0.040 <V V> doctor repair 0.040 <V V> doctor sophisticate 0.040 <V N> doctor mend 0.032 <V V> doctor Dr. 0.032 <V N> doctor darn 0.031 <V V> doctor trouble-shoot 0.031 <V V> doctor sole 0.028 <V V> doctor reheel 0.028 <V V> doctor repoint 0.028 <V V> doctor resole 0.028 <V V> doctor revamp 0.027 <V V> doctor patch up 0.023 <V V> doctor restore 0.017 <V V> doctor fix 0.012 <V V> …… ………… …… …… （其中“模式”表示的是中心词和相似词的词性） 5 结论 对于自然语言处理，语义分析面临的首要任务就是词汇间语义关系的数量化，即选择合适的方法和模型来描述语义关系。作为一个初步的研究，将词汇间的种种关系，映射为一个表示词语相似程度的数值，并以这一数值来产生词语相似性的排列序列，以简化词汇语义间复杂的难以把握的语义关系，是研究语义关系的一个切入点。作为汉语信息处理研究，我们可以从英语自然语言处理中借鉴许多有益的方法和手段。汉语语义分析，归根结底依赖于一个大型词汇概念网络的建立，依赖于语言知识的注入。在目前汉语语义分析领域，我们还没有这样一个词汇概念网络。同时，我们在进行这样一个词汇概念网络的设计时应该考虑到应用领域、处理的颗粒度等许多实际的问题，这样我们的设计结果和人力物力的投入才会是有意义的。 参 考 文 献 [1] George A. Miller, Richard Beckwith, Christiane Fellbaum, Derek Gross, and Katherine Miller. Introduction to WordNet: An On-line Lexical Database[EB], Cognitive Science Laboratory Princeton University, 1993, 8. [2] Rada R. etc Development and application of a metric on semantic nets. IEEE Transactions on System, Man and
Cybernetics, 1989 [3] Lee J.H. etc Information Retrieval based on conceptual distance in ISA hierarchies’, Journal of Documentation,1993(49) [4] Agirre E. and Rigau G. (1995), A proposal for word sense disambiguation using conceptual distance, in International Conference "Recent Advances in Natural Language Processing" RANLP‘95, Tzigov Chark, Bulgaria,. [5] P.Brown etc Word sense disambiguation using tactical methods. In Proceedings of 29th Meeting of the Association for Computational Linguistics (ACL-91) ,1991 [6] Lillian Lee Similarity-Based Approaches to Natural Language Processing Ph.D. thesis. Harvard University Technical Report TR-11-97. [7] 于江生，俞士汶 中文概念词典的结构 中文信息学报 2002(4). [8] 胡俊峰，俞士汶 唐宋诗中词汇语义相似度的统计分析及应用 中文信息学报 2002(4). [9] 关毅，王晓龙 基于统计的汉语词汇间语义相似度计算 语言计算与基于内容的文本处理 清华大学出版社 2003.8 [10] 刘群，李素建 基于《知网》的词汇语义相似度计算，第三届汉语词汇语义学研讨会，2002.5.