分享

人工智能难点之——自然语言处理(NLP)

 万皇之皇 2018-01-02

如果单从NLP字母缩写包含很多意思:

  • 有数学的非线性规划(Non-linear programming)

  • 医学的无光感(No light perception)

  • 心理学的 神经语音规划 (Neuro-linguistic programming)

  • 计算机科学与语言学转换的领域(natural language processing)

这里指的是计算机科学与语言学转换的领域。(NLP)是人工智能和语言学领域的分支学科。(人工智能主要包含以下几个方面: 自动推理-计算语言学-计算机视觉-进化计算-专家系统-自然语言处理-机器人学自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。NLP的应用无处不在,因为人们用语言进行大部分沟通:网络搜索,广告,电子邮件,客户服务,语言翻译,发布学报告等等。NLP应用背后有大量的基础任务和机器学习模型。

人工智能难点之——自然语言处理(NLP)

什么是自然语言处理

NLP是计算机以一种聪明而有用的方式分析,理解和从人类语言中获取意义的一种方式。通过利用NLP,开发者可以组织和构建知识来执行自动摘要,翻译,命名实体识别,关系提取,情感分析,语音识别和话题分割等任务。

人工智能难点之——自然语言处理(NLP)

自然语言处理如何工作

目前NLP的方法是基于深度学习,这是一种AI,它检查和使用数据中的模式来改善程序的理解。深度学习模型需要大量的标记数据来训练和识别相关的相关性,汇集这种大数据集是当前NLP的主要障碍之一。早期的NLP方法涉及更基于规则的方法,在这种方法中,简单的机器学习算法被告知要在文本中查找哪些单词和短语,并在这些短语出现时给出特定的响应。但深度学习是一个更灵活,直观的方法,在这个方法中,算法学会从许多例子中识别说话者的意图,就像孩子如何学习人类语言一样。

人工智能难点之——自然语言处理(NLP)

自然语言应用

NLP算法通常基于机器学习算法。NLP可以依靠机器学习来自动学习这些规则,而不是手工编码大量的规则集,通过分析一系列的例子(如,一个大的数据库,像一本书,直到一堆句子的集合),并且做一个静态的推论。一般来说,分析的数据越多,模型越精确。社交媒体分析是NLP使用的一个很好的例子。品牌在线跟踪对话以了解客户的意见,并洞悉用户行为。

人工智能难点之——自然语言处理(NLP)

开源的NLP库

  1. Apache OpenNLP:一种机器学习工具包,提供标记器,句子分段,词性标注,命名实体提取,分块,解析,共参考解析等等。

  2. 自然语言工具包(NLTK):提供用于处理文本,分类,标记化,词法分析,标记,解析等模块的Python库。

  3. 斯坦福的NLP:一套NLP工具,提供词性标注,命名实体识别器,共识解析系统,情感分析等等。

人工智能难点之——自然语言处理(NLP)

视频资料查找

  1. 斯坦福大学NLP - Dan Jurafsky&Chris Manning教授

  2. 自然语言处理 - 密歇根大学 (IIT Bombay计算机科学与工程系Pushpak Bhattacharyya教授的自然语言处理)

  3. 自然语言理解:基础和艺术 西蒙斯学院

  4. 自然语言处理导论 - 剑桥编码学院

人工智能难点之——自然语言处理(NLP)

处理的主要范畴

  1. 文本朗读(Text to speech)/语音合成(Speech synthesis)

  2. 语音识别(Speech recognition)

  3. 中文自动分词(Chinese word segmentation)

  4. 词性标注(Part-of-speech tagging)

  5. 句法分析(Parsing)

  6. 自然语言生成(Natural language generation)

  7. 文本分类(Text categorization)

  8. 信息检索(Information retrieval)

  9. 信息抽取(Information extraction)

  10. 文字校对(Text-proofing)

  11. 问答系统(Question answering)

  12. 机器翻译(Machine translation)

  13. 自动摘要(Automatic summarization)

  14. 文字蕴涵(Textual entailment)

人工智能难点之——自然语言处理(NLP)

使用NLP构建您自己的RSS阅读器

可以使用以下算法在30分钟内构建机器学习RSS阅读器:

  1. ScrapeRSS从RSS提要中获取标题和内容;

  2. Html2Text保留重要的文本,但从文档中去除所有的HTML;

  3. AutoTag使用潜在的Dirichlet分配来识别文本中的相关关键字;

  4. 情感分析然后用来确定文章是积极的,消极的还是中立的;

  5. Summarizer终于被用来识别关键句子。

本文参考资料

  • Wikipedia

  • The Stanford NLP Group

  • Coursera

  • Matt Kiser

  • Margaret Rouse

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多