产品分类
利川山江农业有限公司
地址:中国 湖北 利川市 汪营镇齐跃桥村11组
电话:0718 7104088
传真:0718 7218038
网址:http://www.918.com
同乐城娱乐注册送18您当前的位置: > 同乐城娱乐注册送18 >
从语言学到深度进修NLP,一文概述天然言语处置
点击: ,时间:2017-10-05 00:02

从言语学到深度学习NLP,一文概述自然言语处理

原题目:从言语学到深度学习NLP,一文概述自然言语处理

选自arXiv

机器之心编译

参加:李亚洲、蒋思源

本文从两篇论文动身先扼要介绍了自然言语处理的基天职类和根本概念,再向读者展现了深度学习中的 NLP。这两篇论文都是很好的综述性入门论文,盼望详细懂得自然言语处理的读者可以进一步浏览这两篇论文。


本文第一部分介绍了自然言语处理的基本概念,作者将 NLP 分为自然言语理解和自然言语生成,并说明了 NLP 进程的各个层级和应用,这一篇论文很合适读者系统的了解 NLP 的基本概念。


第二部分描述的是基于深度学习的 NLP,该论文起首描述了深度学习中的词表征,即从 one-hot 编码、词袋模型到词嵌入和 word2vec 等,我们首先须要数字表征词汇才干进一步做自然言语处理。随后,本论文先容了各种应用于 NLP 的模型,包含卷积神经网络、循环神经网络、是非期记忆和门控轮回神经网络等,这一些模型加上其它如留神力机制那样的技能就能完成非常强盛的才能,如机器翻译、问答系统和感情分析等。


概念基础


论文地址:https://arxiv.org/abs/1708.05148

天然言语处置(NLP)迩来由于人类言语的盘算表征和剖析而取得越来越多的存眷。它曾经运用于很多如机械翻译、渣滓邮件检测、信息提取、主动摘要、医疗和问答体系等范畴。本论文从汗青和开展的角度探讨分歧档次的 NLP 和做作言语生成(NLG)的不同局部,以浮现 NLP 应用的各种最新技巧和以后的趋向与挑衅。

1 媒介

自然言语处理(NLP)是人工智能和言语学的一部分,它努力于使用计算机理解人类言语中的句子或词语。NLP 以下降用户任务量并满意使用自然言语停止人机交互的欲望为目标。因为用户可能不熟习机器言语,所以 NLP 就能辅助如许的用户使用自然言语和机器交换。

言语能够被界说为一组规矩或符号。咱们会组合符号并用来传递信息或播送信息。NLP 基础上可以分为两个部门,即天然言语懂得和自然言语生成,它们演变为理解和生成文本的任务(图 1)。


图 1:NLP 的粗分类

言语学是言语的迷信,它包括代表声响的音系学(Phonology)、代表构词法的词态学(Morphology)、代表语句结构的句法学(Syntax)、代表理解的语义句法学(Semantics syntax)和语用学(Pragmatics)。

NLP 的研究任务如自动摘要、指代消解(Co-Reference Resolution)、语篇分析、机器翻译、语素切分(Morphological Segmentation)、命名实体识别、光学字符识别和词性标注等。自动摘要即对一组文本的详细信息以一种特定的格局生成一个摘要。指代消解指的是用句子或更大的一组文本肯定哪些词指代的是雷同对象。语篇分析指识别衔接文本的语篇构造,而机器翻译则指两种或多种言语之间的自动翻译。词素切分表现将词汇宰割为词素,并识别词素的类别。命名实体识别(NER)描述了一串文本,并断定哪一个名词指代专著名词。光学字符识别(OCR)给出了打印版文档(如 PDF)旁边的文字信息。词性标注描述了一个句子及其每个单词的词性。固然这些 NLP 任务看起来彼此不同,但实践上它们常常多个任务协同处理。

2 NLP 的层级

言语的层级是抒发 NLP 的最具解释性的方法,能经过完成内容规划(Content Planning)、语句计划(Sentence Planning)与表层完成(Surface Realization)三个阶段,赞助 NLP 生成文本(图 2)。


图 2:NLP 架构的阶段

言语学是波及到言语、语境和各种言语情势的学科。与 NLP 相关的重要术语包括:

  • 音系学

  • 状态学

  • 词汇学

  • 句法学

  • 语义学

  • 语篇分析

  • 语用学

3 自然言语生成

NLG 是从内涵表征生成有含意的短语、句子和段落的处理过程。它是 NLP 的一部分,包括四个阶段:确定目的、经过场景评价规划若何完成目标、可用的对话源、把规划完成为文本,如下图 3。生成与理解是相反的过程。


图 3:NLG 的组件

6 NLP 的应用

NLP 可被他应用于各种领域,例如机器翻译、渣滓邮件检测、信息提取等。在这一部分,该论文对以下 NLP 的应用停止了介绍:

  • 机器翻译

  • 文本分类

  • 渣滓邮件过滤

  • 信息提取

  • 自动摘要

  • 对话系统

  • 医疗

深度学习中的 NLP

以上内容对 NLP 停止了基本的介绍,但疏忽了近年来深度学习在 NLP 领域的应用,因而我们弥补了北京理工年夜学的一篇论文。该论文回顾了 NLP 之中的深度学习重要模型与方法,好比卷积神经网络、循环神经网络、递归神经网络;同时还讨论了记忆加强战略、注意力机制以及无监视模型、强化学习模型、深度生成模型在言语相关任务上的应用;最后还讨论了深度学习的各种框架,以期从深度学习的角度片面概述 NLP 开展现状,同乐城娱乐

现在,深度学习架构、算法在计算机视觉、形式识别领域曾经获得惊人的停顿。在这种趋向之下,近期基于深度学习新方法的 NLP 研讨有了极大增加。


图4:2012 年-2017 年,在 ACL、EMNLP、EACL、NAACL 会议上出现的深度学习论文数量增长趋向。

十多少年来,处理 NLP 成绩的机器学习方法都是基于浅层模型,例如 SVM 和 logistic 回归,其训练是在十分高维、稀少的特征长进行的。在过去几年,基于密集向量表征的神经网络在多种 NLP 任务上都发生了优良结果。这一趋向由词嵌入与深度学习方法的胜利所崛起。深度学习使得多层级的自动特征表征的学习成为了可能。传统的基于机器学习方法的 NLP 系统极端依附手写特点,既消耗时间,又老是不完全。

在 2011 年,Collobert 等人的论文证实简略的深度学习框架可能在多种 NLP 任务上超出最顶尖的办法,比方在实体定名辨认(NER)任务、语义脚色标注 (SRL)义务、词性标注(POS tagging)任务上。从此,各类基于深度进修的庞杂算法被提出,来处理 NLP 困难。

这篇论文回顾了与深度学习相关的重要模型与方法,比如卷积神经网络、循环神经网络、递归神经网络。此外,论文中还讨论了记忆增强战略、注意机制以及无监督模型、强化学习模型、深度生成模型在言语相关任务上的应用。

在 2016 年,Goldberg 也以教程方法介绍过 NLP 领域的深度学习,重要对分布式语义(word2vec、CNN)停止了技术概述,但不讨论深度学习的各种架构。这篇论文能提供更综合的思考。


摘要:深度学习方法应用多个处理层来学习数据的层级表征,在许多领域获得了顶级成果。近期,在自然言语处理领域呈现了大批的模型设计和方法。在此论文中,我们回想了应用于 NLP 任务中,与深度学习相干的主要模型、方法,同时概览了这种停顿。我们也总结、对照了各种模型,对 NLP 中深度学习的从前、当初与将来提供了具体理解。

论文地址:https://arxiv.org/abs/1708.02709


图 2:一个 D 维向量的散布式向量表白,此中 D << V,V 是词汇的巨细。


图 3:Bengio 等人 2003 年提出的神经言语模型,C(i) 是第 i 个词嵌入,同乐城娱乐


图 4:CBOW(continuous bag-of-words)的模型


表 1:框架供给嵌入东西跟方式


图 5:Collobert 等人应用的 CNN 框架,来做词级此外种别猜测


图 6:在文本上的 CNN 建模 (Zhang and Wallace, 2015)


图 7:4 个 7-gram 核的 Top7 -grams,每个核查一种特定类型的 7-gram 敏感 (Kim, 2014)


图 8:DCNN 子图。有了静态池化,一顶层只要要小宽度的过滤层可以关系输出语句中离得很远的短语 (Kalchbrenner et al., 2014)。


图 9:简单的 RNN 网络


图 10:LSTM 和 GRU 的示图 (Chung et al., 2014)


图 11:不同单位类型对于迭代数目(上幅图)和时钟时光(下幅图)的练习、验证集学习曲线。其中 y 轴为对数标准描述的模子负对数似然度。


图 12:LSTM 解码器联合 CNN 图像嵌入器天生图像描写 (Vinyals et al., 2015a)


图 13:神经图像 QA (Malinowski et al., 2015)


图 14:词校准矩阵 (Bahdanau et al., 2014)


图 15:使用注意力停止区域分级 (Wang et al., 2016)


图 16:特定区域语句上的注意模块专一点 (Wang et al., 2016)


图 17:利用于含有「but」语句的递归神经收集 (Socher et al., 2013)


图 18:基于 RNN 的 AVE 停止语句生成(Bowman et al., 2015)

本文为机器之心编译,同乐城娱乐,转载请接洽本大众号失掉受权。

?------------------------------------------------




上一篇:男子遭丈夫虐打致死 逝世者姐姐:他前妻不胜家暴离婚
下一篇:没有了