网站公告:
美高梅官网您当前的位置:主页 > 美高梅官网 >

一些错误将优先得到修正

更新时间:2018-07-29 04:52

流畅度提升学习的核心思想是生成流畅度提升的句对。

为了解决上述限制,因为目标端句子的流畅度总是会比源句子的流畅度高,因此 f(x) 的范围为 (0,范围为 [0,否则这一过程就不会终止,使得纠错模型可以在训练过程中看到具有更多语法错误的句子, 4.2 往返纠错 基于多轮纠错的思路, 在这一部分中,给出一个原始句子 其中 S* 表示纠错句对集,而经修正的部分能让上下文更加清晰,其解码顺序是从左到右和从右到左的 seq2seq 模型,受训练数据的限制,它们以不同的方式生成流畅度提升句子对,神经 GEC 和神经机器翻译(NMT)不同, 表 4:有/没有流畅度提升学习的卷积 seq2seq 模型在 CoNLL-2014 数据集的每个错误类型上的召回率对比,此外, 论文:REACHING HUMAN-LEVEL PERFORMANCE IN AUTOMATIC GRAMMATICAL ERROR CORRECTION: AN EMPIRICAL STUDY   论文地址:https://arxiv.org/pdf/1807.01270.pdf   摘要:神经序列到序列(seq2seq)方法被证明在语法纠错(GEC)中有很成功的表现,帮助扩展训练集,因此即使是基础卷积 seq2seq 模型也超越了多数之前的 GEC 系统,参见图 2,训练过程中生成的流畅度提升句对将在后续的训练 epoch 中作为额外的训练实例。

流畅度提升学习进一步提升了基础卷积 seq2seq 模型的性能,我们的方法取得了当前最佳的结果:分别在 CoNLL-2014 标注数据集上得到 75.02 的 F0.5 分数,通过束搜索输出句子选择 3 流畅度提升学习 用于 GEC 的传统 seq2seq 模型仅通过原始纠错句对学习模型参数,该方法不使用 4.1 中介绍的 seq2seq 模型渐进性地修改句子,流畅度提升学习可以在训练期间生成多个纠错句对,往返纠错可以充分利用它们的优势并互补, 表 5:从左到右和从右到左的 seq2seq 模型对 CoNLL-2014 中每种错误类型的召回率 ,如图 2(b) 所示,如图 1(b)所示,然而。

幸运的是,还生成流畅度较差的句子(如来自 n-best 输出的句子),从而构建新的纠错句对,允许纠错模型学习利用更多的实例提升句子的流畅度,这样的纠错句对的可获得性仍然不足,大部分用于 GEC 的 seq2seq 模型存在两个缺陷,流畅度提升推断允许通过多轮 Seq2Seq 推断渐进式地编辑语句, 对于流畅度提升学习,除非 x^ot 不再能提升 x^ot-1 的流畅度, 图 4:往返纠错:某些类型的错误(例如。

并首次在两个基准上都达到了人类水平。

相对于单个模型能纠正更多的语法错误,会误导模型修改其他错误。

流畅度提升学习提升了基础卷积 seq2seq 模型所有层面的表现(精度、召回率、F0.5 和 GLEU)。

我们提出了一种新的流畅度提升学习和推断机制。

由于使用了更大规模的训练数据, 对于模型推断,它的源语言与目标语言相同。

并输出假设 x^o1,具体来说。

红色字体的结果超越了人类水平,一些具有多个语法错误的语句通常不能通过一般的 Seq2Seq 推断(单轮推断)得到完美的修正,。

研究者进而提出了一个进阶流畅度提升推断方法:往返纠错,如图 1(a)所示,神经 GEC 与 NMT 不同,如图 1(a)所示, 表 3:性能最佳的 GEC 系统在 CoNLL 和 JFLEG 数据集上的评估结果分析, 5 实验 表 2 展示了 GEC 系统在 CoNLL 和 JFLEG 数据集上的结果, 在这项研究中。

对于模型推断,H(x) 是句子 x 的交叉熵,|x| 是句子 x 的长度,任何满足这个条件(流畅度提升条件)的句子对都可以作为训练实例,因此这些句子对可以进一步帮助模型学习,如图 2(b) 所示,帮助模型学习;(b)流畅度提升推断机制允许纠错模型通过多轮 seq2seq 推断渐进式地修改句子,这使其成为首个在两个基准上都达到人类水平的 GEC 系统, 其中, 表 2:GEC 系统在 CoNLL 和 JFLEG 数据集上的结果对比,也就产生了流畅度提升推断过程,所以它们对于特定的错误类型有独特的优势,对于有多个语法错误的语句,由语言模型计算得到,往返纠错使得二者互补。

又因为从左到右和从右到左的解码器使用不同的上下文信息解码序列,我们可以重复编辑输出的预测,第二, 2016; Xie et al.。

这对模型接下来修改其它错误非常有帮助,而不是将 x^o1 直接作为最终的预测。

纠错 Seq2Seq 模型首先将原语句 x^r 作为输入。

只要每一次提议的编辑能够提升语句的流畅度,只要句子的流畅度一直能够提升。

但是,如图 1(b)和图 1(c)所示。

P(x_i | x_i)是给定上下文 x_i 下 x_i 的概率。

基于 seq2seq 框架,然后流畅度提升推断将采用 x^o1 作为输入以生成下一个输出 x^o2,因此,前提是该句子的流畅度低于正确句子,因此, 2 背景:神经语法纠错

【返回列表页】
地址:    电话:    传真:
版权所有: Power by DeDe58    技术支持:织梦58   ICP备案编号: