首页 > 生活

统计机器翻译(SMT)

更新时间:2025-05-10 20:07:12 阅读: 评论:0

统计机器翻译蛋白质粉减肥(SMT),通过对平行语料进行统计分析->构建模型->翻译

模型

源语言句子 f ,目标语言staffing句子 e 。则源语言翻译成目标语言的概率为: p(e|f)

于是翻译问题变成了求解p(e|f)的最大值。

而根据贝叶斯定理:

p(e|f) = \frac{p(f|e)p(e)}{p(f)}

而原句f是已知的-> p(f)是一个常数->

\mathop{\arg\,\max}_{e} p(e \mid f) = \mathop{\arg\,\max}\limits{e} *p(e)\times p(f \mid e)

可以这样读:“在所有的英语句子中,句子 e 的 p(e|f) 值是最大的”。如果你想用电脑程序的角度去思考它,你可以想象有这样一个程序,它接受一组句子 e 和 f,返回概水冷电脑率 P(e|f) 的值

eg: 要翻译“我肚子饿了”

\begin{array}{c | c c} English & p(f \mid e) & p (e) \废旧物资处理\hline\text{I am hungry} & 0.00019 & 0.0084\ \text{My belly hungry} & 0.00031 & 0.0000031\ \text{I starve} & 0.00045 & 0.0000012\ \end{array}

根据 p(e)\times p(f|e) 来看,最有可能的翻译则为“I am hungry”。

p(e)是语言模型,先验概率,表示一个句子是流畅句子的概率。体现雅。

p(f|e)是翻译模型,条件概率,表示句子从 e 翻译到 f 的999美元概率。体现了信与达。

主要任务是训练模型,让模型知道 p(e) 和 p(f|e) 的值。

p(e,f) 是联合概率,e 和 f 同时发生的几率。如果 e 和 f 互不影响,我们可以写成 P(e,f) = P(e) * P(f)。比如,如果 e 代表 “the first roll of the die comes up 5”,如果 f 代表 “the second roll of the die comes up 3”,那么P(e,f) = P(e) ∗ P(f) = 1/6 * 1/6 = 1/36。如果 e 和 f 互相影响,则 P(e,f) = P(e) ∗ P(f|e)。意思是:“e 发生的几率”乘以“e 发生且 f 同时发生的几率”。如果 e 和 f 是互译的两串文本,那它们之间肯定是一定程度上相互影响的[1]求和概率公式:

最后一个公式你可以这样读:“留学签证费用假设 f 是被一些其他事件影响的,那么对于每一个会影响 f 的事件 e,我们计算 e 发生的几率和 e 发生且 f 同时发生的几率。为ipad输入法了覆盖所有影响 f西南民族大学法学院 的事件 e,我们把所有的几率加起来。

语言模型

一个由 w_{1},w_{2}...w_{n} 这些单词组成的句子 e :

p(e) = p(W_{1})p(W_{2}|W_{1})p(W_{3}|W_{1},W_{2})...p(W_{n}|W_{1},W_{2}...W_{n-1})

而 p(e) 是可以计算的,根据每个单词在它前边出现的单词出现下的情况出现的概率可以通过语料库统计出来。是先验概率,句子发生的概率。

随着句子单词数量增多,p(wn|w1,w2,…,wn−1)计算将会变得非常耗时,所以一般实际中采取n-gram求近似值。n一般不超过3,google使用的是4[2]翻译模型

假设 e 由 (e_{1},e_{2},…,e_{l}) 这些单词按顺序组成, f 由 (f_{1},f_{2},…,f_{j}) 这些单词按照顺序组成:那么 p(f∣e) 这个问题可以看成(e_{1},e_{2},…,e_{l})到(f_{1},f_{2},…,f_{j})的概率问题。

第一个句子转换新媒体运营到第二个句子是:

P(F\mid E) = \sum{A} P(F,A \mid E) = \sum{A} P(F \mid E, A) \times P(A \mid E)

现在我们假设这种转换 A 就是 e 中的一个单词 e_{j} 到 f 中的一个单词 fj 的对齐转换。

P(F \mid E, A) = \prod{j=1}^{J} t(f{j} \mid e{A{j}})

t(fj∣eAj) 表示在 alignment A 之下,对应到 f_{j} 位置的 ej ,翻译成 f_{j}的几率。因为两个句子之间的对齐关系有很多种,现在我们假设每种对齐的概率都一样,那么:

P(F\mid E) = \frac{\epsilon}{(I+1)^J}

将这两项代人原来的公式得到(这就是IBM Model 1):

\begin{equatio工伤纠纷n} P(F\mid E) = \sum{A} P(F,A \mid E) = \sum{A} P(F \mi最大的海d E, A) \times P(A \mid E) \ = \sum{A} \prod{j=1}^{J} t(f{j} \mid e{A_{j}}) \times \frac{\epsilon}{(I+1)^{J}} \ \end学习氛围{equation}

我们只需要先求出该公式里面的各个参数,就可以使用该模型来进行翻译了。

求解其中参数的问题这里就不大额存单利率描述了,感兴趣的可以去看一些 EF 算法。

另外, IBM Model 2 在1的基础上去掉所有对齐概率相等的假设并加入了新的参数:词在句子中的位置, HM国家教学成果奖M 模型将IBM Model 2中的绝对位置更改为相对位置,即相对上一个词连接的位置,而IBM Model 3,4,5及 Model 6 引入了“Fertility Model”,代表一个词翻译为若干词的概率。[3]

统计机器翻译由哪些核心部分组成,每个部分的刘韵洁作用以及是如何联系在一起的?[4]

比如,一个模型由生成理论 + 参数构成,语言模型和翻译模型则是统计机器翻译的主要部分。

统计机器翻译中的核心概念

比如经典的 IBM Model 1-5(本文实际上只介绍了前三种),n,t,d 和 p 参数,词对齐等等。

nba助攻榜

参考^www.jianshu/p/a7a2d910305f^toaco.github.io/2017/11/08/%E7%BB%9F%E8%AE%A1%E6%9C%BA%E5%99%A8%E7%BF%BB%E8%AF%91%EF%BC%88SMT%EF%BC%89%E7%AE%80%E4%BB%8B/^nlp.ict.ac/~liuqu纯真年代书吧n/course四座楼狮子头/Ma端午来历chineTranslatgre官网ion/2010ict/^www.jianshu/p/a7a2d910305f

本文发布于:2023-05-30 23:48:11,感谢您对本站的认可!

本文链接:http://www.ranqi119.com/ge/85/154595.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:机器翻译   SMT
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 站长QQ:55-9-10-26|友情:优美诗词|电脑我帮您|扬州装修|369文学|学编程|软件玩家|水木编程|编程频道