| 设为主页 | 保存桌面 | 手机版 | 二维码
13

深圳市九阳电池有限公司

电池组配件;镍氢电池;干电池;充电电池;锂电池;纽扣电池;

网站公告
九阳集团下属:九阳电池工厂,九阳光电工厂,深圳市九阳电池有限公司--- 一般纳税人优秀企业,生产型17%增值税, 拥有自主进出口权利,商检备案。.九阳电池所有产品通过中国海关商检、SGS-ROHS认证、美国FCC强制认证、欧盟CE认证、MSDS安全认证。
产品分类
站内搜索
 
友情链接
有钱人心水高手坛
这年头机器翻译都会通过文字脑补画面了
发布时间:2021-08-04        浏览次数: 次        

  想象这句诗词中的 金石 、 尘埃 、 山水 各个词汇的意象,再将意象汇聚成一个具体的画面或场景。

  比起纯文本的机器翻译,多模态机器翻译能够利用语音、图像这样的模态信息来提高翻译质量。

  但偏偏人工图片标注的成本又不低……所以现阶段的多模态机器翻译大都应用在 Multi30K,一个包含了 3 万张图片标注的数据集上。

  它在推理阶段不需要标注图片作为输入,而是通过想象的方式利用视觉信号,在训练阶段将视觉语义蕴含到模型内部。超准平特一肖论坛

  src=架构左右端是我们熟悉的 transformer 的编码器和解码器,www.61229.com,而中间则是这一框架独特的生成想象网络。

  基于 GAN 的思想,句子特征与噪声拼接后会通过 F0 转化成视觉表征。

  在注意力层关注源文本中的相关词汇,并生成图像不同子区域的细粒度细节,让图像特征的子区域与词对应。

  通过这一转化器,捕捉多层次(词级和句级)的语义,输出生成的视觉特征 f1。

  其中鉴别器源文本、生成图像和真实图像作为输入,用来评估合成图像是否与真实图片一致。

  研究者使用了一种退化策略,即用特殊字符替换源语言文本中的重要词语,来观察模型的翻译表现会下降多少。

  在这这种情况下,纯文本的翻译模型只能通过丢失词语的上下文和偏置来推理句子的翻译。

  而ImagiT在缺少图片标注的情况下,还能根据退化的文本想象并恢复丢失的信息。

  通过这一特殊的探索实验,可以看到 ImagiT 能在训练阶段学习特定词语(色彩,可被具象化的实体词等)与其他词语之间相关性和共现。

  而对比纯文本翻译,通过想象恢复被替换文本的 ImagiT 模型在翻译质量上下降的幅度也最少。