当前位置:首页 > 技术杂谈 > 正文

Task 04 打卡

2024-03-31 技术杂谈

机器翻译及相关技术

翻译前准备

清洗(大小写转换 标点符号)

分词(每个单词分开,生成一一对应的列表)

建立词典(根据词频进行统计 单词对应唯一id)

Encoder-Decoder

encoder将输入转化为隐藏状态,再由decoder将隐藏状态输出为翻译后语言。

sequence to sequence模型

运用到循环神经网络对下一个单词进行预测

将单词翻译成对应的词向量

beam search

依次根据每一个位置的局部最优解选取该位置的单词(贪婪搜索)

束搜索相比贪婪搜索增加了束宽(beam size)的超参数(k),每次选取(k)个最优词

温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/a/17196.html