标记标记 OpenNMT为快速处理新的训练数据提供了通用的标识工具。 tokenization的目标是将原始句子转换成记号序列。 在该过程中,按顺序执行两个主要操作: 规范化-对源序列应用一些统一变换以识别和保护某些特定序列
2019-05-27
快速入门 步骤1:预处理数据 th preprocess.lua -train_src data/src-train.txt -train_tgt data/tgt-train.txt -valid_src data/
安装 标准 安装 Torch 2.安装附加依赖项: luarocks install tds luarocks install bit32 # if using LuaJIT 3 。克隆OpenNMT存
此门户提供了 OpenNMT Torch版本的高级文档。 概述 OpenNMT是一个通用的深度学习框架,主要专注于sequence-to-sequence模型,涵盖各种任务如机器翻译 摘要 图像到文本以及语音识别, 框架还针对其