|
在本系列文章中，我们将向您展示如何使用深度学习来创建自动翻译系统。本系列可以视为分步教程，可以帮助您了解和构建神经元机器翻译。
本系列假定您熟悉机器学习的概念：模型训练，监督学习，神经网络以及人工神经元，层和反向传播。 在上一篇文章中，我们安装了开发自动翻译系统所需的所有工具，并定义了开发工作流程。在本文中，我们将继续构建AI语言翻译系统。 我们将只需要编写很少的代码行，因为对于大多数逻辑而言，我们将使用基于Keras的预格式化模板。 如果您想查看最终的最终代码，可以在此Python笔记本中找到。 导入库首先，我们需要加载所需的库： import warnings
warnings.filterwarnings("ignore")
import tensorflow as tf
import numpy as np
import string
from numpy import array, argmax, random, take
#for processing imported data
import pandas as pd
#the RNN routines
from keras.models import Sequential
from keras.layers import Dense, LSTM, Embedding, RepeatVector
#we will need the tokenizer for BERT
from keras.preprocessing.text import Tokenizer
from keras.callbacks import ModelCheckpoint
from keras.preprocessing.sequence import pad_sequences
from keras.models import load_model
from keras import optimizers1234567891011121314151617复制代码类型：[html]建筑模型组件使用Keras建立模型非常简单。我们将从使用Keras提供的Sequential模型创建模型开始。 model = Sequential()1复制代码类型：[html] 接下来，我们添加一个长短期记忆（LSTM）层。在Keras的LSTM类中，LSTM单元的大多数参数都具有默认值，因此我们唯一需要明确定义的是输出的维数：将为序列到序列的递归神经创建的LSTM单元的数量网络（RNN）。 输入向量的大小是原始句子中单词的总数。因为我们使用的是嵌入，所以我们会得到标记化的单词。这意味着可以将单词拆分为子单词，从而增加输入句子中单词的数量。 为了使模型的大小易于管理（从而确保可以在合理的时间内训练模型），我们将长度设置为512。我们添加了两个LSTM层：第一层是编码器，第二层是解码器。 model.add(LSTM(512)) model.add(RepeatVector(LEN_EN)) model.add(LSTM(512))123复制代码类型：[html] 请注意，我们在中间添加了RepeatVector。这将是我们注意机制的一部分，我们将在不久后添加。 接下来，我们在模型中添加一个Dense层。该层从上一层获取所有输出神经元。我们需要密集的层，因为我们要进行预测。我们想要获得俄语句子，该句子具有与输入的英语句子相对应的最高分数。本质上，密集层在每个LSTM单元的输出上计算softmax。 model.add(Dense(LEN_RU, activation='softmax'))1复制代码类型：[html] LEN_RU是输出向量的大小（稍后我们将计算这些参数）。变量也一样LEN_EN。 到目前为止，这是我们的模型的外观： model = Sequential() model.add(LSTM(512)) model.add(LSTM(512)) model.add(Dense(LEN_RU, activation='softmax')) rms = optimizers.RMSprop(lr=0.001) model.compile(optimizer=rms, loss='sparse_categorical_crossentropy')123456复制代码类型：[html] 我们正在使用称为RMSprop的Keras优化器。它优化了用于反向传播的梯度下降技术。 我们仍然需要添加嵌入层，并在编码器和解码器之间包括关注层。 嵌入层是使用Word2Vec创建的，实际上是一个预训练的嵌入层。现在，我们需要生成Word2Vec权重矩阵（该层神经元的权重），并用该矩阵填充标准的Keras嵌入层。 我们可以使用该gensim包自动获取嵌入层： from gensim.models import Word2Vec1复制代码类型：[html] 然后，我们创建我们的Word2Vec嵌入层 model_w2v = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)1复制代码类型：[html] 然后可以按以下方式检索嵌入层： model_w2v.wv.get_keras_embedding(train_embeddings=False)1复制代码类型：[html] 我们可以调用该model.summary()函数以获取模型概述： _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= embedding_1 (Embedding) (None, None, 100) 1200 _________________________________________________________________ lstm_1 (LSTM) (None, 512) 1255424 _________________________________________________________________ repeat_vector_1 (RepeatVecto (None, 8, 512) 0 _________________________________________________________________ lstm_2 (LSTM) (None, 512) 2099200 _________________________________________________________________ dense_1 (Dense) (None, 512) 262656 ================================================================= Total params: 3,618,480 Trainable params: 3,617,280 Non-trainable params: 1,200 _________________________________________________________________1234567891011121314151617复制代码类型：[html] 增加注意力机制现在我们要添加一个注意力机制。我们可以从头开始编写它，但是更简单的解决方案是使用现有的Keras模块，例如Kerasself-attention。 让我们导入这个模块： from keras_self_attention import SeqSelfAttention1复制代码类型：[html] 现在，我们将在两个LSTM模块之间添加导入的模块： model.add(SeqSelfAttention(attention_activation='sigmoid'))1复制代码类型：[html] 我们的模型现已完成。 将模型放在一起这是用Keras编码的我们的NN的最终代码： import warnings
warnings.filterwarnings("ignore")
import numpy as np
import string
from numpy import array, argmax, random, take
#for processing imported data
import tensorflow as tf
import pandas as pd
#the RNN routines
from keras.models import Sequential
from keras.layers import Dense, LSTM, Embedding, RepeatVector
from keras.preprocessing.text import Tokenizer
from keras.callbacks import ModelCheckpoint
from keras.preprocessing.sequence import pad_sequences
from keras.models import load_model
from keras import optimizers
#optional if you want to generate statistical graphs of the DMT
#import matplotlib.pyplot as plt
#from keras.utils import plot_model
#import pydot
from gensim.models import Word2Vec
from gensim.test.utils import common_texts
from keras_self_attention import SeqSelfAttention
model = Sequential()
model_w2v = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)
model.add(model_w2v.wv.get_keras_embedding(train_embeddings=False))
model.add(LSTM(512))
model.add(RepeatVector(8))
model.add(SeqSelfAttention(attention_activation='sigmoid'))
model.add(LSTM(512))
model.add(Dense(LEN_RU, activation='softmax'))
rms = optimizers.RMSprop(lr=0.001)
model.compile(optimizer=rms, loss='sparse_categorical_crossentropy')
#plot_model(model, to_file='model_plot4a.png', show_shapes=True, show_layer_names=True)
model.summary()12345678910111213141516171819202122232425262728293031323334353637383940414243复制代码类型：[html]运行代码后，将获得以下输出： [root@ids ~]# python3 NMT.py Using TensorFlow backend. _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= embedding_1 (Embedding) (None, None, 100) 1200 _________________________________________________________________ lstm_1 (LSTM) (None, 512) 1255424 _________________________________________________________________ repeat_vector_1 (RepeatVecto (None, 8, 512) 0 _________________________________________________________________ seq_self_attention_1 (SeqSel (None, 8, 512) 32833 _________________________________________________________________ lstm_2 (LSTM) (None, 512) 2099200 _________________________________________________________________ dense_1 (Dense) (None, 512) 262656 ================================================================= Total params: 3,651,313 Trainable params: 3,650,113 Non-trainable params: 1,2001234567891011121314151617181920复制代码类型：[html] 尽管我们的模型代码按原样运行良好，但是考虑将模型创建代码包含在函数中将使其更易于重用。你不必有这样做-但得到的可能怎么看，看在最后的翻译器代码的想法笔记本我们前面提到的。 |
|
|
