| neural networks神经网络activation function激活函数hyperbolic tangent双曲正切函数bias units偏置项activation激活值forward propagation前向传播feedforward neural network前馈神经网络Backpropagation Algorithm反向传播算法(batch) gradient descent（批量）梯度下降法 (overall) cost function（整体）代价函数 squared-error方差 average sum-of-squares error均方差 regularization term规则化项 weight decay权重衰减 bias terms偏置项 Bayesian regularization method贝叶斯规则化方法 Gaussian prior高斯先验概率 MAP极大后验估计 maximum likelihood estimation极大似然估计 activation function激活函数 tanh function双曲正切函数 non-convex function非凸函数 hidden (layer) units隐藏层单元 symmetry breaking对称失效 learning rate学习速率 forward pass前向传导 hypothesis假设值 error term残差weighted average加权平均值 feedforward pass前馈传导 Hadamard product阿达马乘积 forward propagation前向传播 off-by-one error缺位错误bias term偏置项numerically checking数值检验numerical roundoff errors数值舍入误差significant digits有效数字unrolling组合扩展learning rate学习速率Hessian matrix Hessian矩阵Newton's method牛顿法conjugate gradient共轭梯度step-size步长值Autoencoders自编码算法 Sparsity稀疏性 neural networks神经网络 supervised learning监督学习 unsupervised learning无监督学习 hidden units隐藏神经元 the pixel intensity value像素灰度值 IID独立同分布 PCA主元分析 active激活 inactive抑制 activation function激活函数 activation激活度 the average activation平均活跃度 sparsity parameter稀疏性参数 penalty term惩罚因子 KL divergenceKL 散度 Bernoulli random variable伯努利随机变量 overall cost function总体代价函数 backpropagation后向传播 forward pass前向传播 gradient descent梯度下降 the objective目标函数the derivative checking method梯度验证方法 Visualizing可视化 Autoencoder自编码器 hidden unit隐藏单元 non-linear feature非线性特征 activate激励 trivial answer平凡解 norm constrained范数约束 sparse autoencoder稀疏自编码器 norm bounded有界范数 input domains输入域 vectorization矢量化Logistic Regression逻辑回归 batch gradient ascent批量梯度上升法 intercept term截距 the log likelihood对数似然函数 derivative导函数 gradient梯度 vectorization向量化 forward propagation正向传播 backpropagation反向传播 training examples训练样本 activation function激活函数 sparse autoencoder稀疏自编码网络 sparsity penalty稀疏惩罚 average firing rate平均激活率 Principal Components Analysis主成份分析whitening白化intensity亮度mean平均值variance方差covariance matrix协方差矩阵basis基magnitude幅值stationarity平稳性normalization归一化eigenvector特征向量redundant冗余 variance方差 smoothing平滑 dimensionality reduction降维 regularization正则化 reflection matrix反射矩阵 decorrelation去相关 Principal Components Analysis (PCA)主成分分析 zero-mean均值为零 mean value均值 eigenvalue特征值 symmetric positive semi-definite matrix对称半正定矩阵 numerically reliable数值计算上稳定 sorted in decreasing order降序排列 singular value奇异值 singular vector奇异向量 vectorized implementation向量化实现 diagonal对角线 Softmax RegressionSoftmax回归 supervised learning有监督学习 unsupervised learning无监督学习 deep learning深度学习 logistic regressionlogistic回归 intercept term截距项 binary classification二元分类 class labels类型标记 hypothesis估值函数/估计值 cost function代价函数 multi-class classification多元分类 weight decay权重衰减 self-taught learning自我学习/自学习 unsupervised feature learning无监督特征学习 autoencoder自编码器 semi-supervised learning半监督学习 deep networks深层网络 fine-tune微调 unsupervised feature learning非监督特征学习 pre-training预训练 Deep Networks深度网络 deep neural networks深度神经网络 non-linear transformation非线性变换 represent compactly简洁地表达 part-whole decompositions“部分-整体”的分解 parts of objects目标的部件 highly non-convex optimization problem高度非凸的优化问题 conjugate gradient共轭梯度 diffusion of gradients梯度的弥散 Greedy layer-wise training逐层贪婪训练方法 autoencoder自动编码器Greedy layer-wise training逐层贪婪训练法 Stacked autoencoder栈式自编码神经网络 Fine-tuning微调 Raw inputs原始输入 Hierarchical grouping层次型分组 Part-whole decomposition部分-整体分解 First-order features一阶特征 Second-order features二阶特征 Higher-order features更高阶特征 Linear Decoders线性解码器 Sparse Autoencoder稀疏自编码 input layer输入层 hidden layer隐含层 output layer输出层 neuron神经元 robust鲁棒 sigmoid activation functionS型激励函数 tanh functiontanh激励函数 linear activation function线性激励函数 identity activation function恒等激励函数 hidden unit隐单元 weight权重 error term偏差项 Full Connected Networks全连接网络 Sparse Autoencoder稀疏编码 Feedforward前向输送 Backpropagation反向传播 Locally Connected Networks部分联通网络 Contiguous Groups连接区域 Visual Cortex视觉皮层 Convolution卷积 Stationary固有特征 Pool池化 features特征 example样例 over-fitting过拟合 translation invariant平移不变性 pooling池化 extract提取 object detection物体检测 DC component直流分量 local mean subtraction局部均值消减 sparse autoencoder消减归一化 rescaling缩放per-example mean subtraction逐样本均值消减 feature standardization特征标准化 stationary平稳 zero-mean零均值化 low-pass filtering低通滤波 reconstruction based models基于重构的模型 RBMs受限Boltzman机 k-Meansk-均值 long tail长尾loss function损失函数 orthogonalization正交化Sparse Coding稀疏编码 unsupervised method无监督学习 over-complete bases超完备基 degeneracy退化 reconstruction term重构项 sparsity penalty稀疏惩罚项 norm范式 generative model生成模型 linear superposition线性叠加 additive noise加性噪声 basis feature vectors特征基向量 the empirical distribution经验分布函数 the log-likelihood对数似然函数 Gaussian white noise高斯白噪音 the prior distribution先验分布 prior probability先验概率 source features源特征 the energy function能量函数 regularized正则化least squares最小二乘法 convex optimization software凸优化软件conjugate gradient methods共轭梯度法 quadratic constraints二次约束 the Lagrange dual拉格朗日对偶函数 feedforward architectures前馈结构算法 Independent Component Analysis独立成分分析 Over-complete basis超完备基 Orthonormal basis标准正交基 Sparsity penalty稀疏惩罚项 Under-complete basis不完备基 Line-search algorithm线搜索算法 Topographic cost term拓扑代价项 |
|
|
