注意力机制我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制. 摘自论文原文：An attention function can be described as mapping a query and a set of

RNN概述当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。 首先看一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成： 其中，$O$ 是一个向量，代表输出层的值；$V$ 是隐藏层到输出层的权重矩阵，$U$ 是输入层到隐藏层的权重矩阵。 循环神经网

Testing在工程中，为自己编写UnitTest时刻检测代码的正确性是十分重要且必要的。 假设我们现在有这样一个类，它实现对一个int类型的数组进行排序： 1234567891011121314151617181920public class Sort { public static void swap(int[] arr, int i, int j) {

接下来我们利用浅层神经网络构建新闻主题分类器的实现过程。 数据集使用 torchtext.datasets.AG_NEWS 数据集中包含了 World Sports Business Sci/Tech 这四种类别，我们需要做的就是训练模型对数据进行分类。 神经网络的训练和构建大致分为以下步骤： 构建带有Embedding层的文本分类模型 对数据进行batch处理 构建训练与验证函数

文本预处理以及其作用文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指标。 文本预处理中包含的主要环节 文本预处理的基本方法 文本张量表示方法 文本语料的数据分析 文本特征处理 数据增强方法 我们主要针对中文和英文进行处理 1.文本预处理的基本方法分词h

PyTorch中的autograd在整个PyTorch框架中，所有的神经网络都是一个autograd package（自动求导工具包） autograd package提供了一个对Tensor上的所有操作进行自动微分的功能 关于torch.Tensor torch.Tensor是整个package中的核心类，如果将属性 .requires_grad 设置为 true，他将追踪这个类上的所有操作，当

Pytorch的基本操作张量的创建Tensor张量：张量的概念类似于Numpy中的ndarray数据结构，最大的区别在于Tensor可以利用GPU的加速功能。 在使用Pytorch时，需要先引入模块： 12from __future__ import print_functionimport torch 下面是Pytorch中创建张量的基本语法： torch.tensor 根据指定数据创建张量

神经网络的构成 人工神经网络（ANN）具有自学习、自组织、较好的容错性和优良的非线性逼近能力。 在实际应用中，80%~90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型。 ANN通过数学近似映射（函数逼近）完成拟合——>预测，分类——>聚类分析的工作 从模型上进行拆分，神经网络包括： 神经元模型 激活函数 网络结构 工作状态 学习方式 建立和应用神经网络的步骤 网络结

元胞自动机的构成元胞自动机最基本的组成： 元胞 元胞空间 邻近元胞 规则 简单来说，元胞自动机可以视为由一个元胞空间和定义于该空间的变换函数组成，每一个元胞依照规则发生状态的变化，并对邻近元胞产生影响。 在计算机环境下，我们一般用四边形网格进行表达显示。 例题：元胞自动机模拟森林火灾众所周知，森林火灾一直是很多森林覆盖率比较高的国家的心头大患。 因为人类活动的不断增加，森林火灾的几率也逐渐增加

主成分分析简述主成分分析法通过研究少数几个主成分来解释多个变量之间的内部结构，即从原始变量中导出少数几个主分量，使它们尽可能的保留原始变量的信息，且彼此之间互不相关。 主成分分析的目的：数据的压缩和数据的解释。 基本思想主成分分析法就是设法将原来众多的具有一定相关性的变量（如P变量），重新组合成一组新的相互无关的变量。 在数学上，就是将原来p个变量作线性组合作为新的综合变量。 最经典的方法就是用方