Posts List

半监督深度学习

深度学习发展初期,训练深度的网络比较困难。对神经网络来说,一个好的初始化可以让结果更稳定,迭代次数更少,因此利用无标签数据让网络有一个好的初始化成为一个研究热点。

Mask R-CNN关键技术分析

骨干架构(FPN) 特征金字塔网络是一种多维度特征表达,主要解决物体检测中的多尺度问题,可大幅提升小物体检测的性能。网络由浅至深,低层的特征语义信息比较少,但是目标位置准确;高层的特征语义信息比较丰富,但是目标位置比较粗略。特征图金字塔分成三个部分,一个自底向上的路径(左边),一个自顶向下的路径(右边)和横向连接部分。

深度学习之生成模型

PiexlRNN/CNN 使用概率链式法则计算一张图片出现的概率,其中每一项为给定前i-1个像素点后第i个像素点的条件概率分布。此分布通过RNN(LSTM)/CNN来建模,再通过最大化图片x的似然学习RNN/CNN的参数。

MXNet深度学习笔记(二)

模型构造 上一篇中,模型构造是首先需构造Sequential实例,然后添加各层。MXNet还可以通过继承Block类来构造模型。 下面一个例子中,init函数声明带有模型参数的层,函数使用get_constant方法创建训练中不被迭代的参数,即常数参数。forward函数定义模型的前向计算,通过输入x最终返回输出内容。

MXNet深度学习笔记

本文以线性回归为例,展示MXNet以及Gluon的实现。 首先构造一个简单的数据集,其中features是训练数据特征,labels是标签。

序列模型和注意力机制

基础模型 序列模型有Sequence to sequence模型和image to sequence 模型。前者最常见的应用是机器翻译。机器翻译模型的前半部分使用编码网络对输入的原文句子进行编码,后半部分使用解码网络生成对应的翻译。后者的图像描述与之类似。

自然语言处理和词嵌入

词汇表征 计算机是无法直接认识单词的,所以为了让计算机能更好地理解人类语言,需要将词汇进行表征。之前用到的方法是One-hot表征,即创建一个向量,将对应单词的位置用1表示,其余位置用0表示。这种方法的缺点是无法获得词与词之间的相关性。另一种方法是特征表征,即词嵌入,用不同的特征对单词进行特征化表示。

循环神经网络

对于序列模型,使用传统的神经网络效果并不好。原因是输入输出数据的长度可能不同,另外这种神经网络结果不能共享从文本不同位置所学习到的特征。循环神经则不存在这两个缺点。在每一个时间步中,循环神经网络会传递一个激活值到下一个时间步中,用于下一时间步的计算。

深度学习之人脸识别和神经风格迁移

人脸识别 人脸验证指输入图片后验证是否是对应的人。而人脸识别则是输入一副图片,在数据库中寻找符合输入的图片,并识别输出。大多数人脸识别系统存在One-shot learning问题。

深度学习之目标检测

目标检测是计算机视觉领域的一项重要应用。通过目标检测模型,能将图片中的人、汽车等目标物体检测出来。 一个简单的目标标签y如下: