很好地理解算法和模型才可以捕获统计方面的问题，构建出具有出色性能的系统。同时，至少对底层硬件有一定的了解也是必不可少的。本节的内容可以作为理解某些算法为什么比其他算法更高效以及如何实现良好吞吐量的起点。
数据并行vs模型并行
数据并行：将小批量分成n...
研究生阶段要使用LaTex进行论文写作，所以现在进行简单的入门。
1.模板下载
通用模板 https://www.overleaf.com/
通用模板 http://www.latextemplates.com/
IEEE官方模板http://www...
训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 在本节中，我们将介绍批量规范化（batch normalization），这是一种流行且有效的技术，可持续加速深层网络的收敛速度。
批量归一化固定小批量里面的均值和方差，批量归一...
本章我们将带你了解现代的卷积神经网络架构，在本章中的每一个模型都曾一度占据主导地位，其中许多模型都是ImageNet竞赛的优胜者。
AlexNet是一个更深更大的LeNet，主要改进：dropout、ReLu、MaxPooling
123456789...
在本节中，我们将介绍LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。
构建模型12345678910111213141516171819202122232425262728293031import tor...
卷积神经网络（convolutional neural networks，CNN）是机器学习利用自然图像中一些已知结构的创造性方法。
两个原则：平移不变性，局部性
详细讲解了为什么要使用卷积，以及如何从全连接层推理至卷积层。建议完整观看视频。
19 ...
首先查看设备时候具有GPU，在控制台输入
1nvidia-smi
如果显示显卡信息说明具有GPU。
123456789101112131415161718192021import torchfrom torch import nn# 查询可用gpu...
在本章中，我们将深入探索深度学习计算的关键组件， 即模型构建、参数访问与初始化、设计自定义层和块、将模型读写到磁盘， 以及利用GPU实现显著的加速。 这些知识将使你从深度学习“基础用户”变为“高级用户”。
层和块事实证明，研究讨论“比单个层大”但“...
本节中将讨论一些有用的启发式方法，来对模型选择合适的初始化参数，来避免梯度爆炸或者梯度消失。你会发现这些启发式方法在整个深度学习生涯中都很有用。
梯度消失和梯度爆炸梯度消失（gradient vanishing）：参数更新过小，在每次更新时几乎不会移...
