李沐老师的《动手学深度学习》已经有Pytorch和TensorFlow的实现了,并且有了中文版。网址:http://d2l.ai/简介 李沐老师的《动手学深度学习》自一年前发布以来广受欢...
李沐老师的《动手学深度学习》已经有Pytorch和TensorFlow的实现了,并且有了中文版。网址:http://d2l.ai/简介 李沐老师的《动手学深度学习》自一年前发布以来广受欢...
由于深度学习模型参数通常都是高维的(k很大),目标函数的鞍点通常比局部最小值更常见。假设一个函数的输入为k维向量,输出为标量,那么它的海森矩阵(Hessian matrix)有�k个特征值。该函数在梯度为0的位置上可能...
但本质上,优化和深度学习的⽬标是根本不同的。但有时候我们还会遇见一些不太常见的问题,例如:对于稀疏特征的模型训练时,鉴于学习率下降,我们可能最终会⾯临这样的情况:常⻅特征的参数相当迅速地收敛到最佳值,...
19李沐动手学深度学习v2/自定义层,使用参数自定义层
动手深度学习-线性回归
模型选择、欠拟合和过拟合
标签: 深度学习
import torch #假设对y=2XΤX(转置) 关于列向量x求导 x=torch.arange(4.0) #在计算之前 需要一个地方存储梯度 x.requires_grad_(True) #等价于 x=torch.arange(4.0,requires_grad=True) x.grad ...
标签: 深度学习
import os os.makedirs(os.path.join('.','data'),exist_ok=True) data_file=os.path.join('.','data','house_tiny.csv') with open(data_file,'w') as f: f.write('NumRooms,Alley,Price\n') #列名 ...
标签: 笔记
权重衰减等价于 L2 范数正则化(regularization),为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。3.8 MLP多层感知机(multilayer perceptron)防止过拟合的方法:权重衰减+丢弃法...
21李沐动手学深度学习v2/读写文件,加载和保存张量
动手学深度学习线性回归答案。
标签: 深度学习
李沐老师b站课程的笔记,
学习笔记
08线性回归+基础优化算法 线性模型中n维输入就可以用向量表示,n维权重也可以用向量表示,以及一个标量偏差(这其实就是普通的变量,例如y=ax+b中的b)。通过向量表示就可以是y=<w,x>+b(内积+b)。...
这一节课从数学上面讲一下线性代数,包括向量加减乘,模长点乘正交等内容,都学习过所以就不写了。 A.T # 表示A矩阵的转置 torch.arange(24),reshape(2,3,4) # 首先是第三维的层数,然后行数,最后是列数 B = A....
第一次这么正式写代码,把前面学习的知识复习了一下,之前感觉一些知识很模式,没怎么用过不太了解,总算实践了一下,但是plt这个画图工具还是不太熟悉,希望之后可以掌握一下,画图可能观察起来更直观。
1.卷积层 1.1 从全连接层到卷积层 多层感知机十分适合处理表格数据,其中行对应样本,列对应特征。 对于表格数据,我们寻找的模式可能涉及特征之间的交互,但是我们不能预先假设任何与特征交互相关的先验结构。...
深度学习(花书)+动手学深度学习(李沐)学习资料整理1.深度学习(花书)1.1原书地址1.2中文版地址2.动手学深度学习(李沐)2.1原书地址(MXNET)2.2视频资源+代码2.3 PyTorch版本 1.深度学习(花书) 1.1原书地址 ...