李沐动手学深度学习 - 程序员宅基地

李沐动手学深度学习V2-使用Pytorch框架实现RNN循环神经网络

上篇博文记录了RNN从零实现过程，现在使用Pytorch的高级API提供的函数实现RNN，首先读取时光机器数据集： 2. 模型定义 Pytorch高级API提供了循环神经网络的实现，构造一个具有256个隐藏单元的单隐藏层的循环神经网络...

李沐动手学深度学习V2-BERT预训练和代码实现

标签：深度学习 bert bert预训练

利用中实现的BERT模型和中从WikiText-2数据集生成的预训练样本，下面在WikiText-2数据集上对BERT进行预训练。首先，加载WikiText-2数据集作为小批量的预训练样本，用于遮蔽语言模型和下一句预测。...

24 深度卷积神经网络 AlexNet【李沐动手学深度学习v2课程笔记】（备注：含AlexNet和LeNet对比）

标签：深度学习 cnn 笔记

2001 Learning with Kernels 核方法（机器学习）特征工程是关键、特征描述子：SIFT、SURF、视觉词袋（聚类）、最后用。抽取特征、描述集合、（非）凸优化、漂亮定理、如果假设满足了，效果非常好。2010 ImageNet ...

李沐数据操作【动手学深度学习v2】

标签：深度学习

区间为左闭右开，子区域取1,2两行，1：指取1列及向后的所有列。·每个元素的数据类型:例如32位浮点数。·每个元素的值，例如全是0，或者随机数。·形状:例如3x4矩阵。从0行开始，3行一跳。从0列开始，2列一跳。

李沐—动手学深度学习笔记

标签：笔记

将模型的输入和参数同模型的输出关联起来。回想一下，要计算线性模型的输出，我们只需计算输入特征X和模型权重w的矩阵-向量乘法后加上偏置b。广播机制：当我们用一个向量加一个标量时，标量会被加到向量的每个分量...

李沐动手学习深度学习——4.5练习

标签：学习深度学习人工智能

权重衰减

28 批量归一化【李沐动手学深度学习v2课程笔记】（备注：这一节讲的很迷惑，很乱）

标签：笔记深度学习 cnn

下面，我们从头开始实现一个具有张量的批量规范化层# 通过is_grad_enabled来判断当前模式是训练模式还是预测模式# 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差else:# 使用全连接层的情况，计算特征...

14 数值稳定性 + 模型初始化和激活函数【李沐动手学深度学习v2笔记】

标签：深度学习笔记人工智能

神经网络的梯度向量对向量求导（梯度）得到矩阵，太多的矩阵进行乘法会导致常见的两个问题梯度消失和梯度爆炸 MLP MLP使用ReLU作为激活函数梯度爆炸的问题输入很大的时候梯度接近为0 梯度消失梯度消失的问题只能...

李沐动手学深度学习(pytorch版本)"d2lzh_pytorch"包的缺少安装问题

标签： pytorch 深度学习神经网络

学习深度学习时候，很多人参考的是李沐的动手学深度学习Pytorch版本（附上官方地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/）。在学习3.5.1节 “获取数据集” 时，会遇到d2lzh_pytorch包缺少的问题，经过...

李沐动手学深度学习V2-attention注意力机制

标签：深度学习注意力机制 transformer

非自主性提示是基于环境中物体的突出性和易见性。假如你面前有五个物品：一份报纸、一篇研究论文、一杯咖啡、一本笔记本和一本书，如下图所示。所有纸制品都是黑白印刷的，但咖啡杯是红色的。...

【李沐动手学AI】ImportError: cannot import name ‘_log_api_usage_once‘ from ‘torchvision.utils‘ ...

标签： python 深度学习

【true-solution】重新(从头)装一遍环境，实质上是torchvision.utils的版本与pytorch不太兼容。

李沐动手学深度学习:从零实现softmax回归

标签： python 深度学习

1、图片分类数据集 import matplotlib.pyplot as plt import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import torch as d2l import os ...

李沐动手学深度学习V2-模型加载和保存

标签： pytorch python

1.模型保存和加载当运行一个耗时较长的训练过程时，最佳的做法是定期保存中间结果，以确保在服务器电源被不小心断掉时，我们不会损失几天的计算结果。因此，模型保存和加载十分重要 1.1 加载保存单个张量 ...

李沐动手学深度学习V2-自注意力机制之位置编码

标签：自注意力机制 self-attention 位置编码

位置编码可以通过学习得到也可以直接固定得到。**下面使用基于正弦函数和余弦函数的固定位置编码：假设输入表示X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d}X∈Rn×d包含一个序列中nnn个词元的ddd维嵌入表示。...

11 模型选择 + 过拟合和欠拟合【李沐动手学深度学习v2课程笔记】

标签：深度学习笔记人工智能

举例-1举例-2训练误差和泛化误差验证数据集和测试数据集K-则检查验证模型选择总结。

15 实战：Kaggle房价预测 + 课程竞赛：加州2020年房价预测【李沐动手学深度学习课程笔记】

标签：深度学习笔记人工智能

15 实战：Kaggle房价预测 + 课程竞赛：加州2020年房价预测【李沐动手学深度学习课程笔记】写在前面：这里格式很乱，代码直接去知乎copy。

李沐：《动手学深度学习》的初衷

标签：深度学习人工智能机器学习

Datawhale学习分享人：李沐，动手学深度学习作者本文是李沐在Datawhale学习会上的分享：跟李沐导师，动手学深度学习（点击可跳转）相信大家都听说过 ChatGPT，以及最近发布的 GPT-4。在五年前，我们开始写《动手学...

一篇文章搞定《动手学深度学习》-（李沐）PyTorch版本的所有内容

标签：深度学习机器学习 python

一篇文章搞定《动手学深度学习》-（李沐）PyTorch版本的所有内容

【无标题】李沐动手学深度学习之层和块

标签：深度学习 pytorch python

import torch from torch import nn from torch.nn import functional as F #多层感知机：具有256个单元和Relu激活函数的全连接隐藏层，具有10个隐藏单元且不带激活函数的全连接输出层 ...X = torch.rand(2, 20) ...