优化器（梯度下降 + Momentum）_优化器中的momentum-程序员宅基地

技术标签：机器学习深度学习人工智能

动量梯度下降（Momentum Gradient Descent）是一种优化算法，用于训练机器学习模型，特别是神经网络模型。它是在标准梯度下降算法的基础上引入了动量概念，以解决梯度下降中的一些问题，例如局部最小值、鞍点等。

提出背景：

动量梯度下降算法的提出是为了解决传统梯度下降算法中的一些问题。

在高度曲折的损失函数表面上的震荡
收敛速度缓慢等。
通过引入动量的概念，可以在一定程度上加速收敛，并且有助于跳出局部最小值。

理论：

动量梯度下降的核心思想是引入动量因子，使得更新方向不仅取决于当前梯度，还考虑了之前更新方向的影响。这样可以在一定程度上平滑更新路径，加速收敛。

公式

While 条件：
- $\leftarrow \nabla_{\theta_{k-1}} L(\theta)$ # 计算梯度
- $w_k = \alpha w_{k-1} + (1 - \alpha) g$ # 计算动量
- $\theta_{k} = \theta_{k-1} - \eta w_k$ # 更新参数

$\theta_{k-1}$ 是第k-1步的模型参数向量。
$\nabla L(\theta_{k-1})$ 是损失函数 $L$ 对参数 $\theta_{k-1}$ 的梯度。
$\eta$ 是学习率。
$\alpha$ 是动量参数，通常取值在 0 到 1 之间，决定了历史梯度对当前更新的影响程度。
$w_k$ 是动量，表示历史梯度的加权累积。

代码示例

下面是一个简单的 Python 代码示例，演示了如何使用动量梯度下降算法来训练一个简单的线性回归模型：

import numpy as np

def momentum_gradient_descent(params, grads, velocities, lr=0.01, momentum=0.9):
    for param, grad, velocity in zip(params, grads, velocities):
        velocity[:] = momentum * velocity + lr * grad
        param[:] -= velocity

优缺点

优点：

加速收敛：动量可以帮助加速SGD在相关方向上的收敛，并抑制振荡，使得训练过程更快。
降低震荡：通过平滑梯度，动量方法可以减少训练过程中的震荡，使得更新过程更稳定。
逃离局部最小：动量的累积可以帮助算法跳出局部最小值。

缺点：

超参数敏感：动量系数的选择对算法的性能影响很大，需要仔细调整。
可能错过最小值：过大的动量可能会导致算法在最小值附近“冲过头”，从而错过最优解。

本文链接：https://blog.csdn.net/m0_48923489/article/details/136853837

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

C#winform程序中控件等比例缩放（主要针对主程序加载子程序）_winform 等比缩放-程序员宅基地

文章浏览阅读2k次。这里的等比例适用的是在主窗体中加载了多个子窗体，或者一个主程序引用了另外一个子程序dll这样等比例缩放，也并不是实际意义上的等比例，而是相当于重新加载子窗体，但子窗体里面的数据不能变化。主窗体和子窗体加载这种就不介绍，直接介绍主程序加载子程序的dll这种，主窗体与子窗体与其类似。先建立一个主程序，主程序就当做一个壳，里面简单放几个容器即可。再建立一个子程序，子程序可以随便加点窗口进去，主要是为了让主程序调用加载进主程序。为了实现所谓的等比例缩放，子窗体..._winform 等比缩放

Android 计时器Chronometer 使用及源码分析-程序员宅基地

文章浏览阅读852次，点赞27次，收藏22次。今天关于面试的分享就到这里，还是那句话，有些东西你不仅要懂，而且要能够很好地表达出来，能够让面试官认可你的理解，例如Handler机制，这个是面试必问之题。有些晦涩的点，或许它只活在面试当中，实际工作当中你压根不会用到它，但是你要知道它是什么东西。最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。还有。

lombok常用注解大全_lombok.singular.useguava-程序员宅基地

文章浏览阅读1.9w次，点赞24次，收藏94次。lombok可以帮助我们提升日常开发的效率jar包。里面有许多实用的注解。本文将对lombok的常用注解作使用介绍,对于一些实验性官方不推荐的注解只会简单介绍实验性注解可能会带来一些风险。注: 本文基于lombok-1.18.6本文部分内容机翻自官网文章目录lombok的引入和安装lombok的基本注解使用变量相关val和var@NonNull实体类相关@Getter and @..._lombok.singular.useguava

linux网络编程：多播（组播）编程_mcast 多播包-程序员宅基地

文章浏览阅读7.4k次，点赞3次，收藏36次。什么是多播单播用于两个主机之间的端对端通信，广播用于一个主机对整个局域网上所有主机上的数据通信。单播和广播是两个极端，要么对一个主机进行通信，要么对整个局域网上的主机进行通信。实际情况下，经常需要对一组特定的主机进行通信，而不是整个局域网上的所有主机，这就是多播的用途。多播，也称为“组播”，将局域网中同一业务类型主机进行了逻辑上的分组，进行数据收发的时候其数据仅仅在同一分组中进..._mcast 多播包

JENKINS 安装，学习运维从这里开始

找到这个红圈目录里的config.xml 文件，替换这个HASH串：#jbcrypt:$2a10 1010DdaWzN64JgUtLdvxWIflcuQu2fgrrMSAMabF5TSrGK5nXitqK9ZMS。选择安装最适合的插件，则自己进行选择插件，我们这里选择推荐的，继续。出现新手入门：选择安装推荐的插件，或者选择安装最适合的插件！换一个端口吧，毕竟8080太通用了，容易冲突，呵呵。保存，如果不能保存，可以采用管理员方式，或者授权。然后，继续经过一段时间的等待。推荐的插件，将自动安装这些。

Ansible playbook之变量引用

nginx]---tasks:发现变量调用成功，我们修改下/etc/ansible/hosts文件[nginx]key=nginx├── hosts├── roleskey: nginx[nginx]a port.a port.