一分钱不花！手把手教你部署Google最强开源AI大模型Gemma教程_windows "ollama_host=0.0.0.0:11434" ollama serve-程序员宅基地

技术标签： python  语言模型  ai  大模型  AIGC  

一分钱不花！本地部署Google最强开源AI大模型Gemma教程
半个多月前，谷歌搞了一波突然袭击，毫无预兆地发布了新一代AI模型Gemma，并宣称这是全球性能最强大的轻量级开源系列模型。

经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。
在这里插入图片描述

介绍

Ollama：是一款能够在本地快速搭建大型模型的工具，使用户能够轻松进行模型部署和使用。

Gemma：是由谷歌开源的一种大型模型。

open-webui：是一个优秀的大型模型 Web 用户界面，简化了模型部署和管理。

开始搭建（完整视频）

第一步：前期准备

选择系统版本（短期实验可以使用腾讯云的竞价实例）

由于大型模型需要 GPU 进行运算，建议选择支持 GPU 显卡的服务器系统版本。本文选择的是 Ubuntu 22.04。
在这里插入图片描述

端口问题：

注意要放开相应端口，本次实验以放开全部端口示例在这里插入图片描述
首次登录需要安装相应驱动，稍等即可
在这里插入图片描述

安装完成！

第二步：部署 Ollama

  1. 使用以下命令安装 Ollama：

    curl -fsSL https://ollama.com/install.sh | sh

速度可能因为网络慢一些，等待即可
在这里插入图片描述

  1. 安装完成后，编辑 Ollama 的服务配置文件：

    sudo vi /etc/systemd/system/ollama.service

在这里插入图片描述

在 `ExecStart=/usr/local/bin/ollama serve` 上面插入：
`Environment="OLLAMA_HOST=0.0.0.0:11434"`

在这里插入图片描述

  1. 开放 API 端口（默认端口为 11434），并重启服务器。
    在这里插入图片描述

  2. 访问 ip:11434 查看 Ollama 是否成功部署。

在这里插入图片描述

第三步：部署 Gemma

运行以下命令(这里以7b为例)： ollama run gemma:7b

等待部署完成后即可开始使用 Gemma，这里是交互式使用，接下来继续安装openweb-ui

在这里插入图片描述在这里插入图片描述

第四步：部署 open-webui

可以选择新建一个终端，运行的gemma不要停

在这里插入图片描述

  1. 部署 Docker（根据不同系统安装 Docker）。

    sudo apt install docker.io

    在这里插入图片描述

  2. 运行以下命令安装 open-webui（请注意镜像地址，这是使用的是速度快的国内源）：

    sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

在这里插入图片描述

  1. 启动容器(启动之后需要稍等1-2分钟，下载必要文件)：

    sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui

在这里插入图片描述
4. 访问 IP:3000 进入 open-webui，注册账号（第一次注册的账号默认为管理员）。
在这里插入图片描述
完美启动
在这里插入图片描述

  1. 在模型中检查 Ollama 连接状态是否成功.

在这里插入图片描述

  1. 点击头像进入管理员面板，将新用户默认改为用户（按需修改），省去用户需要审核的流程
    在这里插入图片描述

完美部署！

在这里插入图片描述

作为轻量化模型的存在8G显存即可运行7B模型，2B模型更是不需要显卡就可以流畅运行在这里插入图片描述

注意：

经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74041379/article/details/136988909

智能推荐

hdu 1229 还是A+B（水）-程序员宅基地

文章浏览阅读122次。还是A+BTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 24568Accepted Submission(s): 11729Problem Description读入两个小于10000的正整数A和B，计算A+B。...

http客户端Feign——日志配置_feign 日志设置-程序员宅基地

文章浏览阅读419次。HEADERS：在BASIC的基础上，额外记录了请求和响应的头信息。FULL：记录所有请求和响应的明细，包括头信息、请求体、元数据。BASIC：仅记录请求的方法，URL以及响应状态码和执行时间。NONE：不记录任何日志信息，这是默认值。配置Feign日志有两种方式；方式二：java代码实现。注解中声明则代表某服务。方式一：配置文件方式。_feign 日志设置

[转载]将容器管理的持久性 Bean 用于面向服务的体系结构-程序员宅基地

文章浏览阅读155次。将容器管理的持久性 Bean 用于面向服务的体系结构本文将介绍如何使用 IBM WebSphere Process Server 对容器管理的持久性 (CMP) Bean的连接和持久性逻辑加以控制，使其可以存储在非关系数据库..._javax.ejb.objectnotfoundexception: no such entity!

基础java练习题（递归）_java 递归例题-程序员宅基地

文章浏览阅读1.5k次。基础java练习题一、递归实现跳台阶从第一级跳到第n级，有多少种跳法一次可跳一级，也可跳两级。还能跳三级import java.math.BigDecimal;import java.util.Scanner;public class Main{ public static void main(String[]args){ Scanner reader=new Scanner(System.in); while(reader.hasNext()){ _java 递归例题

面向对象程序设计（荣誉）实验一 String_对存储在string数组内的所有以字符‘a’开始并以字符‘e’结尾的单词做加密处理。-程序员宅基地

文章浏览阅读1.5k次，点赞6次，收藏6次。目录1.串应用- 计算一个串的最长的真前后缀题目描述输入输出样例输入样例输出题解2.字符串替换(string)题目描述输入输出样例输入样例输出题解3.可重叠子串 (Ver. I)题目描述输入输出样例输入样例输出题解4.字符串操作（string）题目描述输入输出样例输入样例输出题解1.串应用- 计算一个串的最长的真前后缀题目描述给定一个串，如ABCDAB，则ABCDAB的真前缀有：{ A, AB,ABC, ABCD, ABCDA }ABCDAB的真后缀有：{ B, AB,DAB, CDAB, BCDAB_对存储在string数组内的所有以字符‘a’开始并以字符‘e’结尾的单词做加密处理。

算法设计与问题求解/西安交通大学本科课程MOOC/C_算法设计与问题求解西安交通大学-程序员宅基地

文章浏览阅读68次。西安交通大学/算法设计与问题求解/树与二叉树/MOOC_算法设计与问题求解西安交通大学

随便推点

[Vue warn]: Computed property “totalPrice“ was assigned to but it has no setter._computed property "totalprice" was assigned to but-程序员宅基地

文章浏览阅读1.6k次。问题：在Vue项目中出现如下错误提示：[Vue warn]: Computed property "totalPrice" was assigned to but it has no setter. (found in <Anonymous>)代码：<input v-model="totalPrice"/>原因：v-model命令，因Vue 的双向数据绑定原理 ， 会自动操作 totalPrice， 对其进行set 操作而 totalPrice 作为计..._computed property "totalprice" was assigned to but it has no setter.

basic1003-我要通过！13行搞定：也许是全网最奇葩解法_basic 1003 case 1-程序员宅基地

文章浏览阅读60次。十分暴力而简洁的解决方式：读取P和T的位置并自动生成唯一正确答案，将题给测点与之对比，不一样就给我爬！_basic 1003 case 1

服务器浏览war文件,详解将Web项目War包部署到Tomcat服务器基本步骤-程序员宅基地

文章浏览阅读422次。原标题：详解将Web项目War包部署到Tomcat服务器基本步骤详解将Web项目War包部署到Tomcat服务器基本步骤1 War包War包一般是在进行Web开发时，通常是一个网站Project下的所有源码的集合，里面包含前台HTML/CSS/JS的代码，也包含Java的代码。当开发人员在自己的开发机器上调试所有代码并通过后，为了交给测试人员测试和未来进行产品发布，都需要将开发人员的源码打包成Wa..._/opt/bosssoft/war/medical-web.war/web-inf/web.xml of module medical-web.war.

python组成三位无重复数字_python组合无重复三位数的实例-程序员宅基地

文章浏览阅读3k次，点赞3次，收藏13次。# -*- coding: utf-8 -*-# 简述：这里有四个数字，分别是：1、2、3、4#提问：能组成多少个互不相同且无重复数字的三位数？各是多少？def f(n):list=[]count=0for i in range(1,n+1):for j in range(1, n+1):for k in range(1, n+1):if i!=j and j!=k and i!=k:list.a..._python求从0到9任意组合成三位数数字不能重复并输出

ElementUl中的el-table怎样吧0和1改变为男和女_elementui table 性别-程序员宅基地

文章浏览阅读1k次，点赞3次，收藏2次。<el-table-column prop="studentSex" label="性别" :formatter="sex"></el-table-column>然后就在vue的methods中写方法就OK了methods: { sex(row,index){ if(row.studentSex == 1){ return '男'; }else{ return '女'; }..._elementui table 性别

java文件操作之移动文件到指定的目录_java中怎么将pro.txt移动到design_mode_code根目录下-程序员宅基地

文章浏览阅读1.1k次。java文件操作之移动文件到指定的目录_java中怎么将pro.txt移动到design_mode_code根目录下

推荐文章

热门文章

相关标签