一. 背景

二. 安装ollama

三. 下载deepseek-r1模型文件

四. 安装vscode插件Continue

五. 安装浏览器插件Page Assist

六. 使用chatboxai

七. 参考ollama官方文档使用ai

八. 安装open-webui远程使用

一. 背景

deepseek问世后把gpu的硬件依赖减弱，进而有机会在我弱鸡电脑上，部署并运行本地的大模型。特此写下学习笔记。前面几个步骤都是在自己电脑本地使用本地模型的情况，后面open-webui是为了让其他远程电脑，可以使用部署了本地模式的ai功能而搭建的一个网页服务器。

二. 安装ollama

1. Ollama官网下载。

2. github下载(由于网络缘由，提议使用github加速下载win、linux。

3. 下载好OllamaSetup.exe后，先不急着安装，先修改大模型存储位置，否则会存储到c盘。

4. 添加环境变量 OLLAMA_MODELS、OLLAMA_HOST、OLLAMA_ORIGINS 。具体可以通过命令ollama serve -h进行查看。
   OLLAMA_MODELS = 模型路径 设置 ollama下载模型的存储路径
   OLLAMA_HOST = 0.0.0.0:11434 设置运行所有ip访问
   OLLAMA_ORIGINS = * 设置运行所有站点访问

   

   1. win下添加环境变量，通过《我的电脑》右键属性，找到《高级系统设置》，再找到《环境变量》之后进行环境变量的设置

      

   2. linux下添加环境变量，通过修改vi /etc/bash.bashrc 或者 vi /etc/profile，实现所有用户的环境变量修改，如果需要限制当前用户，可以vi ~/.bashrc 或者 ~/.bash_profile，
      添加如下内容，其中models是你需要放模型的路径

export OLLAMA_MODELS=/home/ai/models
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS=*  

5. 点击OllamaSetup.exe进行安装，一直next到安装结束就行。
6. 安装好之后，先运行命令ollama serve。确保设置的环境变量是正确的

   

7. linux下配置ollama开机自启动
   1. 创建systemd的ollama服务文件，其中ExecStart是对应需要执行的ollama目录，Environment是需要带入的环境变量，如果定义了系统环境变量，可以不用Environment。

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/home/ai/models"
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

2. 通过命令 systemctl daemon-reload 重新加载 systemd
3. 通过命令 systemctl enable ollama ，使能ollama开机自启动， systemctl disable ollama，关闭开机自启动
4. 通过命令 systemctl status ollama，查看ollama状态
5. 通过命令 ollama serve，直接运行ollama
6. 通过命令 sudo journalctl -u ollama.service -f，查看ollama运行日志

三. 下载deepseek-r1模型文件

1. Ollama模型搜索可以搜索到各种不同的模型，这里我们找到deepseek-r1。
2. 根据电脑性能选择合适的模式，参数越多模型越精准，对应的存储和运存空间也会相应的变大。具体情况可以参考deepseek-r1的1.5b、7b、8b、14b、32b、70b和671b有啥区别？ ，这里对于日常办公写代码的环境，1.5b-7b基本够用。而且对性能要求也没有那么高。
3. 使用cmd命令 ollama run deepseek-r1:1.5b 获取1.5b参数模型，并且直接启动。也可以通过 ollama pull deepseek-r1:1.5b 只是拉去模型镜像到本地，用法有点类似docker。
4. 等待下载完成，这个过程有点慢，目前暂时加速方案，可以通过模型库首页 · 魔搭社区进行加速，需要注意的是，必须拉去gguf格式的模式，如下在.net/之后是对应的模型，列如DeepSeek-R1-Distill-Qwen-1.5B-GGUF
   ollama run modelscope2ollama-registry.azurewebsites.net/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF
5. 修改模式名称（不是必须步骤，只是为了加速下载的模型名称变短）。
   1. 通过命令ollama cp oldname newname把oldname模型复制到newname。
   2. 通过命令ollama rm oldname把oldname模型删除。

四. 安装vscode插件Continue

1. 打开vscode，点击左边插件图标，或者按Ctrl + Shfit +x，打开插件搜索框。

2. 在搜素框输入continue，找到continue插件点击安装，安装完成之后，左侧会出现continue的图标。

   

3. 点击左侧continue插件图标，配置对应的ollama 和 deepseek-r1模型选择如图。

   

4. 配置成功之后，还需要查看自动识别是否正常，并且选择需要的模型

   

5. 选择对应的模型之后，就可以开始相关的ai功能，列如问问题。

   

6. 集成到vscode，最直接的功能，肯定是写代码了。新建一个文件，或者对已有文件Ctrl + I会跳到自动写代码的功能。

   

7. 把要写的需求描述出来，列如 帮忙写个python读excel，并且画折线图的代码，确定后回车，会自动输出相关代码。

   

8. 通过选择对应的代码，并且使用Ctrl + L，可以进行代码优化。不过感觉这个功能有点拉胯，不知道是插件的问题，还是模型参数太小。
9. continue插件有个"apiBase": "http://192.168.1.116:11434"参数可以配置url，但是目前远端调用没有成功，带后续排查

五. 安装浏览器插件Page Assist

1. 下载Page Assist – 本地 AI 模型的 Web UI | Chrome扩展 – Crx搜搜
2. 安装插件到浏览器，某些浏览器不支持，列如我用edge，可以把crx文件先解压，然后再浏览器设置开发者模式，再加载插件进来。具体参考新版Edge浏览器安装外部扩展（.crx）的方法_edge crx插件怎么安装-CSDN博客。

3. 安装好插件后，可以点击插件图标并且打开插件。可以在侧边使用ai聊天功能。

   

六. 使用chatboxai

1. chatboxai可以进行本地安装或者直接使用web进行ai体验，方法大同小异，下面以web使用进行说明。
2. 点击webchatboxai进入web页面，在web页面左侧找到setting进行相关的设置。
3. 把model页面对应设置如下，选择ollama以及对应的host和模型。

4. 把display页面对应设置，改为中午，最后点击保存save。

   

5. 发送测试命令进行测试，如果没有异常就会正常回答你的问题。

   

七. 参考ollama官方文档使用ai

1. 参考ollama官方文档通过http接口进行ai访问，这个主要是做成集成接口使用，下面仅做事例
2. 通过curl命令行进行提问：curl -X POST http://36qbbc765118.vicp.fun:33018/api/chat -d {"model": "deepseek-r1:1.5b", "messages": [{"role": "user", "content": "天空之所以蓝"}], "stream": false}

   

3. 通过代码实现http请求，这里以python代码为例：

#!/usr/bin/env python3
# encoding=utf-8
# 使用curl直接测试
# curl -X POST http://36qbbc765118.vicp.fun:33018/api/chat -d  {"model": "deepseek-r1:1.5b", "messages": [{"role": "user", "content": "天空之所以蓝"}], "stream": false} 

import json
import requests

url =  http://%s/api/chat  % ( 36qbbc765118.vicp.fun:33018 )        #  内网穿透ip
url =  http://%s/api/chat  % ( localhost:11434 )                    #   localhost
# url =  http://%s/api/chat  % ( 192.168.1.116:11434 )                #   192.168.1.116
data =  {"model": "deepseek-r1:1.5b", "messages": [{"role": "user", "content": "天空之所以蓝"}], "stream": false} .encode()
headers = {
     Content-Type :  application/x-www-form-urlencoded ,
}
print(url)
try:
    response = requests.post(url, headers=headers, data=data)
    # print(response.content)
    if response.status_code == 200:
        result = json.loads(response.content.decode( utf-8 ))
        print(result["message"])  # 输出模型生成的答案
    else:
        print(f"请求失败，状态码：{response.status_code}
错误信息：{response.text}")
except Exception as e:
    print(f"发生异常：{str(e)}")

八. 安装open-webui远程使用

1. 通过github获取open-webui的安装信息
2. 可以分别通过python和docker进行安装，win电脑不喜爱用docker（用虚拟机），用docker，可以自行参考github中的安装信息，python比较容易点，所以选择用python进行安装，不过这里比较坑的是，指定用python 3.11的版本，其他版本需要自己模型
3. 确定安装python 3.11版本之后，用 pip install open-webui 下载open-webui模块
4. 通过命令 open-webui serve 在8080端口启动webui