MySQL, Oracle, Linux, 软件架构及大数据技术知识分享平台

网站首页 > 精选文章 / 正文

DeepSeek-R1本地部署指南_deeprock配置

2025-02-20 15:47 huorong 精选文章 2 ℃ 0 评论

一、安装Ollama

1. 下载并安装Ollama

在终端中运行以下命令以安装Ollama:

curl -fsSL https://ollama.com/install.sh | sh

2. 验证安装

检查Ollama版本,确保安装成功:

ollama --version

如果成功安装,将显示Ollama的版本号。

3. 下载DeepSeek-R1模型

根据硬件配置选择合适的模型版本。例如,对于消费级GPU,可使用7B模型:

ollama run deepseek-r1:7b

若显存有限,可选择1.5B模型:

ollama run deepseek-r1:1.5b

等待模型下载完成。

二、安装Docker

1. 下载并安装Docker

访问Docker官网,根据Linux发行版选择安装指南。例如,在Ubuntu上,运行:

sudo apt-get update
sudo apt-get install -y docker.io

2. 启动Docker服务

sudo systemctl start docker
sudo systemctl enable docker

三、安装并运行Open Web UI

1. 运行Open Web UI

终端中运行命令启动Open Web UI:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

若设备支持GPU加速,使用以下命令:

docker run -d -p 3000:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:cuda

2. 访问Web UI

浏览器访问http://localhost:3000。首次访问可能需注册账号。

3. 选择模型

在Web UI中选择下载的DeepSeek-R1模型版本(如deepseek-r1:7b),即可开始使用。

四、Web UI的使用方法

1. 输入问题

在Web UI对话框中输入问题或提示,点击发送与模型交互。

2. 调整参数

可在Web UI中调整模型参数,如温度、最大生成长度等。

3. 查看日志

如Web UI无法正常显示,进入Docker容器查看日志:

docker logs open-webui

可尝试重启容器。

五、其他注意事项

1. 网络问题

下载模型时如遇网络问题,可使用代理或VPN。

2. 显存不足

显存不足时,选择较小的模型版本。

3. 隐私保护

本地部署的DeepSeek-R1和Open Web UI,数据保留在本地,不会上传到云端。

通过以上步骤,您可在Linux系统上轻松部署DeepSeek-R1模型,并通过Web UI进行交互。

Tags:重启容器

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言