一、安装Ollama
1. 下载并安装Ollama
在终端中运行以下命令以安装Ollama:
curl -fsSL https://ollama.com/install.sh | sh
2. 验证安装
检查Ollama版本,确保安装成功:
ollama --version
如果成功安装,将显示Ollama的版本号。
3. 下载DeepSeek-R1模型
根据硬件配置选择合适的模型版本。例如,对于消费级GPU,可使用7B模型:
ollama run deepseek-r1:7b
若显存有限,可选择1.5B模型:
ollama run deepseek-r1:1.5b
等待模型下载完成。
二、安装Docker
1. 下载并安装Docker
访问Docker官网,根据Linux发行版选择安装指南。例如,在Ubuntu上,运行:
sudo apt-get update
sudo apt-get install -y docker.io
2. 启动Docker服务
sudo systemctl start docker
sudo systemctl enable docker
三、安装并运行Open Web UI
1. 运行Open Web UI
终端中运行命令启动Open Web UI:
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
若设备支持GPU加速,使用以下命令:
docker run -d -p 3000:8080 \
--gpus all \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:cuda
2. 访问Web UI
浏览器访问http://localhost:3000。首次访问可能需注册账号。
3. 选择模型
在Web UI中选择下载的DeepSeek-R1模型版本(如deepseek-r1:7b),即可开始使用。
四、Web UI的使用方法
1. 输入问题
在Web UI对话框中输入问题或提示,点击发送与模型交互。
2. 调整参数
可在Web UI中调整模型参数,如温度、最大生成长度等。
3. 查看日志
如Web UI无法正常显示,进入Docker容器查看日志:
docker logs open-webui
可尝试重启容器。
五、其他注意事项
1. 网络问题
下载模型时如遇网络问题,可使用代理或VPN。
2. 显存不足
显存不足时,选择较小的模型版本。
3. 隐私保护
本地部署的DeepSeek-R1和Open Web UI,数据保留在本地,不会上传到云端。
通过以上步骤,您可在Linux系统上轻松部署DeepSeek-R1模型,并通过Web UI进行交互。
Tags:重启容器