部署deepseek

安装Ollama

1.浏览器打开Ollama官网,点击Download

下载地址

2.选择对应系统的版本，点击Download for ...下载

3.下载后双击进入，点击install安装，等待安装完成

4.安装完成后Win+R，输入cmd进入，输入ollama -v并回车，显示如下页面则ollama安装成功

5.修改Ollama大模型安装地址

修改环境变量，安装大模型到D盘（默认是C盘）。Win+i进入设置，搜索【查看高级系统设置】，进入【环境变量】

新建变量名OLLAMA_MODELS，设置路径，点击【确定】。

6.重启Ollama

在右下角找到羊驼图标，右键或者单机，在弹出的下拉框选择【Quit Ollama】，然后点击【开始】按钮,搜索Ollama,点击启动

安装deepseek

1.点击进入Models，选择需要deepseek-r1

2.根据电脑显卡及CPU配置选择训练参数,例如8b（8亿训练参数）.

DeepSeek模型的显存需求根据模型参数的不同而有所差异。以下是不同参数模型的显存需求：

1.5B 规模模型：仅需 1GB 显存即可运行，适合基础语言处理任务
7B、8B 规模模型：需要 8GB 显存，适用于更复杂的语言理解和生成任务
14B 规模模型：建议配备 12GB 或 16GB 显存，适用于生成结构严谨、内容丰富的文章和复杂语义理解
32B 规模模型：需要 24GB 显存，适用于处理长文本和复杂逻辑推理任务
70B 规模模型：需要 40GB 以上显存，适用于专业领域的深度分析和大型项目文案创作

3.在cmd粘贴并回车，等待下载安装DeepSeek

DeepSeek安装成功后输入"你好",如果回复即安装成功

SpringAl集成Deepseek

SpringAi官网

需要注意Springboot版本
Spring AI supports Spring Boot 3.2.x and 3.3.x

添加SpringAi依赖

在pom.xml文件中添加如下repository


  
    spring-milestones
    Spring Milestones
    https://repo.spring.io/milestone
    
      false
    
  
  
    spring-snapshots
    Spring Snapshots
    https://repo.spring.io/snapshot
    
      false

添加版本依赖

目前SpringAi稳定版本为1.0.0-SNAPSHOT


    
        
            org.springframework.ai
            spring-ai-bom
            1.0.0-SNAPSHOT
            pom
            import

添加Ollama依赖


    org.springframework.ai
    spring-ai-ollama-spring-boot-starter

代码集成

在application.yml中添加如下配置

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        enabled: true
        model: deepseek-r1:1.5b
      embedding:
        enabled: true

添加接口及Service

@Service
@ConditionalOnProperty(value = "spring.ai.ollama.chat.enabled", havingValue = "true")
public class OllamaImpl implements ChatModelService {

    @Resource
    OllamaChatModel chatModel;

    /**
     * 普通文本调用
     *
     * @param msg
     * @return
     */
    public String call(String msg) {
        Prompt prompt = new Prompt(msg);
        ChatResponse call = chatModel.call(prompt);
        return call.getResult().getOutput().getText();
    }

    /**
     * 流式调用
     *
     * @param msg
     * @return
     */
    public Flux streamCall(String msg) {
        Prompt prompt = new Prompt(msg);
        return chatModel.stream(prompt);
    }
}

@RestController
public class EmbeddingController {

    @Resource
    private ChatModelService chatModelService;
    @Resource
    private HttpServletResponse response;

    @GetMapping("/ai/call")
    public Object call(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Object response = this.chatModelService.call(message);
        return Map.of("embedding", response);
    }

    @GetMapping("/ai/stream/call")
    public SseEmitter streamCall(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return response(() -> this.chatModelService.streamCall(message));
    }
}

启动项目,使用postman或Apifox测试

Tags：conditionalonproperty

网站首页 > 精选文章 / 正文

Springboot接入deepseek