type
status
date
slug
summary
tags
category
icon
password
js
公司买的算力服务器终于到了,顺手记录一下安装过程。
机器发来的时候,Nvidia的驱动已经装好了。
系统是Ubuntu 22.04,我们通过Xinference来安装DeepSeek,知识库使用Dify
首先我们需要安装docker和docker compose
- 安装前的准备
- 安装Docker
安装Docker Compose
- 下载最新的 Docker Compose 二进制文件
访问 Docker Compose 的 GitHub 发布页面(https://github.com/docker/compose/releases)获取最新版本号。以下命令示例使用了最新的版本号 v2.34.0,请根据需要替换为实际最新版本号。
2. 为 Docker Compose 二进制文件添加执行权限
3. 创建一个符号链接(可选)
为了使 docker-compose 更加方便地访问,你可以创建一个符号链接:
4. 验证安装
安装Xinference
原本想所有的大模型都用Xinference部署,奈何DeepSeek-R1的模型下不下来,后面还会安装Ollama。这里安装Xinference是因为Dify的Ollama插件,不能使用重排序模型。
直接使用Docker版
安装Ollama
这里也很简单,直接使用官网的命令安装即可
- 安装完后,拉取并启动对应的模型
- 查看Ollama日志
*卸载Ollama(需要重装的时候使用)
安装Dify
这里我们使用Docker Compose安装。安装前,请到Github上查询最新版本,目前最新版是v1.1.3。
首先用git把代码都拉到服务器上
进入Dify的Docker文件夹
复制环境变量文件
通过Docker Compose启动
下面这样就是启动成功了
一些Dify的配置
我们需要修改.env文件
修改完记得重启
最后在Dify中安装Xinference和Ollama的插件,配置好大模型即可开始使用了。
- 作者:吕行者
- 链接:https://www.lvy.life/article/2025/04/02/1c91f2f0-5182-806d-a93f-d0b1908fe8c8
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。