type
status
date
slug
summary
tags
category
icon
password
js
😀
公司买的算力服务器终于到了,顺手记录一下安装过程。 机器发来的时候,Nvidia的驱动已经装好了。 系统是Ubuntu 22.04,我们通过Xinference来安装DeepSeek,知识库使用Dify

首先我们需要安装docker和docker compose

  1. 安装前的准备
 
  1. 安装Docker
 
安装Docker Compose
  1. 下载最新的 Docker Compose 二进制文件
访问 Docker Compose 的 GitHub 发布页面(https://github.com/docker/compose/releases)获取最新版本号。以下命令示例使用了最新的版本号 v2.34.0,请根据需要替换为实际最新版本号。
2. 为 Docker Compose 二进制文件添加执行权限
3. 创建一个符号链接(可选)
为了使 docker-compose 更加方便地访问,你可以创建一个符号链接:
 
4. 验证安装
 
 

安装Xinference

原本想所有的大模型都用Xinference部署,奈何DeepSeek-R1的模型下不下来,后面还会安装Ollama。这里安装Xinference是因为Dify的Ollama插件,不能使用重排序模型。
直接使用Docker版
 

安装Ollama

这里也很简单,直接使用官网的命令安装即可
  1. 安装完后,拉取并启动对应的模型
  1. 查看Ollama日志
*卸载Ollama(需要重装的时候使用)
 

安装Dify

这里我们使用Docker Compose安装。安装前,请到Github上查询最新版本,目前最新版是v1.1.3。
首先用git把代码都拉到服务器上
进入Dify的Docker文件夹
复制环境变量文件
通过Docker Compose启动
下面这样就是启动成功了

一些Dify的配置

我们需要修改.env文件
修改完记得重启
 
最后在Dify中安装Xinference和Ollama的插件,配置好大模型即可开始使用了。
 
mysql-connector-j 8.4 启动慢的问题解决安卓safe-area-inset-bottom为0的问题
Loading...
吕行者
吕行者
吕行者
最新发布
Dify设置网络代理
2025-4-22
mysql-connector-j 8.4 启动慢的问题
2025-4-22
Ubuntu安装Dify实录
2025-4-8
解决安卓safe-area-inset-bottom为0的问题
2025-2-28
在Docker容器中,使用代理网络
2025-2-12
MySQL查询&结束死锁
2025-2-5