用 Xinference 部署 DeepSeek R1 镜像没头绪？这份快速上手实用指南快收藏！

Hi，小谷

首页

课程中心

实战课程课程商城实验项目

AI赋能

AI助教个性学习练习提效认证报考

学习工具

学习指南考试指南 IT证书免费视频开班计划

会员订阅

初级中级高级组合

关于我们

名师团队博睿谷

电话18503067430

在线咨询

资讯动态

学员故事

学习干货

用 Xinference 部署 DeepSeek R1 镜像没头绪？这份快速上手实用指南快收藏！ 2025/09/16

CC 攻击怎么防御？技术原理及服务器影响有哪些 2025/09/16

Linux 系统下如何借助命令行工具玩转 Python 程序之编辑、存储与执行 2025/09/15

VPN 加密隧道是什么？3 种类型对比 + 网速影响 / 安全疑问解答 2025/09/15

华为 S 系列交换机默认密码多少？密码遗忘怎么恢复？ 2025/09/15

VMware 虚拟机使用教程，软件开发与测试更顺畅的实操攻略 2025/09/12

Linux 时区设置教程：timedatectl 命令实操 + UTC/GMT/CST 时间概念详解 2025/09/12

Linux 7/8 本地 YUM 仓库配置教程：从 ISO 镜像到无网环境软件管理 2025/09/11

抓包工具选 Wireshark 还是 tcpdump？怎么用能定位网络问题 2025/09/09

虚拟化技术怎么选？VMware 和 Docker 有什么区别？ 2025/09/09

VMware vSphere 8.0 VCSA 怎么搭建？常见问题有哪些 2025/09/08

Flutter Text 组件怎么用？核心属性有哪些？ 2025/09/03

防火墙 IPSec 报文怎么统计？华为华三配置有啥不同？ 2025/09/01

网络ping不通？物理链路检查从哪入手？ 2025/08/28

OSPF 区域划分怎么操作？核心原则是什么 2025/08/28

OSPF 邻居建立失败怎么解决？10 大影响因素有哪些？ 2025/08/27

渗透测试各阶段用什么工具？信息收集到报告生成工具清单 2025/08/26

DevEco Studio 常用快捷键：HarmonyOS 鸿蒙开发效率提升指南 2025/08/21

RIP协议详解：距离矢量路由协议的工作机制与应用 2025/08/20

交换机工作原理是什么？ 2025/08/20

Kubernetes 常见故障深度解析 2025/08/19

Python 爬虫核心库全解析：从请求到解析的完整技术图谱 2025/08/19

OpenEuler 支持的主流编程语言盘点 2025/08/18

osi七层模型和tcp/ip模型的区别 2025/08/14

防火墙故障排查手册：常见难题一网打尽？ 2025/08/08

50 个高危及常用网络端口全解析：风险原理与防护策略大全 2025/08/08

20 大核心网络协议详解：从 TCP/IP 到 OSPF，原理 + 实战场景全解析 2025/08/07

IP 地址与子网掩码详解：组成、作用及协同工作原理 2025/08/07

Docker 核心技术深度剖析：从 Namespace 到容器运行时原理详解 2025/07/31

安装部署 Kubernetes（k8s） 2025/07/30

常见网络拓扑结构有哪些？网络工程师必看内容 2025/07/30

OSPF 常见错误分析及排查思路 2025/07/21

eNSP 安装后如何快速完成设置？ 2025/07/15

Docker 部署实战：国内镜像加速与容器化 2025/07/14

网络安全学习资源之靶机实验平台 2025/07/11

人工智能大模型怎么用？智能体与 Dify 平台超详细科普 2025/07/08

想在 Linux 环境部署 Oracle 19C？这份指南请收好 2025/07/03

如何高效部署华为 OpenStack 环境？快速上手教程 2025/07/01

华为网络拓扑命名规则详解：设备编号、IP规划、接口配置 2025/06/23

Hybrid 接口实验全流程解析：从 VLAN 规划到连通性测试 2025/06/20

华为 eNSP 和 Virtualbox 重装流程是什么？必会步骤详解 2025/06/19

如何在Windows上用Anaconda搭建Python开发环境？ 2025/06/10

如何高效创建虚拟机？VMware Workstation Pro详细步骤解析 2025/06/09

Linux文件系统核心目录结构与FHS标准 2025/06/03

Ansible的原理与安装 2025/05/29

访问网络交换机的Access、Trunk、Hybrid模式如何选？ 2025/05/26

Oracle数据库复杂查询性能优化指南：系统化排查与调优策略 2025/05/21

VLAN配置与排错6步法 2025/05/15

Web开发工具清单及推荐 2025/05/08

直连设备Ping不通如何排查与解决？ 2025/05/07

OpenStack与红帽Ceph集成及CL261考试解析 2025/05/07

MAC地址、物理地址与链路层地址：概念辨析与技术实现 2025/05/06

如何选Linux认证？零基础怎么选？ 2025/04/30

如何部署SSL证书，实现https访问呢？ 2025/04/28

云服务是什么？一文读懂云计算的核心概念、服务模式与行业应用 2025/04/27

RHCSA必会命令速查表：哪些命令是考试关键？ 2025/04/27

运维工程师的证书选哪个靠谱？ 2025/04/27

HTTP和HTTPS的区别在哪? 2025/04/25

HCIP安全认证：实验题实战要点 2025/04/24

为什么选择PostgreSQL而非MySQL？ 2025/04/24

云原生时代Docker会被淘汰？K8s集群管理与容器化实战如何选择 2025/04/15

路由交换技术问题怎么解决？VLAN通信、OSPF邻居、ACL配置常见故障Q&A 2025/04/14

Kubernetes进阶知识深度解析：从控制器到生态集成 2025/04/11

HCIP和HCIE实验题难度差距有多大？ 2025/04/10

Kubernetes架构与实践指南 2025/04/10

错误代码定位故障的工程化方法 2025/04/10

路由与交换技术精要指南：从网络架构到高阶运维的实战方法论 2025/04/09

RHCE考试实战技巧：高效通关的12个关键策略 2025/04/09

红帽RHCE认证考前辅导环境详解_博睿谷在线教育 2025/04/09

vSphere环境搭建步骤：ESXi 7.0和vCenter 8.0安装配置 2025/03/31

ITIL认证培训课程_零基础快速掌握IT服务管理 2025/03/31

想考网络工程师班？需要具备哪些条件？ 2025/03/23

华为云计算认证HCIA,HCIP,HCIE都涵盖哪些学习内容？ 2025/03/23

基于DeepSeek的网络安全自动化解决方案：漏洞挖掘与攻防效率提升 2025/03/20

网络工程师路由交换代码手册：Cisco/华为命令对照表+OSPF调优参数 2025/03/19

红帽OpenStack部署（基于RHOSP 17/18版本） 2025/03/18

Python自动化代码库：Excel/爬虫/邮件告警场景模板即用 2025/03/17

ENSP必会命令全集：VLAN/OSPF/ACL配置+排错指令 2025/03/17

Oracle与国产数据库替代成本对比表 2025/03/16

Linux 工具包：系统管理、开发与运维全场景工具指南 2025/03/16

华为欧拉HCIA认证值得考吗？关键因素分析与决策建议 2025/03/13

网络工程师培训你了解多少？ 2025/03/13

CKA认证是什么？考试全攻略：核心考点+高效备考+真题解析 2025/03/13

Linux安装部署PostgreSQL详细步骤 2025/03/13

PostgreSQL高可用性配置有哪些最佳实践? 2025/03/12

openEuler企业级部署如何维护？涵盖硬件验证、集群架构及内核调优！ 2025/03/11

RHCSA认证一次考过有何秘诀？要点全解析！ 2025/03/10

网络工程师必备哪些知识点？从协议到云网实战全解析（附命令）！ 2025/03/10

华为HCIP认证都考些什么内容？ 2025/03/09

页面定时刷新与跳转技术：实现方案与代码实战 2025/03/06

Linux认证含金量大比拼：RHCE、LPI、Linux+，哪个才是你的职场加速器？ 2025/03/06

Pearson VUE考试证件政策完全解读：避免因证件问题被拒考 2025/03/06

STP与RSTP协议对比：端口角色及端口状态解析 2025/03/03

华为认证考场应急操作手册（2024版） 2025/03/03

红帽认证通关秘籍：两大核心板块+高频考点全曝光 2025/02/28

HCIE-Datacom实验：静态路由配置详解 2025/02/24

华为eNSP模拟器深度指南：架构解析/实验配置/故障排除全攻略（含替代方案） 2025/02/23

常见网络协议汇总_入门到精通指南 2025/02/13

Oracle 19c 安装与基础配置全流程指南 2025/02/12

信创证书，2025年的热门证书介绍 2025/02/07

C语言连接MySQL数据库常见错误及解决方案 2025/02/06

HCIE认证考试最新避坑全攻略！ 2025/01/20

MySQL开源数据库之一，职业发展与技术进阶指南 2025/01/11

数据库MySQL事务处理 2025/01/10

华为认证重新认证攻略 2024/12/22

红帽认证考取攻略 2024/12/11

如何快速通过Oracle OCM证书考试 2024/12/04

来自OCM学员的学习经验与教训 2024/12/02

RHCE认证考试报名指南 2024/11/29

HCIE培训班费用解析及选择指南：考生必读的四大标准 2024/11/28

如何在Linux环境下使用Python脚本有效导出Oracle数据库的方法 2024/11/25

HCIE考试怎么过？听听这位学霸怎么说！ 2024/11/20

OCM考试知识点汇合以及备考攻略 2024/11/19

Oracle 19c OCP认证培训全攻略 2024/11/18

HCIA-Datacom练习题 2024/11/16

最新RHCSA题库练习_博睿谷培训订阅 2024/11/13

OCP认证培训班？博睿谷培训课程推荐 2024/11/11

Oracle数据库表查询：深入理解和高效执行 2024/11/10

华为欧拉考试大纲介绍 2024/11/06

HCIA的题型有哪些？ 2024/11/04

HCIE-Datacom实验考试如何高效备考？ 2024/11/02

OCM考试须知：从零开始备考攻略 2024/11/01

HCIA认证培训怎么选?博睿谷订阅培训 2024/10/27

拥有HCIE级网络工程师资格的你能拿多少工资？ 2024/10/25

如何高效备考一个月拿下PMP认证考试？ 2024/10/20

MySQL OCP认证和Oracle OCP认证的差异？ 2024/10/18

RHCE考试心得分享：何同学经历总结，助你高分通过 2024/10/14

华为安全HCIE认证是什么？怎么考试？_博睿谷订阅培训 2024/10/12

2024年华为HCIE认证报名费用多少？报名流程分享 2024/10/11

RHCSA最新考试题库 2024/10/10

19c OCM考试时间安排与备考指南 - 让你轻松通过认证 2024/10/10

RHCE认证考试是有中文版本吗？ 2024/10/08

欧拉操作系统（openEuler）是什么？博睿谷_订阅式培训 2024/10/03

华为认证 HCIE 笔试+实验考试指引，看完你就懂了！！ 2024/10/03

华为认证与红帽认证哪个适合您？博睿谷_订阅培训 2024/10/01

华为认证零基础怎么选合适自己？博睿谷_订阅培训 2024/09/30

详细带你了解华为HCIA报名注册流程 2024/09/30

红帽RHCE考试内容以及考试攻略，这篇文章带你搞定 2024/09/30

华为HCIE认证方向哪个吃香？ 2024/09/29

Oracle OCP认证考试流程及备考要点解析 2024/09/29

OCP认证培训要多久？大多数人都不知道 2024/09/29

华为认证最新学习模式，博睿谷9.9元解锁IT认证学习之旅！！ 2024/09/23

快速取得Oracle认证(OCP)证书的攻略？ 2024/09/23

2024年华为认证HCIA/HCIP/HCIE笔试实验考试预约流程攻略 2024/09/23

学习Linux的最佳选择：五大理由支持红帽认证 2024/09/22

RHCE考试技巧分享 2024/09/21

HCIE认证过来人的实用学习攻略大揭秘 2024/09/20

最新华为HCIP认证报考详细内容 2024/09/14

2024年最新RHCE考试指南：时间_地点_内容与费用全解析 2024/09/14

一文带你了解OCM认证考试全攻略 2024/09/14

华为HCIA考试时间是什么时候？要考多久？ 2024/09/12

oracle OCP认证与 MySQL OCP认证考哪个? 2024/09/09

华为HCIA、HCIP和HCIE认证：费用、难度与续证要求 2024/09/09

Oracle/MySQL OCP/OCM怎么备考？容易通过吗？ 2024/09/08

甲骨文Oracle认证OCA/OCP/OCM有什么区别？ 2024/09/08

2024年OCP认证备考指南：教材、培训与实践 2024/09/07

OCM认证考试有什么条件？ 2024/09/06

华为HCIA认证报名指南：步骤、费用及注意事项 2024/09/05

如何获得HCIE-Datacom认证？ 2024/09/04

红帽认证怎么考？RHCSA RHCE RHCA 2024/09/04

华为认证可以跳过HCIA，直接考HCIP吗？ 2024/09/04

如何成为Linux红帽RHCA认证架构师？ 2024/08/23

CISP认证培训与考试全攻略 2024/08/23

华为认证网络工程师有什么报考条件？如何高效备考? 2024/08/23

华为HCIE认证难考吗？ 2024/08/12

华为HCIE是干什么的？华为HCIE证书难考吗？ 2024/08/07

红帽RHCA怎么考 2024/07/31

就业新篇章|从迷茫到明确，CISP认证引领我开启无限可能的职业旅程 2024/07/27

华为认证实验考试深度解析与备考要点 2024/07/24

Python 有哪些特点？该怎么学习？ 2024/07/23

华为云计算认证如何学？热门技能与就业前景全攻略 2024/07/12

CISP 认证是什么？有哪些就业机会？ 2024/07/03

如何备考Redhat证书？实用技巧分享 2024/06/28

网络工程师必备书籍，建议收藏！！！ 2023/11/01

特惠报名入口

验证码

提交

用 Xinference 部署 DeepSeek R1 镜像没头绪？这份快速上手实用指南快收藏！

2025/09/16

黄老师

DeepSeek R1镜像/xinference部署教程

点击查看视频教程>>>>DeepSeek R1 镜像 /xinference 部署教程

在如今的技术应用场景里呀，很多朋友都想利用 Xinference 去部署 DeepSeek R1 镜像，可往往一着手做，就觉得摸不着头脑，不知道该从哪儿开始。别着急，下面我就把自己实际操作过的详细步骤分享出来，给大家一份实实在在能快速上手的实用指南，相信对大家会很有帮助哦，可得赶紧收藏起来呀。

一、部署前的准备工作

（一）硬件准备

在正式开始部署之前呢，咱们得先把硬件这方面给准备好，要知道不同规模的 DeepSeek R1 模型，对硬件的要求那可是不一样的。就比如说：

DeepSeek - R1 - 1.5B：它的 FP16 显存需求大概是 3GB，要是你硬件条件有限，最低用个 RTX 3050 显卡也能对付，甚至没有显卡光靠 CPU 也能进行推理，只不过速度会慢不少。这时候 CPU 配置最低得是 4 核处理器，内存要有 8G 才行。

DeepSeek - R1 - 7B：这个规模的模型，FP16 显存需求就变成 14GB 了，那显卡最低就得用上 RTX 3090 了，相应的 CPU 最低得是 8 核处理器，内存得达到 16G，像 Ryzen7 或者更好的 CPU 才行。

DeepSeek - R1 - 70B：这可就是个大家伙了，FP16 显存需求一下子飙到 140GB，那就得配备 4×A100/H100 - 80G 的显卡，CPU 方面呢，最低得是 Xeon 8 核的，内存更是要 128GB 或者更高配置才行。

所以啊，大家要根据自己手头现有的硬件条件，去选择合适规模的 DeepSeek R1 模型来进行部署哦。

（二）软件准备

安装显卡驱动和 CUDA：
得先根据自己显卡的具体型号，去安装对应的显卡驱动和 CUDA 版本。打个比方，如果你的显卡支持 CUDA 12.8，那可以试试下面这样的指令来安装（不过要注意哈，具体指令可能因为显卡型号以及操作系统版本的不同，会有一些变化哦）：

bash​

sudo apt install nvidia - utils - 565 - server sudo apt install nvidia - cuda - toolkit

安装完了之后呀，咱们还得验证一下到底装没装成功，可以通过查看 CUDA 版本的指令来确认一下，像这样：

bash

nvcc - V

安装 Conda：
Conda 可是个特别实用的环境管理工具呢，咱们部署的时候就靠它来创建和管理 Python 环境了。
首先呢，得更新一下软件包，在终端里输入下面这两条指令：

bash

sudo apt update sudo apt upgrade

接着再安装一些基本的依赖，指令如下：

bash

sudo apt install wget curl bzip2 ca - certificates

然后去下载 Anaconda 安装脚本并且运行它，操作如下：

bash

wget https://repo.anaconda.com/archive/Anaconda3 - 2023.03 - 1 - Linux - x86_64.sh bash Anaconda3 - 2023.03 - 1 - Linux - x86_64.sh

在安装的过程中呀，按照它提示的内容一步步来就行，中间可能需要输入 “yes” 去确认一些操作。等安装完了之后，还得初始化一下 Anaconda，就用这个指令：

bash

source ~/.bashrc

最后呢，咱们可以验证一下安装的结果，输入这个指令看看：

bash

conda env list

二、安装 Xinference 及相关依赖

（一）创建 Conda 虚拟环境

打开终端之后呀，咱们要创建一个名叫 Xinference 的虚拟环境，同时指定 Python 的版本为 3.10.15（当然啦，你也可以结合实际情况去选择其他合适的 Python 版本哦），指令是这样的：

bash

conda create - n Xinference python = 3.10.15

创建好之后呢，再激活这个虚拟环境，用下面这个指令：

bash

conda activate Xinference

（二）安装 chatglm - cpp

要安装 chatglm - cpp 呀，得先从 GitHub 上去下载它的安装文件，下载地址是这个：https://github.com/li - plus/chatglm.cpp/releases。下载好之后呢，切换到这个文件所在的目录，然后运行下面这样的指令去进行安装（这里假设你下载的是适合 Python 3.10 的版本哈）：

bash

pip install chatglm_cpp - 0.4.2 - cp310 - cp310 - manylinux_2_17_x86_64.manylinux2014_x86_64.whl

（三）安装 Xinference

安装 Xinference 的时候呢，咱们可以用下面这个指令去安装所有支持的类型，这样以后不管接入哪种类型的大模型，都不用再重新安装了，指令如下：

bash

pip install xinference(all) 

不过要提醒一下哦，这个安装过程可能会花挺长的时间，而且说不定还会碰到些问题呢，比如说 llama_cpp_python 安装失败之类的情况。要是遇到问题了呀，那可以去检查一下 gcc 编译器这些方面的因素。要是安装的时候提示 pytorch 不支持 gpu，那你就得根据自己显卡的配置确定一下 cuda 版本号，然后按照下面这样的指令（以 cuda 12.8 为例哈）去安装支持 gpu 的依赖包：

bash

pip install torch == 2.6.0 + cu128 torchvision == 0.21.0 + cu128 torchaudio == 2.6.0 + cu128 -- index - url https://download.pytorch.org/whl/cu128
pip3 install - U xformers -- index - url https://download.pytorch.org/whl/cu128

三、启动 Xinference

在终端里输入下面这个指令，就能启动 Xinference 啦：

bash

xinference - local -- host 0.0.0.0 -- port 9999 

这里要注意一下哈，在 Windows 系统下呢，只能用 127.0.0.1 或者局域网里本机的 ip 地址来访问哦。而在 Linux 系统下呀，就可以用 0.0.0.0 了，这个 0.0.0.0 其实包含了 127.0.0.1 和局域网里本机的 ip 地址，这么一来呢，不仅能在本地访问，还能在企业内部共享使用，当然啦，用 127.0.0.1 访问也是没问题的。

四、配置注册模型文件

（一）下载模型文件

咱们可以到 Hugging Face 网站上去下载 DeepSeek R1 模型文件，地址是这个：https://huggingface.co/deepseek - ai/DeepSeek - R1 - Distill - Qwen - 1.5B。要是没办法科学上网的话呢，也可以到国内阿里的开源网站去下载，地址是：https://www.modelscope.cn/models/deepseek - ai/DeepSeek - R1 - Distill - Qwen - 1.5B/files。然后要根据自己的硬件配置去选择不同的模型文件哦，比如说硬件配置低的话，就选 1.5B 模型；要是硬件配置高，那就可以选更大规模的模型啦。下载的时候呀，要把红色框里的那些文件全都下载下来，并且保存到同一个目录里去哦。

（二）注册模型文件

把下载好的模型文件路径转变成 Linux 的目录格式，比如说像这样：/home/qkm/deepseekR1/1 - 5B。然后在 Xinference 的界面里呀，找到模型注册相关的那些选项，把模型文件的路径等这些信息都输进去，这么一来，就完成模型的注册啦。

（三）启动模型文件

等把模型文件注册完了之后呢，再去找启动模型的那个按钮或者选项，点一下就能启动模型了。不过要知道哦，启动这个过程可能得花点时间呢，具体花多久得看模型的规模大小以及硬件的性能好坏啦。

五、体验与模型对话

模型成功启动之后呀，咱们就可以和 DeepSeek R1 模型进行对话啦。在 Xinference 的界面里呢，一般都会有个输入框，你把自己想问的问题呀，或者是需要模型处理的任务啥的，都写到这个输入框里，然后点击发送按钮，接着就等着模型给你回复就行啦。

通过上面这些步骤呢，大家应该就能顺顺利利地用 Xinference 部署 DeepSeek R1 镜像，并且还能和模型进行交互了哦。希望这份指南真的能帮到大家呀，要是在部署的过程中碰到了别的问题，不妨到相关的技术论坛或者社区里去问问，跟其他的开发者一起交流交流，共同把问题给解决掉哦。

开设课程开班时间在线报名

OCP

2025.04.26

在线报名

HCIP-AI Solution

2025.04.26

在线报名

HCIE-openEuler

2025.05.03

在线报名

RHCA-CL260

2025.05.04

在线报名

HCIP-Cloud

2025.05.10

在线报名

PGCM直通车

2025.05.10

在线报名

HCIA-Datacom(晚班)

2025.05.19

在线报名

HCIA-Sec

2025.06.07

在线报名

RHCA-RH442

2025.06.07

在线报名

PMP

2025.06.10

在线报名

HCIA-Datacom

2025.06.14

在线报名

HCIE-AI Solution

2025.06.14

在线报名

HCIE-Datacom

2025.06.14

在线报名

HCIP-Datacom(晚班)

2025.06.16

在线报名

OCM

2025.06.21

在线报名

HCIE-Cloud

2025.06.21

在线报名

HCIP-Sec

2025.06.21

在线报名

HCIE-Bigdata

2025.06.28

在线报名

RHCE

2025.06.28

在线报名

HCIE-Datacom考前辅导

2025.07.05

在线报名

HCIP-Datacom深圳

2025.07.19

在线报名

CISP

2025.07.19

在线报名

HCIA-Datacom(晚班)

2025.07.21

在线报名

RHCA-RH436

2025.07.26

在线报名

OCP

2025.07.26

在线报名

HCIE-Sec

2025.08.09

在线报名

HCIA-AI Solution

2025.08.16

在线报名

HCIP-Datacom(晚班)

2025.08.25

在线报名

RHCA-RH358

2025.09.06

在线报名

PMP

2025.09.16

在线报名

HCIE-Datacom

2025.09.06

在线报名

HCIA-AI Solution

2025.09.27

在线报名

HCIA-Datacom

2025.09.27

在线报名

PGCM直通车

2025.10.11

在线报名

RHCA-DO374

2025.10.11

在线报名

HCIA-Sec

2025.10.11

在线报名

RHCE

2025.10.18

在线报名

HCIP-Datacom

2025.11.08

在线报名

HCIP-Sec

2025.11.08

在线报名

RHCA-CL260

2025.11.15

在线报名

OCP

2025.11.15

在线报名

HCIE-Sec

2025.12.13

在线报名

HCIE-Datacom

2026.01.10

在线报名

在线精品

防火墙安全区域配置Local/Trust 区域划分 + service-manager 实战）

8人在学

NAT No-PAT 与 NAPT 技术详解（网络地址转换原理及应用）

18人在学

HCIA-Security V4.0认证实战课程

110人在学

Ceph OSD 核心原理与实战运维

132人在学

课程商城

红帽中级认证（RHCE）培训+考试活动价

40课时

华为HCIA/HCIP认证考试-活动Redhat/Oracle持证福利

1课时

华为HCIE-AI Solution认证课程 | 人工智能培训

60课时

华为HCIP-Datacom培训认证数据通信高级工程师(IA+IP)

40课时

在线报名

报名已确认!

我们已收到您的信息
相关老师将尽快与您联系

友情链接

IT培训| 培训学校| 企业招聘| 大学生就业|