Windows10本地部署Dify+Xinference

目录 前言 一、安装必要项 1.安装Docker和AnaConda 2.安装Xinference 3.通过Xinference部署本地glm4-chat-1m 4.验证glm4-chat-1m是否部署完成 5.安装Dify 三、Dify中配

目录

前言

一、安装必要项

1.安装Docker和AnaConda

2.安装Xinference

3.通过Xinference部署本地glm4-chat-1m

4.验证glm4-chat-1m是否部署完成

5.安装Dify

三、Dify中配置大模型

1.浏览器输入http://localhost:80启动Dify页面

2.随便注册账户登录

3.配置Xinference

四、运行Dify

1.设置系统推理模型

2.对话窗口验证

总结


前言

本文档在基于Windows10的本地电脑上部署使用Dify,其中必要用到的Xinference大模型管理框架,使用的大模型为GLM4-Chat-1m。

前置条件:确保已安装Anaconda、Python、Cuda。

一、安装必要项

1.安装Docker和AnaConda

Docker: Accelerated Container Application Developmenthttps://www.docker/

下载 Anaconda Distribution |蟒蛇https://www.anaconda/download

2.安装Xinference

打开Anaconda命令行页面

输入命令:

发布者:admin,转转请注明出处:http://www.yc00.com/web/1754599803a5180488.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信