最牛的数字人框架Fay：支持直播带货、个人助手和agent

Fay是一个开源的数字人框架，集成了语言模型和数字人。它提供了带货、助手和agent版本，适用于各种应用，如虚拟购物向导、广播员、助手、服务员、教师以及基于语音或文本的移动助手。

• github代码：
• 国内代码：

Fay是什么？

项目作者： xszyou 开源许可证： GPL-3.0

该项目基于浪潮集团的“源1.0”、科大讯飞的 AIUI 以及 OpenAI 的ChatGPT 开发，整个项目主要由 Fay 控制器及数字人模型构成，包含 Python 内核及 UE 数字人模型。

Fay 的控制器是其核心组件。通过 Fay 控制器，可以驱动不同模型，如真人照片、二次元模型等；可以设置不同的模式，例如带货模式、测评模式以及助理模式等；该控制器还支持不同终端平台，如手机、PC、手表等。

还支持远程音频接入，你只需在 Fay 提供的控制面板进行设置即可。

可以采用 Fay 控制器搭建各种类型的数字人，如虚拟主播、现场推销、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her等。

如何实现？

通过技术把人的特征数字化，比如进行语音识别、情绪分析，构建人的表情和动作，合成带有情绪的语音并输出，让这个数字人有“耳朵”“嘴巴”。

从构成上看，Fay 由多个模块组成，各个模块之间耦合度非常低，包括声音来源、语音识别、情绪分析、NLP 处理、情绪语音合成、语音输出和表情动作输出等模块，每个模块都可根据需要自行替换。下图为 Fay 控制器的核心逻辑。

框架版本？

助理版是 Fay 数字人框架最常用的版本。

提供了灵活的模块化设计，能够定制和组合各种功能模块，包括情绪分析、NLP 处理、语音合成和语音输出等。

助理版构建的是一问（远程或本地，移动或 PC，语音或文字）一答（数字人或机器，移动或 PC，语音或文字或 RPA）的标准模式。

开源地址：

模块组成：

带货版用于构建：虚拟主播、现场推销货、商品导购，等数字人应用场景。

各模块之间耦合度非常低，包括声音来源、语音识别、情绪分析、NLP 处理、情绪语音合成、语音输出和表情动作输出等模块。

支持平台：

• bilibili个性化数字人
• 抖音个性化数字人
• 微信视频号个性化数字人

开源地址：

AI Agent 版：能够代替你完成决策规划并执行，这一切都依赖目前最强的大语言模型的 ReAct 能力。

agent 版的 Fay 可以实现自动代理执行的同时，在它认为必要时候会触发数字人或者直接的声音输出。

1、基于日程维护的助理模式：执行及维护你的日程

2、强大的规划执行（ReAct）能力：规划->执行<->反思->总结

3、LLM Chain与React Agent自动切换：保留规划执行能力的同时兼顾聊天能力

4、双记忆机制：斯坦福AI小镇记忆流实现长时记忆，邻近对话记忆实现连贯对话

5、易于扩展的agent 工具

6、配套24小时后台运行的android 连接器

应用场景？

大屏交互数字人

市场导购员

虚拟主播

人鱼数字人

虚拟客服

语音助手

是否支持定制数字人模特？

UE数字人，可以配合Fay数字人框架，实现各种应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯等。

支持的大语言模型

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2024-03-12，如有侵权请联系 cloudcommunity@tencent 删除agent框架模型语音开源