CyberVerse

只需一张照片，就能创建一个能实时视频通话的AI数字人——这不是科幻电影，而是GitHub上已获1300+星标的开源项目CyberVerse。

你是否想过拥有一个属于自己的J.A.R.V.I.S.——能真正看见你、听见你、陪伴你的AI？想再次见到思念之人，听见TA的声音，看见TA对你微笑？CyberVerse让这一切成为可能。

一、CyberVerse是什么？

CyberVerse是一个开源的实时数字人Agent框架，基于WebRTC、人设记忆、工具调用、RAG（检索增强生成）和可选的数字人视频能力，帮助你构建以语音交互为核心的AI Agent。

简单来说，它把大语言模型（LLM）、语音识别（ASR）、语音合成（TTS）、数字人视频生成和WebRTC实时音视频传输全部整合在一起。你上传一张照片，就能生成一个能听、能说、能看见你的AI数字人。

核心定位

CyberVerse不是普通的聊天机器人套壳，而是一个可自托管、可扩展的实时数字人Agent平台。它采用GPL-3.0许可证，主语言为Python，社区活跃度正在快速增长。

二、为什么CyberVerse值得关注？

2.1 一张照片生成实时数字人

这是CyberVerse最引人注目的功能。用户只需提供一张正面照片，系统即可生成实时说话的Talking Avatar。背后技术基于FlashHead 1.3B模型进行面部动画生成，配合LiveAct 18B模型实现更精细的肢体动作和表情控制。

2.2 全双工实时视频通话

用户可以像与真人视频通话一样自然交流，在数字人说话时随时插话、打断，获得全双工的实时互动体验。基于WebRTC的音视频传输，延迟通常在200-500ms范围内。

2.3 多Agent架构：PersonaAgent + SubAgent

CyberVerse采用独特的multi-agent架构：

• PersonaAgent（人格Agent）：始终驻守前台，负责与用户保持流畅对话、快速响应打断和上下文切换
• SubAgent（子Agent）：后台异步执行搜索、调研、资料整理、总结和HTML报告生成等耗时工作

这种分层设计让复杂任务不会拖慢语音回合，用户可以继续说话、追问或调整方向。

2.4 插件化技术栈

LLM、TTS、ASR、Avatar等核心组件全部采用可插拔设计：

三、CyberVerse部署教程（5步上手）

⚠️ 前置提醒：CyberVerse对硬件和环境配置要求较高，更适合开发者、AI产品团队和多模态交互研究者。

环境要求

• Python：3.10+
• Node.js：18+
• Go：1.22+（需要protoc-gen-go、protoc-gen-go-grpc）
• CUDA：12.8+
• PyTorch：2.8+
• FFmpeg + libopus-dev、libopusfile-dev
• GPU（数字人视频模式）：至少4GB VRAM，推荐RTX 3060以上

Step 1：克隆项目

git clone https://github.com/Lynpoint/CyberVerse.git
cd CyberVerse

Step 2：创建Python环境

conda create -n cyberverse python=3.10
conda activate cyberverse

Step 3：安装依赖

项目依赖包括Python包、Go模块和Node包，具体参照项目根目录的安装脚本。

Step 4：初始化本地配置

# 如果config/不存在，从模板复制
if [ ! -d config ]; then cp -r infra/config config; fi

配置入口说明：

编辑config/env，填写所需API Key：

vim config/env

常用变量：

• OPENAI_API_KEY / OPENAI_BASE_URL：OpenAI或兼容服务
• DASHSCOPE_API_KEY：阿里云DashScope/Qwen/CosyVoice
• DOUBAO_API_KEY：豆包（火山引擎）
• GEMINI_API_KEY：Gemini Live
• BAIDU_XILING_APP_ID / BAIDU_XILING_APP_KEY：百度曦灵数字人
• XUNFEI_AVATAR_APP_ID / XUNFEI_AVATAR_API_KEY：讯飞数字人

Step 5：配置并启动服务

纯语音模式（无需GPU）：将config/cyberverse.yaml中inference.avatar.enabled设为false。

数字人视频模式（需要GPU）：

inference:
  avatar:
    enabled: true
    default: "live_act"  # 可选 "live_act" 或 "flash_head"
    idle_strategy: "silent_inference"
    runtime:
      cuda_visible_devices: 0  # 多卡可写 0,1
      world_size: 1
    model_config_dir: "avatar_models"

模型参数写在config/avatar_models/下的独立文件中。

启动三个服务（分三个终端）：

1. Python推理服务
2. Go API服务
3. 前端服务

服务启动后，可在Web UI的/settings页面修改API Key和服务端点。

💡 新手建议：先从纯语音模式开始，熟悉后再叠加视频功能。

四、硬件配置参考

如果使用FlashHead Lite档位，单张RTX 4090可达实时（25+ FPS）；但Pro档位单张RTX 4090仅约10.8 FPS。

云端方案（无需本地GPU）：Vidu S1、百度曦灵数字人、讯飞数字人。

五、实用建议与注意事项

5.1 部署建议

1. 硬件先行：跑数字人视频需要NVIDIA RTX 3060以上显卡，纯语音模式则任意Linux服务器即可
2. 从简入繁：建议先从纯语音模式开始，熟悉后再叠加视频
3. 网络优化：外网访问需配置TURN服务器，内网用STUN即可
4. 社区支持：项目有Discord社区，遇到部署问题可直接咨询开发者

5.2 注意事项

1. 肖像与伦理红线：数字人技术涉及肖像权、声音权与伦理风险，使用需谨慎
2. 非低门槛工具：CyberVerse目前更适合开发者和工程团队，不适合期待“一键安装包”的普通用户
3. 部分功能仍在开发中：包括长期记忆跨会话、工具调用与工作流执行、多Agent协作网络等

六、总结

CyberVerse把语音、记忆、RAG、数字人视频整合在一起，而且是完全自托管的开源方案。虽然部署有门槛，但对于追求数据隐私和定制化的开发者来说，这可能是目前最完整的开源数字人Agent框架。