Skip to content

Latest commit

 

History

History
387 lines (277 loc) · 23.2 KB

README.zh-CN.md

File metadata and controls

387 lines (277 loc) · 23.2 KB

Lobe Vidol

与 Lobe Vidol 一起体验虚拟偶像创作的魔力,享受我们精致的 UI 设计,支持 MMD 的舞蹈内容,并能与人物进行流畅的对话 — 所有这些功能都集成在一个无缝的平台上。

每个人都可以创造虚拟偶像

English · 简体中文 · 日本語 · 文档 · Changelog · Report Bug · Request Feature



Note

Lobe Vidol 目前处于开发初期,现已开放 Beta 测试。欢迎您加入我们,一起参与贡献!

目录

TOC

👋🏻 开始使用 & 交流

LobeVidol 目前正在积极开发中,有任何需求或者问题,欢迎提交 [issues][issues-link]

无需安装或注册!访问我们的网站,即可快速体验
加入我们的 Discord 社区!这是你可以与开发者和其他 LobeHub 热衷用户交流的地方.

Important

收藏项目,你将从 GitHub 上无延迟地接收所有发布通知~⭐️

star (1)
Star History

✨ 特性一览

1. 文字聊天模式

流式响应带来流畅的对话体验,你可以通过设定角色对话情境来创造沉浸式的对话体验。

fluent chat experience

2. 视频对话模式

通过消息框中的视频按钮,你可以与角色模型进行更丰富的交互体验,如面对面聊天,角色表演等,也可以设置角色所处的背景,舞台,动作,舞蹈等。

video chat experience

你可以通过设定背景图片的方式让对话更加符合情境:

background setting

内置 Mixamo 角色动作与姿式库,你可以让角色在对话时摆出你想要的姿势或动作:

motions and postures

使用角色编辑器,你可以创建属于你自己的虚拟偶像,设定触摸反应,上传 VRM 模型到网站并与他们互动。

role edit

借助 mmd-parser 的支持,你可以使用 vmd 文件和最喜欢的偶像一起跳舞;Just Dance!

https://github.com/user-attachments/assets/c017be86-dbac-4ce1-9f00-a10248b58621"

我们添加了舞台加载功能并内置丰富的舞台选择,让角色跳舞时可以搭配不同的舞台风格:

pmx stage

点击角色的不同身体部位,角色将做出不同的反应,你也可以自己编辑角色的触摸反应来创造与众不同的交互效果:

touch.actions.mp4

3. 多模型服务商支持

multi model provider

在提供 AI 会话服务时模型服务商的多样性对于满足社区需求非常重要。因此,我们不再局限于单一的模型服务商,而是拓展了对多种模型服务商的支持,以便为用户提供更为丰富和多样化的会话选择。通过这种方式,LobeVidol 能够更灵活地适应不同用户的需求,同时也为开发者提供了更为广泛的选择空间。

已支持的模型服务商

我们已经实现了对以下模型服务商的支持:

  • AWS Bedrock:集成了 AWS Bedrock 服务,支持了 Claude / LLama2 等模型,提供了强大的自然语言处理能力。了解更多
  • Google AI (Gemini Pro、Gemini Vision):接入了 Google 的 Gemini 系列模型,包括 Gemini 和 Gemini Pro,以支持更高级的语言理解和生成。了解更多
  • Anthropic (Claude):接入了 Anthropic 的 Claude 系列模型,包括 Claude 3 和 Claude 2,多模态突破,超长上下文,树立行业新基准。了解更多
  • ChatGLM:加入了智谱的 ChatGLM 系列模型(GLM-4/GLM-4-vision/GLM-3-turbo),为用户提供了另一种高效的会话模型选择。了解更多
  • Moonshot AI (月之暗面):集成了 Moonshot 系列模型,这是一家来自中国的创新性 AI 创业公司,旨在提供更深层次的会话理解。了解更多
  • Together.ai:集成部署了数百种开源模型和向量模型,无需本地部署即可随时访问这些模型。了解更多
  • 01.AI (零一万物):集成了零一万物模型,系列 API 具备较快的推理速度,这不仅缩短了处理时间,同时也保持了出色的模型效果。了解更多
  • Groq:接入了 Groq 的 AI 模型,高效处理消息序列,生成回应,胜任多轮对话及单次交互任务。了解更多
  • OpenRouter:其支持包括 Claude 3GemmaMistralLlama2Cohere等模型路由,支持智能路由优化,提升使用效率,开放且灵活。了解更多
  • Minimax: 接入了 Minimax 的 AI 模型,包括 MoE 模型 abab6,提供了更多的选择空间。了解更多
  • DeepSeek: 接入了 DeepSeek 的 AI 模型,包括最新的 DeepSeek-V2,提供兼顾性能与价格的模型。了解更多
  • Qwen: 接入了 Qwen 的 AI 模型,包括最新的 qwen-turboqwen-plusqwen-max 等模型。了解更多
  • Novita AI: 性价比最高的开源模型供应商,支持 LlamaMistral 系列等最前沿的开源模型。在情感陪伴等场景表现优异,无任何内容限制或审查。 了解更多

同时,我们也在计划支持更多的模型服务商以进一步丰富我们的服务商库。如果你希望让 LobeVidol 支持你喜爱的服务商,欢迎加入我们的社区讨论

4. 角色与舞蹈市场

在 LobeVidol 的角色市场中汇聚了众多精心设计的角色,这些角色让你可以体验到不同的情境和交互体验,让你拥有不一样的陪伴体验。 我们的市场不仅是一个展示平台,更是一个协作的空间。在这里,每个人都可以贡献自己的想象,分享个人设定的角色。

Tip

通过创建角色功能你可以轻松地将你的角色作品提交到我们的平台,我们特别强调的是,LobeVidol 建立了一套精密的自动化国际化(i18n)工作流程, 它的强大之处在于能够无缝地将你的角色转化为多种语言版本。 这意味着,不论你的用户使用何种语言,他们都能无障碍地体验到你的角色。

discover

在 LobeVidol 的舞蹈市场中添加了丰富的 MMD 舞蹈资源,这些舞蹈构成了丰富的视觉体验,你可以搭配不同的角色,舞台,音乐和舞蹈来创造不一样的观看体验。

Snipaste_2024-11-05_21-22-47

5. TTS & STT 语音会话

LobeVidol 支持文字转语音(Text-to-Speech,TTS)和语音转文字(Speech-to-Text,STT)技术,这使得我们的应用能够将文本信息转化为清晰的语音输出,用户可以像与真人交谈一样与我们的对话助手进行交流。 用户可以从多种声音中选择,给助手搭配合适的音源。 同时,对于那些倾向于听觉学习或者想要在忙碌中获取信息的用户来说,TTS 提供了一个极佳的解决方案。

在 LobeVidol 中,我们精心挑选了一系列高品质的声音选项 (OpenAI Audio, Microsoft Edge Speech),以满足不同地域和文化背景用户的需求。用户可以根据个人喜好或者特定场景来选择合适的语音,从而获得个性化的交流体验。

6. 渐进式 Web 应用 (PWA)

我们深知在当今多设备环境下为用户提供无缝体验的重要性。为此,我们采用了渐进式 Web 应用 PWA 技术, 这是一种能够将网页应用提升至接近原生应用体验的现代 Web 技术。通过 PWA,LobeVidol 能够在桌面和移动设备上提供高度优化的用户体验,同时保持轻量级和高性能的特点。 在视觉和感觉上,我们也经过精心设计,以确保它的界面与原生应用无差别,提供流畅的动画、响应式布局和适配不同设备的屏幕分辨率。

Note

若您未熟悉 PWA 的安装过程,您可以按照以下步骤将 LobeVidol 添加为您的桌面应用(也适用于移动设备):

  • 在电脑上运行 Chrome 或 Edge 浏览器 .
  • 访问 LobeVidol 网页 .
  • 在地址栏的右上角,单击 安装 图标 .
  • 根据屏幕上的指示完成 PWA 的安装 .

📦 生态

NPM 仓库 描述 版本
@lobehub/ui lobehub/lobe-ui 构建 AIGC 网页应用程序而设计的开源 UI 组件库
@lobehub/icons lobehub/lobe-icons 主流 AI / LLM 模型和公司 SVG Logo 与 Icon 合集
@lobehub/tts lobehub/lobe-tts AI TTS / STT 语音合成 / 识别 React Hooks 库
@lobehub/lint lobehub/lobe-lint LobeHub 代码样式规范 ESlint,Stylelint,Commitlint,Prettier,Remark 和 Semantic Release
  • Vidol market - This is the Market Index of Vidol Chat. Vidol accesses index.json from this repo to show user the list of available agents and dances.
  • Vidol agent sample - Vidol 人物数据模版
  • Vidol dance sample - Vidol 舞蹈数据模版

⌨️ 本地开发

可以使用 GitHub Codespaces 进行在线开发:

或者使用以下命令进行本地开发:

$ git clone https://github.com/lobehub/lobe-vidol.git
$ cd lobe-vidol
$ bun install
$ bun dev

🤝 参与贡献

我们非常欢迎各种形式的贡献。如果你对贡献代码感兴趣,可以查看我们的 GitHub Issues 和 [Projects][github-project-link],大展身手,向我们展示你的奇思妙想。




🩷 社区赞助

每一分支持都珍贵无比,汇聚成我们支持的璀璨银河!你就像一颗划破夜空的流星,瞬间点亮我们前行的道路。感谢你对我们的信任 —— 你的支持笔就像星辰导航,一次又一次地为项目指明前进的光芒。

🔗 更多工具

更多项目

  • 🤖 Lobe Chat : 一个开源、支持可扩展(Function Calling)的插件系统、现代化设计 ChatGPT/LLMs 聊天应用与开发框架。支持一键免费部署您的私人 ChatGPT/LLMs 应用
  • 🅰️ Lobe SD Theme: Stable Diffusion WebUI 的现代主题,精致的界面设计,高度可定制的 UI,以及提高效率的功能。
  • ⛵️ Lobe Midjourney WebUI: Midjourney WebUI, 能够根据文本提示快速生成丰富多样的图像,激发创造力,增强对话交流。
  • 🌏 Lobe i18n: Lobe i18n 是一个由 ChatGPT 驱动的 i18n(国际化)翻译过程的自动化工具。它支持自动分割大文件、增量更新,以及为 OpenAI 模型、API 代理和温度提供定制选项的功能。

相关链接


📝 License

Copyright © 2024 lobehub.
This project is Apache 2.0 licensed.