Luna AI：一套全自动AI直播系统，真正的落地变现开源项目

原创 象量AI 开源AI项目落地 2024-01-26 23:18 发表于山东

项目简介

Luna AI是一款先进的全自动AI直播系统，结合了ChatterBot、GPT、Claude等多种AI技术，支持本地和云端运行。利用Live2D和UE5技术，它能够作为虚拟主播在Bilibili、抖音等平台进行实时互动直播，或在本地与用户聊天。该系统集成了自然语言处理和文本转语音技术，如Edge-TTS和VITS-Fast，提供丰富的互动体验。此外，Luna AI还支持Stable Diffusion绘图功能，为直播增添互动乐趣。项目结构清晰，包括配置文件、GUI主程序、多个功能性文件夹，适用于多种操作系统。

扫码加入交流群

获得更多技术支持和交流

虚拟主播和实时互动

利用Live2D、Vtube Studio、UE5加上Audio2Face技术，Luna AI可以作为一个虚拟主播出现在Bilibili、抖音、快手、斗鱼等直播平台上。这些技术使得虚拟主播具有逼真的外观和表情，能够吸引观众并提供沉浸式的观看体验。

自然语言处理和文本转语音

项目使用了多种自然语言处理和文本转语音技术，如Edge-TTS、VITS-Fast、elevenlabs、bark-gui、VALL-E-X，以生成对观众问题的回答。这些技术允许Luna AI以自然、流畅的方式与观众互动。同时，so-vits-svc和DDSP-SVC提供变声功能，增加了直播的多样性和趣味性。

绘画功能

通过特定指令，Luna AI能够协同Stable Diffusion进行绘画展示。这一功能不仅增加了直播的互动性，也为观众提供了视觉上的享受。

技术和框架集成

Luna AI整合了众多AI技术和框架，包括但不限于ChatterBot（一个用于构建聊天机器人的库）、GPT（一个强大的文本生成模型）、Claude（一个多用途的AI语言模型）、langchain（用于构建和运行语言链）、chatglm（一个基于GPT的聊天模型）、text-generation-webui（用于文本生成的前端界面）、讯飞星火（提供语音识别和合成服务）、智谱AI（提供AI相关的服务和技术）。这些技术的结合使得Luna AI在语言处理和响应方面异常强大。

项目结构

项目包含多个重要的文件夹和文件：

·config.json：配置文件，存储了所有的设置和选项。

·main.py：GUI主程序，根据配置调用各平台程序。

·utils 文件夹：包含聊天、音频、通用类相关功能的封装实现。

·data 文件夹：存储数据文件、违禁词、文案等。

·log 文件夹：存储运行日志、字幕日志等。

·out 文件夹：存储TTS、SVC输出的音频文件，文案输出的音频文件。

·Live2D 文件夹：存储Live2D源码及模型。

·song 文件夹：存储点歌模式的歌曲。

·docs 文件夹：存储项目相关文档。

·tests 文件夹：存储单一功能点的测试程序。

·cookie 文件夹：存储部分功能需要用到的cookie数据。

环境要求和安装

Luna AI支持Windows 7及以上、MacOS、Linux操作系统。项目使用Python 3.10.11，所有依赖库在requirements.txt中列出。安装时需要注意避免使用中文路径、空格和特殊字符，以免引起程序运行异常。

配置和定制

项目提供了一个GUI界面，用于配置和定制各项功能。在配置文件config.json中你将看到具体的配置内容。

项目链接

https://github.com/0x648/luna-ai