Music XR Maker是一款功能强大的音乐制作软件，它支持多种音轨和效果，并具有虚拟现实功能，可让用户在虚拟环境中进行音乐创作。此外，该软件还支持多种格式，并可以导出音频文件。它有助于制作一首动人心弦的歌。

     Music XR Maker 源于天琴实验室，天琴实验室是腾讯音乐首个音视频实验室，致力于通过 AI 科技提升音娱视听体验，也是腾讯音乐的首个音视频技术研发中心。

Music XR Maker着重音乐，可以理解为基于音乐内容做虚拟元素的创建，实质是属于 AI 驱动当中的音乐驱动，可以驱动的项目包括歌声合成、歌唱口型生成、舞蹈动作生成、乐器手势生成、歌唱表情生成等，还包括后续将会逐步迭代加入的场景灯效舞美。Music XR Maker 音乐驱动研发体系建设包括：

1. 数据源

建设 Music XR Maker 体系在数据层面分成两个部分：一是建模动作口型生成必须要有数据来源，目前大部分来源是动捕或面捕数据，还有手势捕捉数据等；二是既然把数据跟音乐关联，就要有非常强的音乐理解能力，包括音乐风格、情绪、音乐旋律、能量、歌曲的节奏、段落等。

2. AI 生成

有了基础数据后，就通过核心 AI 生成的算法把两方面数据进行关联。算法有两种类型：一类是端到端模型，包括分类预测模型、关联点预测、生成类模型等；另一类是 AI 编排生成算法，相对复杂且涉及多种步骤，还会使用到类似搜索或推荐等做法，可以分成召回、排序、重排三个阶段：在召回阶段，对输入信号进行关联解析数据；在排序阶段，根据歌曲节奏、歌曲热度、个性化等排序；在重排阶段，进行时序连贯性、段落关联性等调整。

3.3D 渲染

通过 AI 生成得到驱动数据后，要打通完整商业化链条还需要进行 3D 渲染，这是必不可少的一环。首先需要渲染引擎，像常用的 Unity 、UE，还需要专业的 3D 数据格式，像 SMPL、GLB、FBX 等；同时也需要生产力工具，像 Blender、Maya 等。

4. 产品应用

对企业来说，最后一环就是真正落地应用到具体产品。落地应用分两种类型：一种是有用户参与的互动娱乐应用，以 QQ 音乐的音乐世界、音乐直播的云蹦迪直播、全民 K 歌的 KK 秀、TMEland 等为代表；另一种是在娱乐公司比较常见的虚拟人代表，比如已公开的扇宝、安可、持续在研发的虚拟人项目，曝光的场景包括虚拟偶像视频、虚拟直播、重要节点开虚拟演唱会等，都是虚拟偶像展现的地方。