元象XVERSE

义项:3D内容生成大模型
元象XVERSE

元象XVERSE是深圳元象信息科技有限公司打造的人工智能与3D技术品牌,其3D内容生成大模型指该公司以生成式AI技术为核心、面向三维内容生产与呈现的一整套模型与工具,包括基于3D高斯抛雪球法(3D Gaussian Splatting)的3D场景生成工具、基于物理的3D动作生成模型MotionGen,以及支撑其运行的XVERSE系列大语言模型与端云协同3D互动引擎。该体系试图将文本、图像、视频等二维素材自动转换为可漫游、可交互、可编辑的三维场景与角色动作,从而降低3D内容制作的周期与成本。

目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

元象XVERSE的3D内容生成大模型,是指深圳元象信息科技有限公司围绕三维内容自动生产所研发的模型与工具集合,它把生成式人工智能用于3D场景重建、3D动作生成和3D内容呈现等环节[1][2]。与之配套的还有XVERSE系列大语言模型,其中XVERSE-13B与XVERSE-65B分别在2023年8月和11月开源,后者为650亿参数规模。

该体系的核心思路是把认知智能与感知智能结合,由大模型负责理解文本与语义,由3D技术负责把语义转化为可见、可动的三维内容[3]。在元象的产品结构中,3D内容生成被定位为一站式的生产与消费平台,同一套内容可在手机、电脑和虚拟现实头显等多种终端上打开[4]。

原理

在3D场景生成方面,元象采用3D高斯抛雪球法(3D Gaussian Splatting,简称3D-GS),这一算法通过从多视角二维图像样本中学习场景表示,实现新视角合成,其原始论文发表于2023年SIGGRAPH并被列为最佳论文之一[5]。相比此前的神经辐射场(NeRF)算法,该方法在渲染质量、渲染速度和训练速度之间取得兼顾,减少了三维重建的工序与硬件要求[5]。用户用手机环绕拍摄约10分钟视频或上百张照片后,系统据此自动生成带有景深信息的高清3D空间,并支持漫游、俯瞰等交互[6]。

在3D动作生成方面,元象自研的MotionGenGPT算法把物理仿真、模仿学习、强化学习、矢量量化变分自编码器(VQ-VAE)与Transformer模型结合起来[7]。其中强化学习与物理仿真用于让动作符合重力和惯性等物理约束,避免动捕数据自带抖动带来的不自然;VQ-VAE用于把连续动作压缩为紧凑的离散表征,便于在大规模数据上训练;双Transformer结构则在文本指令与动作表征之间建立对应关系,并进一步细化动作细节[7]。该算法无需人工设定或调整参数,生成的动画可重定向到任意角色的骨架驱动[1]。

在呈现环节,元象自研端云协同3D互动引擎,把高面数模型、复杂材质和真实光照交给云端渲染,把轻量动效放在终端渲染,中间通过实时串流按每秒60帧同步,以缓解不同档次终端算力差异带来的画质落差[8]。基于这一技术,单场景可支持10万平米面积与8K材质,并允许在点位间进行6自由度(3个平移方向加3个旋转方向)漫游[4]。

发展历程

元象XVERSE由前腾讯副总裁、腾讯AI Lab创始人姚星创立,他于2020年底离开腾讯,同年11月成立深圳元象信息科技有限公司,2021年初在深圳推出元象XVERSE品牌。公司在2021年获得腾讯、高瓴创投等参与的天使轮融资,此后投资方陆续包括高榕资本、五源资本、红杉中国、淡马锡和CPE源峰等[4]。

2023年,元象在3D与AI两条线上密集发布产品:8月开源通用大模型XVERSE-13B,11月开源650亿参数模型XVERSE-65B,同期推出3D拍摄与混合编辑插件工具XVERSE 3D-GS UE Plugin,免费供用户使用[2]。同年4月,公司以125亿元人民币估值进入胡润全球独角兽榜。

2024年,元象的AI虚拟试衣算法及XVERSE大模型通过备案。同年8月,公司发布基于物理的3D动作生成模型MotionGen,测试阶段开放免费试用[1]。9月发布XVERSE-MoE-A36B开源模型,总参数2550亿、激活参数360亿[9]。2025年,公司进入福布斯中国人工智能科技企业前50名。

应用

3D内容生成工具被用于文旅场景。元象与南京大报恩寺联合推出全真互联博物馆,通过数字分身在三维场景中完成游览内容;其VR大空间品牌VISION WALK幻旅之门落地33个城市,并与安徽博物院、云南省博物馆、天津美术馆、陕西自然博物馆等20余处文化地标合作[10][11]。

在品牌营销与娱乐领域,元象为央视、可口可乐、腾讯音乐娱乐集团、阿迪达斯等客户提供3D内容与互动方案,并曾与一汽大众举办元宇宙新车发布会[10]。公司方面表示,借助AI与3D工具,原需7至8天的工作量可压缩至2天见到初步效果,工作效率提升5到10倍[10]。

在开发者工具方面,MotionGen通过虚幻引擎插件向开发者提供文本生成动画资产的能力,开发者输入文字描述即可获取动画文件并重定向到自定义骨架,插件本身不占用本地算力,而是通过联网调用元象的动作生成服务[12]。元象还提供JavaScript开发框架,用于接入其端云协同技术,构建多人实时在线的3D场景[13]。

局限

3D内容生成的效果受输入素材与物理约束限制。动作生成模型单次运行支持的动画时长上限为10秒,需要更长动作时须分段生成;生成耗时受网络状况和服务器负载影响,可能需要数秒到数十秒[12]。基于3D-GS的场景重建依赖对场景各方向的充分拍摄,输入视频或照片的覆盖度直接影响重建质量[6]。

端云协同方案以实时串流为代价换取多终端一致体验,其同步依赖网络质量,且要同时满足多人同场、终端即点即进和光影丰富度,技术难度较大,元象方面也承认这一路线仍需持续打磨[14]。此外,公开资料对该公司模型能力的描述多来自企业自身发布,第三方独立评测数据有限。

参见

  • 三维重建 —— 从二维图像还原物体或场景三维结构的技术,是3D内容生成的基础环节

  • 3D高斯抛雪球法 —— 元象3D场景生成工具所依据的新视角合成与实时渲染算法

  • 神经辐射场 —— 3D-GS出现前主流的辐射场重建方法,两者常被对比

  • 强化学习 —— MotionGenGPT用于训练物理正确动作控制的核心方法之一

  • Transformer模型 —— 在MotionGenGPT中承担文本指令与动作表征的对应

  • 大语言模型 —— XVERSE系列模型的技术类别,为3D生成提供语义理解能力

词条评价
词条统计

浏览次数:9 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-08T12:23:13Z

历史版本

本条目引用的词条
三维重建 3D高斯抛雪球法 神经辐射场 强化学习 Transformer模型 大语言模型