Luma AI

定义

Luma AI是一家美国人工智能技术公司，同时指该公司开发的一系列生成式内容工具。公司成立于2021年9月，总部设于加利福尼亚州，创始人为曾任苹果公司增强现实与虚拟现实工程师的Amit Jain，以及加州大学伯克利分校研究员Alex Yu^[1]。其自研模型与产品覆盖视频生成、图像生成与三维重建三个方向，代表产品包括文本生成三维模型工具Genie、视频生成模型Dream Machine以及具备推理能力的Ray系列^[2]。

公司以多模态通用模型为长期目标，主张通用人工智能需要同时从视频、图像、音频和文本等多类数据中学习^[3]。其模型可通过网页端、移动端应用以及应用程序接口(API)调用，并已接入亚马逊云服务等第三方平台^[1]。

原理

Luma AI的三维生成能力建立在神经辐射场(NeRF)与3D高斯泼溅两类新视角合成方法之上^[4]。神经辐射场把整个场景表达为一个连续的隐式函数，输入三维坐标与观察方向，输出该点的密度与颜色，再沿视线做体渲染积分得到像素值；高斯泼溅则用大量带有位置、形状、颜色和透明度的三维高斯椭球显式表示场景，渲染时将椭球投影到屏幕并从前向后混合^[5]。前者存储紧凑但渲染较慢，后者训练与渲染更快、画质更高，代价是文件更大^[4]。用户用手机围绕物体拍摄一段视频，算法即可估计相机位姿并重建出可交互的三维模型^[6]。

在视频生成方面，Dream Machine等模型采用基于Transformer的扩散架构，直接在视频数据上训练，从而具备对空间与运动的理解^[7]。生成过程以文本提示或输入图像为条件，通过多步去噪逐步得到连续帧。Ray系列进一步引入被公司称为“推理”的机制，在渲染前先对空间、时间和叙事逻辑做判断，以改善运动连贯性与角色一致性^[8]。其图像模型UNI-1同样基于统一的多模态架构，支持从多张参考图出发的引导式生成^[9]。

发展历程

公司于2021年9月成立，最初主攻三维模型生成与渲染，核心技术为神经辐射场^[10]。2023年3月完成2000万美元A轮融资，投资方包括Amplify Partners、General Catalyst、Matrix、South Park Commons和英伟达^[1]。2023年12月，公司决定将业务从三维生成扩展至视频生成^[2]。2024年1月完成4300万美元B轮融资，由Andreessen Horowitz独家投资，并发布文本转三维模型工具Genie 1.0^[1]。

2024年6月13日，公司发布文生视频与图生视频模型Dream Machine，免费向公众开放，上线4天用户量突破百万，因访问量过大一度导致服务器拥堵^[2]。2024年8月至10月间，公司相继推出1.5和1.6版本，后者加入多种摄像机镜头运动控制并将生成速度提升^[2]。2024年11月26日，公司在iOS与网页端上线Dream Machine创意平台，并发布图像生成模型Luma Photon；同年12月完成9000万美元C轮融资，并在亚马逊云科技大会上宣布推出Ray 2视频模型，其模型将引入Amazon Bedrock平台^[1]。

2025年9月19日，公司发布被称为首个具备推理能力的视频模型Ray 3，支持高动态范围(HDR)视频生成^[10]。2025年11月，公司完成9亿美元C轮融资，由沙特公共投资基金旗下HUMAIN领投，估值约40亿美元，同时宣布与该投资方合作建设名为“光环计划”的2吉瓦人工智能算力集群^[11]。同年12月，公司宣布在英国伦敦设立欧洲总部并计划招聘约200名员工^[1]。按公司2026年公布的信息，其当前视频模型为Ray3.2，图像与多模态模型为UNI-1.1，早期的Dream Machine与Ray2已停止使用^[9]。

应用

三维重建工具主要用于把现实场景或物体数字化，拍摄少量照片或视频即可得到可自由变换视角的模型，常用于电子商务产品展示、建筑与空间记录以及增强现实内容制作^[6]。重建结果可导出为若干通用格式，供网页三维引擎、增强现实查看器和传统建模软件使用^[6]。

视频生成工具支持文生视频、图生视频以及修改已有素材，能够依据提示词指定推拉、平移、环绕等镜头运动，并可延伸已有片段的时长^[2]。在产业侧，其模型被用于影视与广告的前期预演、分镜可视化以及营销素材制作，公司技术还被应用于娱乐、营销和机器人等行业^[11]。2025年9月，Adobe将其Ray3模型整合进Firefly系列人工智能设计功能中^[3]。

局限

视频生成模型在时长上存在限制。以Ray3的公开说明为例，图生视频的基础片段为5秒，文本生成视频在标准动态范围下为10秒、在高动态范围下为5秒，经延伸后标准动态范围最长约30秒，超出后画质可能下降^[12]。生成分辨率以540p、720p和1080p为主，更高分辨率需依靠上采样获得，原生生成与放大结果需要区分看待^[12]。

生成质量方面，模型容易出现时间抖动、物体在运动中被拉伸变形、镜头运动与提示词不符、文字与标识在运动中不稳定等问题，复杂多人动作场景和精确走位往往需要反复调整提示词与参考图才能得到可用结果^[13][14]。多次延伸片段还会累积连贯性误差，出现主体或场景逐渐偏移的情况^[15]。此外，早期版本在生成不当时曾出现与他人动画形象相似的内容，公司称该现象源于用户上传的直接图像，并已通过检测模型加以处理^[8]。

参见

• 神经辐射场 —— Luma AI 早期三维重建所依赖的核心方法。

• 3D高斯泼溅 —— 渲染更快、画质更高的显式三维表示方法，与神经辐射场并列为其技术基础。

• 扩散模型 —— 其视频与图像生成模型所采用的生成式建模框架。

• 生成式人工智能 —— 该公司产品所属的技术领域。

• 多模态学习 —— 公司长期目标所依赖的训练范式。