Luma AI

Luma AI是一款革命性的AI创作软件，让iPhone使用者能够轻松创建逼真的3D场景。无需专业的激光雷达或捕捉设备，只需一部iPhone 11或更高版本，你就可以捕捉到具有复杂细节、反射和照明的产品、物体、风景等3D场景。这款应用不仅能够让你随时捕捉现实世界的瞬间，还能在网络上与他人分享这些壮观的场景。无论是制作电影级别的产品视频，还是在TikTok上拍摄创意镜头，或是将3D产品嵌入网站，Luma AI都能提供高质量的3D捕捉体验。此外，你还可以将捕捉到的3D网格导出到Blender、Unity等3D引擎中，进行进一步的创作和应用。

软件官网：https://www.luma-ai.com/

【Luma AI】使用教程

捕捉过程

运动模糊会极大的损伤创建模型的质量，所以在手机捕捉过程中，需要慢慢的移动，避免快速的运动，特别是围绕物体捕捉的步骤。

覆盖场景

尽可能的在每个唯一的位置上捕捉图像，最好是在空间中移动手机拍摄，而不是固定手机，旋转物体拍摄(第一次拍摄时，鱼鱼就想这么做，但尝试之后......)，站在固定位置，并且在示意的球型框外面，不会获取很好的效果(甚至无法进行下一步)，所以，按照引导捕捉模式的提示是确保拍摄物体全貌的好选择。

物体尺寸

理想的尺寸是，可以从各个角度很容易得观察物体，包括顶面和地面。如果在自由模式下，更好的观察角度会生成更好的结果，但是想要在大的场景中获取到完全干净的三维模型还是有难度的。

物体距离

扫描时，尽量让物体保持在框架之中，才能获取最好的效果，才能为app提供更多反射和物体形状的信息，从而生成一个更精确的重建结果。

物体材质截止到目前，app正在完善复杂反射(比如曲线镜面材质)、曲线透明物体(比如车窗或塑料水瓶子)和大面积无纹理表面(比如，白墙)的工作，尽量避开这些材质的物体，其他的大部分材质是没有问题的。

捕捉时对环境灯光的要求只要纹理能够分别分辨出(曝光过度或特别暗以外)，app能够捕捉大多数灯光条件下的物体。灯光的效果可以显示在最终的生成物体的光照效果，所以，想生成什么样的效果就布置什么样的灯光。

移动物体在捕捉过程中，物体的任何移动，都会影响最终的捕捉效果。比如，风中飞舞的树叶会损失细节，背景中人物的移动会产生人的痕迹。同时注意，在捕捉时，手指，胳膊，腿都可能会乱误入捕捉框架范围的。

摄像机设置1，视频设置注意事项:当使用视频捕捉时，切记关闭视频稳定，因为开启会导致框架拥有不稳定的内部摄像机。安卓设备尤其需要注意这一点，IOS设备上不要使用HDR 视频选项。2，曝光虽然说在户外场景中不同的曝光可以产生不同的光照效果，但，如果你是捕捉自用的视频时，我们推荐尽可能使用固定的曝光，你可以上传原始图片(现在可能会遇到尺寸限制)。

3，捕捉格式使用图片压缩包替代视频：通过Luma AI网站接口，能够上传图片Zip压缩包代替视频。照片总是避免模糊，所以照片的质量高于视频，并且照片还包含EXIF元数据，他们能够满足更高质量的需求，Zip压缩包中的任何路径的图片都会被采集。

提示：可以上传原始图片(比如CR3,DNG等等)和HDR图片(.exr)，启用更高的动态范围，甚至可以学习去除马赛克的技术，来提升生成质量。如果使用原始文件，元数据将以sRGB的方式渲染(神经辐射场NeRF会使用HDR)。使用EXR，不会受到颜色空间元数据的干扰，渲染的颜色就是当前的颜色空间。专业模式可以渲染出EXRs,也可以渲染出深度，注意EXR的技术处理在2023年1月8日进行改进(专业模式有专业的价格 ~~!)。

尽管我们的系统足够强健，但是，当使用4K及以上尺寸的图片时会出错，目前来说，并不能有效发挥图片大尺寸的优势，所以，我们不推荐使用这类尺寸的图片。

360度摄像机和鱼眼镜头捕捉：360度视频可以更有效更完整的覆盖室内区域。大多数的360度摄像头其实是两个鱼眼镜头，分别放置在两侧，图片接缝处会产生扭曲，但可以使用电脑，链接摄像头获取两个鱼眼镜头的图像。

a，单个鱼眼图片。上传到Luma网站时，将摄像机模式从normal切换为fisheye.然后就像平常一样上传图片Zip或者视频。Insta360.insv文件可以直接重命名为mp4,并上传。注意，默认朝向不正确，需要使用轨道编辑器修改摄像机旋转。b，双鱼眼，或多个鱼眼，insta360。把一个或多个Insta360.insv文件打包进一个zip压缩包，上传捕捉文件到luma 网站。切换摄像机模式normal为fisheye. 如果你只使用滑杆捕捉了上下或左右运动的素材，需要手动修改文件为 front.insv/back.insv (00/10)，请使用两个VID_*文件，而不是普通的LRV_*文件。

案例图片和解释1，normal ：手机摄像头，单目摄像头等。

2，鱼眼(特别的摄像机设置，慎选，专业人士使用，比如鱼眼镜头DSLR，insta360)如果完全放大，周边会产生黑框，尽管我们支持，但是尽可能的缩小一些，保持全画幅的像素，这样能获取更多有用的像素，减少扭曲。

多个视频信息流可以打包到一个zip,并上传。

全景图片,这是一个普通的360度视频的格式，通常从360度摄像头获取的接缝图片。注意：推荐专业的360度接缝。但是Insta360设备的接缝会产生大量错误，并且十分不齐整。如果接缝不是很好，切回到双鱼眼是不错的选择。

自定义设置移除人物

这将尝试移除场景中的所有人物。主要用途用来移除360度鱼眼和全景视频中的摄像师，也能用来移除普通视频中附近走过的人物。如果你拍摄物本身是个人物，切记不要开启这个功能。下面是一个360度捕捉案例对比，上边是关闭时，有摄像师短暂的人影，下边是开启的效果。

软件特色

1、3D场景：你可以轻松地在网络上与他人分享捕捉到的3D场景。

2、无专业设备：只需一部iPhone 11或更新版本，即可进行3D捕捉。

3、广泛应用：Luma AI适用于产品展示、风景捕捉、创意视频拍摄等多种场景。

软件优势

1、创意无限：你可以发挥创意，制作电影级别的产品视频或社交媒体创意内容。

2、高质量输出：Luma AI捕捉到的3D场景具有复杂的细节、反射和照明效果。

3、跨平台兼容：支持将3D网格导出到多种3D引擎和工具中，如Blender、Unity等。

软件亮点

1、逼真效果：捕捉到的3D场景在视觉上与现实生活无异，提供"假3D"之外的替代方案。

2、飞溅技术：Luma AI支持将逼真的NeRF和高斯飞溅导出到虚幻、Unity等工具。

3、媒体适配：特别适合在TikTok等社交媒体平台上制作和分享创意视频。

软件测评

Luma AI是一款易于使用且功能强大的3D捕捉应用，它通过AI技术降低了高质量3D内容创作的门槛。你可以快速捕捉并分享逼真的3D场景，无论是用于商业展示还是个人创作，都能有出色的体验。

关于Luma AI

前面我们提到，Luma的核心就NeRF，简单来讲这是一套三维重建技术方案，它的特点是基于现有视角的图像生成新视角的图像。

有了NeRF，可以说你手里的相机不单单只是拍照这么简单，而是变成数据采集装置，通过拍摄大量图片或视频，即可创建出一个可微分的三维场景。比起传统的摄影测量方案，NeRF的优势是可以用更少量的数据生成三维模型。

Luma公司成立于2021年9月，总部位于美国加州，创始人：Amit Jain、Alex Yu，分别在3D视觉、机器学习、实时图形学有所建树。

近半年发展历程：

22年10月，开放网页版Luma;

22年11月，iOS版App开始测试;

22年12月，推出文生3D模型功能;

23年1月，iOS版App开始支持NeRF Reshoot;

23年1月，升级NeRF，自动去除杂影;

23年2月，推出网页版全体积NeRF渲染器;

23年3年，iOS版App 支持AR预览;

23年3月，推出视频转3D API。

那么，接下来我们分开来解析一下Luma的产品组合。

Luma App

实际上，上述很多功能都是组合形式出现，例如手机App，当前Luma只推出了iOS客户端。可以通过iPhone上传视频，基于NeRF生成3D场景。手机版App的推出可以说是一个大的突破，因为之前市面上并没有类似的NeRF产品出现。

很快，经过网友们的测试发现Luma NeRF的效果非常出色，色彩、光影、清晰度等方面都良好。据悉，Luma对NeRF进行了改良和优化，才有这么好的表现。

iOS端支持导入视频，以及引导模式和自由模式三种：

导入模式，这个很好理解，和Web模式功能类似，对设备和视频理论上要求最低。

引导模式，需要360度拍摄，App将具体提示框提醒你的拍摄视角、拍摄位置;

自由模式，支持非360度(部分视角)拍摄，App不会给出明确提示框，当然也需要尽可能拍摄多个角度。

引导模式、和自由模式需iPhone 11或更新机型，而查看3D模型要求是iPhone X或更新机型。

根据@未来GIS实验室 的测试，小物体渲染后细节表现不错，室内场景可还原墙面和地板的反光，室外场景的效果同样非常逼真，整体的效果可以说是非常不错。

NeRF Reshoot也是一个有意思的功能，通过生成的3D场景你可以“重新拍照”，比如你可以从其它角度查看图片并重新拍照;重新定制虚拟相机路线，生成一段新的视频;修改图片/视频比例;调整帧率等等，也可以在AR模式下结合6DoF模式还原当时拍摄场景，算是一项进阶玩法。

另外，Luma App还加入AR预览模式，这个没啥难度，应该就是基于ARKit的体验拓展。

网页和API类

网页版本目前集成了主流功能，包括：网页版Luma、文字转3D模型、视频转3D API。

1，网页版Luma

网页版Luma就是自行上传照片、视频来进行三维重建，网页版可以上传更大的文件，目前视频和图片(ZIP压缩包)体积最大限制5GB，通常来讲照片的生成质量比视频要好一些，前提是照片是进行特定拍摄，无明显模糊。

另外，Luma官网还会列出一些精选的3D场景，大家可以用于参考。当然，在App里可以查看或编辑其他人的精选3D场景。

2，文字转3D模型

文字转3D模型功能目前依然未全量开放，就像是Midjourney一样，只需输入文字描述，即可生成对应的3D模型。

官网上有很多示例，并不是每一个质量都很好。当然，目前也处于测试阶段，效果也跟你的Prompt有很大关系，感兴趣可以先加入等待列表。

3，视频转3D API

效果方面，视频转3D的效果几乎和网页版一致。价格方面，转换一个视频费用1美元，就是单纯的按照次数收费，不管视频容量大小，所以当然是尽量丰富视频的细节，转换时间在30分钟左右。

Luma表示，这一方案将为：电子商务、游戏美术、影视特效等领域发展重要价值，因为此前创建3D模型的价格在60-1500美元，时间需要2-10周(Luma提供数据)。

以下是Luma提供的用于转换3D场景的视频拍摄技巧：

捕获过程

捕获速度：运动模糊会显著降低重建质量。为了达到最佳效果，慢慢移动手机，尽量避免快速移动，尤其是旋转。

场景覆盖：为了获得最佳效果，应该从尽可能多的独特视角捕捉物体或场景。此外，在拍摄时最好移动手机(在3D空间中)，而不是从静止位置旋转它。站在同一个地方，在一个球体中向外捕捉通常不太好。引导捕获模式是一个很好的选择，以确保足够的覆盖。

对象大小：对于引导捕获，任何可以从所有角度(包括顶部和底部)轻松查看的对象都是一个很好的候选对象。对于自由形式的捕捉来说，任何东西都是公平的，尽管更好的覆盖范围会产生更好的结果，所以较大的物体可能难以获得完全干净的结果。

物体距离：为了获得最佳效果，在扫描时尽量保持整个物体在帧中。这样做将为应用程序提供更多关于反射和物体形状的信息，从而实现更准确的重建。

物体材质：目前，该应用程序挣扎于复杂的反射(例如，曲面镜面)，弯曲的透明物体(例如，车窗或塑料水瓶)，以及非常大的无纹理表面(例如白墙)。大多数其他材料都很好。

捕捉环境光照水平：该应用程序可以在大多数光照条件下捕捉物体，只要纹理仍然可以识别(即，没有被洗掉或完全黑暗)。照明条件将被烘焙，所以场景应该点亮，但你希望它出现在最终的结果。

移动的物体：在捕捉过程中，场景中的任何运动都可能降低最终结果的质量。例如，在风中移动的树叶可能会导致细节的丢失，而在背景中移动的人可能会引入伪影。拍摄时请注意不要将手指/手臂/腿伸入画面。

相机设置

视频设置注意事项：如上传视频，需关闭视频稳定选项，尤其安卓手机;iOS需禁止使用“HDR视频”选项。

曝光：建议使用固定曝光，尽管动态曝光对室外场景有益。

捕获格式

基于图片生成：可在Luma网页上传图片压缩包。通常照片比视频质量更高，但需特定拍摄，无模糊，并包含EXIF元数据。

提醒：可上传原始格式图像(如CR3和DNG等)和HDR图像(.exr)，以实现更高的动态范围，以提高质量。如果使用原始文件，元数据将用于sRGB渲染(而底层NeRF将是HDR)。使用EXR，渲染的颜色将在当前颜色空间中，因为没有colorspace元数据。

不建议上传大于4K分辨率的图片，当前版本对高分辨率图像效率更低;

鱼眼相机和360相机：360度视频可以更有效实现大面积，但很多360相机实际上是双鱼眼相机，进行拼接形成，拼接可能会导致失真。但可以手动在网页版上传，注意选择对应的模式。注：单鱼眼模式Insta360 .insv文件可以直接重命名为mp4上传;多鱼眼模式可将Insta360 .insv文件放在一个zip上传。