近期这个网站进行了较大的功能升级,关注度上来许多,网上也开始有一些介绍和使用演示。但感觉关注度还不够,我的视频下很多留言问这是什么AI,怎么用。我认为这个技术还有更大的发展空间,值得再写一篇详细介绍一下。
官网:https://skybox.blockadelabs.com/
一、什么是Skybox AI?
Skybox AI是由Blockade Labs推出的AI在线生成和合成360°全景图片的工具,该人工智能驱动的工具,可以从图像中生成全景图。
Skybox AI的核心技术是基于文本的图像生成,也就是根据用户输入的文本提示,生成与之匹配的360°无缝环境贴图。
Skybox AI使用了预训练的2D扩散模型和神经辐射场(NeRF)模型,通过梯度下降法优化3D场景的表面和体积。
Skybox AI不仅可以生成风格各异、逼真多样的3D图像,还可以处理复杂的效果,如烟雾、水滴和反射,以及新颖的视角和照明条件。
二、Skybox AI有哪些功能?
Skybox AI目前提供了以下几种功能:
Text-to-skybox:这是Skybox AI最基本也最强大的功能,用户只需要输入一些描述性的词语,就可以生成对应的360°全景图像。例如,输入“a warm and cozy cabin in the woods”,就可以得到一个温馨舒适的木屋环境。
Sketch-to-skybox:这是Skybox AI最新推出的功能,用户可以在一个立体的网格空间中用画笔快速勾勒出大致的画面轮廓,然后在底部文本框输入想要的画面文本,就可以生成一个与之匹配的360°全景图像。例如,在网格中画出一座城堡的轮廓,然后输入“a medieval castle with a moat and a dragon”,就可以得到一个中世纪风格的城堡场景。
Remix:这是Skybox AI提供的一种修改已有图像风格和内容的功能,用户可以在保持原图像结构和深度不变的情况下,通过修改文本提示或者选择不同的渲染风格来改变图像的外观。例如,在原有“a warm and cozy cabin in the woods”的基础上,修改文本为“a haunted cabin in the woods”,就可以得到一个恐怖氛围的木屋场景。或者改变原始图像的季节,时间变化。
Depth:深度图(Depth map)是一种用来表示图像中每个像素距离相机的距离的灰度图像,通常用黑色表示最近的像素,白色表示最远的像素,灰色表示中间的像素。Skybox AI支持生成和下载深度图。
三、Skybox AI如何使用
1、Text-to-skybox:网站默认进来就是文本生成360图,直接输入提示语,右侧选择不同的模型,下方可设置Negative Text负面提示语。
2、Sketch-to-skybox:点击下方Create New打开手绘生成360图的界面。
左侧为手绘输入工具,操作很简单,重点介绍一下下方三个不同的网格图。
Sphere grid:球形网格适合创造大场景空间效果的绘制。
Cube grid:适合室内小空间设计的绘制。
Plane grid:适合室外建筑、城市、场景设计。
以上是我推荐的一些玩法,当然你也可以根据自己绘制的内容,尝试各种网格图的应用。
Remix:这个功能可以在保持已生成的全景图基础上,改变风格、或增减新的对象,例如可以尝试改变以下方面:一天中的时间、天气、材料和视觉风格。还可以通过负面提示语取消一些内容。
Depth:如果想生成深度图,需要在生成前打开Depth开关,生成后可以下载深度图,并加载到其他3D软件中使用。
四、Skybox AI有哪些应用?
Skybox AI生成的360°全景图像可以用于多种创作场景,例如:
VR/AR/XR:Skybox AI可以为虚拟现实、增强现实、混合现实等沉浸式体验提供丰富多样的背景环境,用户可以在不同的世界中自由探索和互动。
3D设计/游戏制作:Skybox AI可以为3D设计师和游戏开发者提供快速高效的原型制作和素材获取工具,用户可以将生成的图像和深度图导入Blender、Unity、Unreal Engine等软件中作为环境贴图或者灯光贴图使用。
原画设计/插画创作:Skybox AI可以为原画设计师和插画创作者提供灵感和参考来源,用户可以根据自己想象或者需求生成不同风格和主题的360°环境及深度图,并在其中选择合适的角度和细节进行绘制。
室内设计/建筑设计:Skybox AI可以为室内设计师和建筑设计师提供快速高效的原型制作工具,用户可以根据自己或者客户的想法输入文本或者涂鸦草图来生成不同风格和主题的360°室内或者建筑环境,并在其中选择合适的角度和细节进行展示和沟通。
- 除了上面介绍的这些应用方向,由于官方已经开放了API,已经有很多创业公司利用这个技术做出多种形式的应用,创意也非常。