分享

Skybox AI再详解:文本生成360°全景图像的AI神器!

 风声之家 2023-05-31 发布于江苏

公众号年初的文章其实介绍过Skybox AI:《如何使用AI绘画技术生成360度全景图?》,一直以来关注的人很少。网站上线时我做的下面这个演示视频目前仍在官方网站首页推荐中展示,因为这个视频清晰的揭示了这个技术的一种游戏应用方向。

穿行者

9

近期这个网站进行了较大的功能升级,关注度上来许多,网上也开始有一些介绍和使用演示。但感觉关注度还不够,我的视频下很多留言问这是什么AI,怎么用。我认为这个技术还有更大的发展空间,值得再写一篇详细介绍一下。

官网:https://skybox.blockadelabs.com/

一、什么是Skybox AI?

Skybox AI是由Blockade Labs推出的AI在线生成和合成360°全景图片的工具,该人工智能驱动的工具,可以从图像中生成全景图。

Skybox AI的核心技术是基于文本的图像生成,也就是根据用户输入的文本提示,生成与之匹配的360°无缝环境贴图。

Skybox AI使用了预训练的2D扩散模型和神经辐射场(NeRF)模型,通过梯度下降法优化3D场景的表面和体积。

Skybox AI不仅可以生成风格各异、逼真多样的3D图像,还可以处理复杂的效果,如烟雾、水滴和反射,以及新颖的视角和照明条件。

二、Skybox AI有哪些功能?

Skybox AI目前提供了以下几种功能:

  • Text-to-skybox:这是Skybox AI最基本也最强大的功能,用户只需要输入一些描述性的词语,就可以生成对应的360°全景图像。例如,输入“a warm and cozy cabin in the woods”,就可以得到一个温馨舒适的木屋环境。

  • Sketch-to-skybox:这是Skybox AI最新推出的功能,用户可以在一个立体的网格空间中用画笔快速勾勒出大致的画面轮廓,然后在底部文本框输入想要的画面文本,就可以生成一个与之匹配的360°全景图像。例如,在网格中画出一座城堡的轮廓,然后输入“a medieval castle with a moat and a dragon”,就可以得到一个中世纪风格的城堡场景。

  • Remix:这是Skybox AI提供的一种修改已有图像风格和内容的功能,用户可以在保持原图像结构和深度不变的情况下,通过修改文本提示或者选择不同的渲染风格来改变图像的外观。例如,在原有“a warm and cozy cabin in the woods”的基础上,修改文本为“a haunted cabin in the woods”,就可以得到一个恐怖氛围的木屋场景。或者改变原始图像的季节,时间变化。

  • Depth:深度图(Depth map)是一种用来表示图像中每个像素距离相机的距离的灰度图像,通常用黑色表示最近的像素,白色表示最远的像素,灰色表示中间的像素。Skybox AI支持生成和下载深度图。

三、Skybox AI如何使用

1、Text-to-skybox网站默认进来就是文本生成360图,直接输入提示语,右侧选择不同的模型,下方可设置Negative Text负面提示语

2、Sketch-to-skybox:点击下方Create New打开手绘生成360图的界面。

左侧为手绘输入工具,操作很简单,重点介绍一下下方三个不同的网格图。

 Sphere grid:球形网格适合创造大场景空间效果的绘制。

 Cube grid:适合室内小空间设计的绘制。

 Plane grid:适合室外建筑、城市、场景设计。

以上是我推荐的一些玩法,当然你也可以根据自己绘制的内容,尝试各种网格图的应用。

Remix:这个功能可以在保持已生成的全景图基础上,改变风格、或增减新的对象,例如可以尝试改变以下方面:一天中的时间、天气、材料和视觉风格。还可以通过负面提示语取消一些内容。

Depth:如果想生成深度图,需要在生成前打开Depth开关,生成后可以下载深度图,并加载到其他3D软件中使用。

四、Skybox AI有哪些应用?

Skybox AI生成的360°全景图像可以用于多种创作场景,例如:

  • VR/AR/XR:Skybox AI可以为虚拟现实、增强现实、混合现实等沉浸式体验提供丰富多样的背景环境,用户可以在不同的世界中自由探索和互动。

  • 穿行者

    10
  • 3D设计/游戏制作:Skybox AI可以为3D设计师和游戏开发者提供快速高效的原型制作和素材获取工具,用户可以将生成的图像和深度图导入Blender、Unity、Unreal Engine等软件中作为环境贴图或者灯光贴图使用。

  • 穿行者

  • 穿行者

    3
  • 原画设计/插画创作:Skybox AI可以为原画设计师和插画创作者提供灵感和参考来源,用户可以根据自己想象或者需求生成不同风格和主题的360°环境及深度图,并在其中选择合适的角度和细节进行绘制。

  • 穿行者

    5
  • 室内设计/建筑设计:Skybox AI可以为室内设计师和建筑设计师提供快速高效的原型制作工具,用户可以根据自己或者客户的想法输入文本或者涂鸦草图来生成不同风格和主题的360°室内或者建筑环境,并在其中选择合适的角度和细节进行展示和沟通。

  • 穿行者

    5
  • 穿行者

    6
  • 除了上面介绍的这些应用方向,由于官方已经开放了API,已经有很多创业公司利用这个技术做出多种形式的应用,创意也非常。


五、Skybox AI有哪些潜力和应用范围?

Skybox AI作为一种基于文本生成360°全景图像的AI神器,具有很大的潜力和广泛的应用范围。随着技术的不断进步和优化,我们期待Skybox AI能够:

  • 提高生成质量和多样性:目前Skybox AI生成的图像虽然已经很逼真和多样,但仍然存在一些问题,如重复性、模糊性、失真性等。期待Skybox AI能够提高生成质量和多样性,使得每个图像都能够清晰细致、独特新颖、符合物理规律。

  • 增加更多功能和选项:目前Skybox AI提供了三种基本功能(Text-to-skybox、Sketch-to-skybox、Remix),但仍然有很多功能和选项值得探索和添加,例如支持更多风格、更多元素、更多控制等。

  • 扩展更多应用场景和平台:目前Skybox AI主要面向VR/AR/XR、3D设计/游戏制作、原画设计/插画创作等领域,但仍然有很多应用场景和平台值得开发和尝试,例如室内/建筑设计、电影/动画制作、教育/培训、旅游/导览等。

总之,Skybox AI是一种非常有趣和有用的AI工具,它能够让我们用文本来创造无限可能的360°全景图像,并将其应用于各种创作场景。我已经看到了太多极富创意的作品和应用,建议大家都去用一用。

对AIGC相关内容感兴趣的朋友欢迎加入,共同学习,快速掌握最新AI技术应用。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多