|
不久前，小米相机部迎来好消息👇 小米夜枭算法团队在被誉为“影像算法奥林匹克”的CVPR NTIRE 夜景渲染比赛中，获得了大众评审和摄影师评审的两项世界冠军。消息一出，公司上下，米粉及影像圈内外投来了惊喜、惊叹以及称赞的目光。 于是，这不，活儿就应运而生了。我被委任了一项光荣任务，要和夜枭算法团队的技术专家聊聊，“夜枭”这项技术到底咋（duo）回(niu) 事 (bi) 。文科女孩不怕困难，在肝了2周，流下一些含有技术含量的泪水后，终于，肝出来了！ - 01顶级盛会天花板夜枭团队双夺冠首先，来隆重介绍一下有“影像算法奥林匹克”之称的CVPR NTIRE 系列赛。 CVPR，是计算机视觉领域全球最具影响力、内容最全面的顶级学术会议。说得具象一点，与我们耳熟能详的Nature 、Science的学术影响力可等量齐观。NTIRE，是 CVPR中关于影像恢复与增强相关任务的专题研讨会，是世界规模最大、水平最高的图像恢复与增强的研讨会和比赛。 NTIRE 提出业界前沿困难任务，用竞赛形式吸引全球专家学者参与挑战，而竞赛中提出的解决方案也常被学术圈和工业界所借鉴，因而备受关注。今年是第七届NTIRE 比赛，吸引了南开大学、米兰大学、华为等众多国内外顶尖大学、研究机构和公司参加。  小米夜枭团队本次参加的是NTIRE首次提出的比赛赛道，大赛提供单张夜景原始RAW图，参赛者通过研发夜景渲染解决方案，生成夜景视觉效果图像。（RAW图，可以理解为图片的原始档案，是没有被加工，也没有任何损失的一种格式图。） 为兼顾专业性与大众性，最终夜景效果图由大众评审和摄影师评审共同投票评定。这次小米夜枭团队获得的双冠军，可以说是来自专业人士与普通用户的双重肯定。  大众评审小米得分第一  专业摄影师评审小米排名第一 与 NTIRE 的其他赛道相比，夜景渲染挑战需要参赛者自发摸索和定义目标效果，相当于开放性考试，不仅考验团队的技术能力，也考验“技术审美”，难度更大，更具挑战性。 02夜枭算法有多牛背后技术是一流首先，来为大家科普一下「夜枭算法」。算法是用计算机解决问题的方法、步骤。解决不同的问题，需要不同的算法。夜枭算法是聚焦于暗光场景，小米自研的深度学习AI拍照算法，用于提升手机相机拍照和视频的画质效果。 引用米粉的描述，小米手机+夜枭算法≈小米“夜视仪”。即在黑暗条件下，手机相机在夜枭算法加持下，突破手机相机感光下限，让照片焕发「光彩」的技术。  打个比方，当原始夜景照遇上夜枭算法，立刻碰撞出火花。照片将在不到3秒的时间里，经历去噪、提亮、色彩还原等环节，最终恢复出一张细节清晰、颜色真实、画面干净的夜景照片。  摄影师邢超拍摄 经过夜枭算法处理的照片，背后调用了数十个核心算法，包括AI噪声估计，AI去噪、AI细节增强、AI颜色还原、AI提亮、AI夜景深度估计、AI场景分割、AI选帧、AI对齐等。  那么让夜景照越夜越美，夜枭算法是如何做的呢？ 1 夜太黑，「去噪」辨是非 在伸手不见五指的黑夜，未经算法处理的照片，自然是漆黑一片。 当对照片进行一点提亮，将得到一张噪声很大的照片。噪声，指一切不规则的信号，体现在照片里的即为图片噪声。肉眼看，噪声大的照片有“糊”的感觉，有时候甚至看不到具体的东西。  照片从漆黑到去噪完成后 造成图片噪声的原因有很多，比如夜晚亮度低，灯光复杂，导致采集图像存在噪声。以及图像在手机设备内传输成像的过程，也会产生噪声。 噪声对图像是一种“破坏”，去噪则可理解为去除图像污染，恢复和重建图像数据的过程。小米夜枭算法，通过自主研发夜晚场景噪声标定系统，对夜晚场景噪声的分布和形态进行数学建模，在干净的图像上同样添加噪声，从而补充大量模拟噪声数据，提升训练数据的丰富度，让去噪更有针对性。  与此同时，小米夜枭算法还自主研发了极暗光数据采集系统，使用多种真实相机进行数据采集，补充的数据能让去噪效果更好。 万事开头难，图像去噪是算法处理照片的重中之重，是起点也是重点。 2 夜太美，更需要「完美」的细节 暗光情况下，拍张好看的人像照不容易。有米粉曾提出疑问，小米 11Ultra 在夜晚拍摄人像时，怎么做到把发丝、睫毛拍摄的丝丝分明的？ 这其实本质是一个如何在有效去除图像噪声的同时，恢复出更多图像细节的问题。从算法原理上看，需要更好地对齐。  打个比方，当你在夜晚举起手机拍一张夜景照，小米相机里的“算法小机灵鬼”已准备就绪。 当你按下快门，算法其实拍摄了多张照片，它们紧锣密鼓地进行多张照片的画面对齐，并分析每张照片特征，择优录取「真实」的画面部分，从而融合出一张优秀的夜景作品。  摄影师许坚拍摄 通俗解释容易，背后的技术不简单。小米算法团队首次提出自引导的多尺度融合AI去噪算法，当多帧原图输入时，进行亚像素特征对齐和特征级别信息融合，降低拍摄手抖的影响，实现多帧信息的互相补充。 当单帧原图输入时，进行多尺度的特征重建，实现单帧内信息充分利用。结合噪声指导图，还可以引导算法对不同区域进行不同程度的融合去噪，指导局部信息残缺的区域实现细节恢复，在获得更好去噪效果的同时，恢复更加丰富的细节信息。  当我们看到恢复了更多细节的照片，在视觉上能感受到干净、舒服。因为算法区分出了细节和噪声，并保留好细节，比如纹理、发丝、睫毛，而不是直接抹掉。 如果用解一道难题来比喻，夜枭算法相当于在解决暗光拍照这道考题时，发现了8种解题思路，并通过深度学习，融合不同思路的完美之处，最终提交了一个近似“圆满”的答案。 3 夜太深，明暗色彩要分明 夜晚拍摄，由于灯光比较多，发出的光线不均匀，动态范围大。“动态范围大”就是亮度信息太多，从最亮到最暗的幅度大。此时用手机拍摄，可能出现高光的地方很亮但丢失细节，稍微暗点的地方则只剩黑暗。 为处理多种光源混合的情况，夜枭算法提出了基于内容自适应的AI提亮模型。通过对图像中不同的区域进行不同程度提亮，在保证图像对比度同时，保留亮区和暗区的信息，实现让亮度过渡区域更平滑、自然。 摄影师许坚拍摄 图像明暗过渡丝滑后，要想获得更真的“夜感”，还需要准确地还原夜景的颜色。 还原夜色，需要精准的白平衡估计。白平衡就是白色的平衡，我们看到物体的颜色，会随着环境光线出现偏差。夜晚光源较多，比如一只白色的狗在黄色的路灯下会偏黄，出现颜色失真。精确的白平衡估计，是让照片更真实的必要条件。 为让夜景颜色更准确，小米夜枭团队使用deepAWB来实现多光源的白平衡估计，并首提AI色彩还原模型，通过提取图像中有效内容，让不同区域有不同的计算权重，避免受到过亮和过暗区域干扰造成混合光源颜色失真，提升了夜枭算法对环境的自适应能力。 也就是说，夜枭算法中的AI提亮模型和颜色矫正模块，能根据不同环境的亮度和场景中的内容，实现不同程度的亮度提升和色彩还原，最终得出清晰、明亮的图像。 03哪些坑可以不踩和夜枭算法专家雷老师聊完，我基本对夜枭算法从云里雾里到了五体投地的地步。优秀算法的关键，源自优秀头脑的写就，是一群优秀工程师的技术理想。 夜枭团队已成立近3年，成员多为热爱研究技术的年轻工程师。他们主要负责结合AI 深度学习技术，提升手机相机拍照和视频的画质效果，研究方向包括去噪、高动态、颜色增强等，已经交付了不少深受用户喜爱的研究成果，比如AI大片、夜枭极暗光拍照、夜枭视频、夜景抓拍等多个有自主知识产权的核心算法。 摄影师许坚拍摄 夜枭算法最初筹备时，并非是备受关注的热门项目。当时为解决夜景拍摄的技术难题，5位算法工程师凭借对技术的执着、痴迷，以及对待工作的全力以赴，利用不到半年的时间创造出了夜枭算法1.0。夜枭算法更像是一次技术探索中，意外收获的惊喜。 夜枭算法推出后，很快得到了多方肯定，并从幕后走到台前，登上了发布会。团队的小伙伴们既兴奋又紧张，期待着用户使用后的反馈。一段时间里，工程师们泡在微博、B站等社交媒体平台上，听用户的反馈，有时候听得很高兴，有时候也会有点小失落。“但对改进有用的，还是会认真看的。” 这个年轻的团队始终活力十足，成长速度越来越快，规模也日渐扩大。 当我问算法专家雷老师，能否提供夜景拍摄的技巧时，这其实并不在工程师的射程范围内。对于夜枭算法的专家来说，相比于拍出一张好看的照片，他们更在意的是底层算法的准确性，以及算法对色彩、场景还原的真实性。“准”与“真”是工程师相信的标准。 但他也从算法的逻辑角度，提出了3个小建议👇 1/ 稳住，才有赢的机会 该稳定既是情绪上的稳定，还有就是手要稳，这可以让算法进行更好地对齐。虽然算法已经在一定程度上降低了手抖的影响，但如果拍摄中，手如帕金森般剧烈抖动或者大幅动弹，对于拍摄将毫无益处，稳住，赢的几率更大。 如果你天生手抖，建议可以配一个三脚架或者其他固定工具，用来保持画面的稳定。如果不想配三脚架，也可以把手机放在可以倚靠的固定地方，比如栏杆，或者也可以邀请手部稳定同伴帮忙。 2/ 避免拍摄“亮瞎眼”强光源 强光源，不是指光头，而是指光线比较强的物体，当你试图拍强光源或者强光源下的人时，由于光线进入手机相机镜头内，发生了多次的折射与反射，会让画面出现难以预测的意外，以及也可能会让光线跑偏，当然最直接的可能就是被拍摄人打。 3/ 拥有一台夜拍神器 最后，要想得到一个细节丰富、纯净度好的照片，最好的办法是拥有一台配置了夜枭算法的小米手机。目前夜枭算法已经应用到小米11 Ultra、小米12 Pro 等小米旗舰手机上，将助力你拍出更美的夜色。 - 每一次手机影像上的进步，背后都离不开宝藏工程师们。在工程师眼中，代码是语言，是表达的工具，是创新的力量。未来，伴随手机硬件和算法的不断提升，相信小米的工程师们将为手机影像的发展带来更多新的体验。 提到未来的展望，夜枭算法专家雷老师说，手机影像算法不仅会朝着拍照更快、更清晰、颜色更准确、动态范围更高的方向发展，还会根据用户更多元的需求，不断攻坚与创新，为米粉们带来更好的拍照体验。 虽然距离「最好」，还有很长的路要走，但务实的工程师们相信，只要钻研，耐心用时间去实践，总能开创出远大前程。 创意出品：小米编辑部 X 小米手机相机部 技术支持：小米相机部算法组 雷老师 撰文：羽蒙 排版：灵灵 美术：程温暖 |
|
|
