OPPO Reno5 Pro 5G智能手机上的FDF纵向视频系统如何工作

视频一直是我们生活中的重要组成部分，随着智能手机变得越来越快，越来越智能，这些手持式通用设备可以潜在地取代您专用的数码单反相机，傻瓜相机和傻瓜相机，甚至可以满足您的摄影需求。

正如我们在智能手机成像部门所取得的进步一样，视频通常在Android智能手机(甚至在旗舰手机)上也被忽略。但是，近年来，各品牌最终意识到智能手机作为摄像机的重要性，并致力于改善整体摄影体验。

OPPO一直处于优化智能手机摄像头的最前沿，我们已经看到了该品牌的一些有趣技术，例如RFB-ERSGAN神经网络，它可以将原始的低分辨率图像升级为高分辨率图像而又不丢失细节，甚至具有混合缩放技术。堆叠式潜望镜变焦镜头结构。

在即将到来的Reno5Pro 5G中，OPPO将使用其全新的全尺寸融合(FDF)人像视频系统。这是一组在后工作的成像算法，用于优化新设备上的视频。在最近的一次简报中，OPPO解释了该系统如何工作以及如何根据多个参数优化视频以实现最佳输出。

因此，快速浏览一下OPPO Reno5Pro 5G上OPPO的FDF纵向视频系统是如何工作的。本文并不旨在深入探讨该系统。相反，它是您使用手机拍摄视频时幕后发生情况的快速概述。

如上所述，OPPO的摄像头系统是不同算法的集合，这些算法可以协同工作以优化在OPPO Reno5Pro 5G上录制的视频。该系统由两个主要引擎组成：

人像视频系统

1.质量增强引擎

顾名思义，质量增强引擎通过许多不同的参数(例如亮度，动态范围和降噪)改善了视频质量。该引擎在后运行，以提高所录制视频的整体质量。

2.人像感知引擎

另一方面，人像感知引擎专注于场景识别。它在后工作，以识别场景中的人物并根据环境有效地优化人物。该特定引擎还负责启用视频中的创意滤镜，例如AI Color Portrait模式。

为了更好地理解它，此流程图将为您快速概述系统的工作方式。

系统如何运作

这两个引擎一起工作以优化Reno5Pro 5G上的视频。每个引擎都有自己的一组优化在后进行处理。现在让我们快速看一下这些过程。

质量增强引擎

质量增强引擎由两种AI算法架构组成-AI Highlight Video和Ultra Steady 3.0。

AI Highlight Video

OPPO揭示了AI Highlight Video是其专有的算法架构，该架构结合了Ultra Night Video算法和Live HDR算法，以优化视频的亮度，色彩和清晰度，而不论其亮度如何。OPPO还指出，这是他们第一次能够同时使用其Night和Live HDR算法。这意味着AI Highlight Video可在日光和弱光条件下工作，并且在前后摄像头上均可用。您只需在相机用户界面中按一个按钮即可启用此功能。

融合算法框架AI Highlight Video通过三个不同的参数优化视频。

AI自适应亮度增强：该算法使用自适应增益来控制曝光时间，以确保视频中的图像明亮但不会过度曝光。自适应亮度增强

AI自适应动态范围：自适应动态范围使用动态范围转换和电影色调映射(FTM)技术调整视频中每个帧的动态范围。OPPO声称，此过程可将丢失的颜色，亮度和暗度恢复到图像的自然水平。此过程还包括多帧HDR，以在整个视频中实现更好的动态范围。自适应动态范围2

AI自适应降噪：此过程添加了帧间融合以降低时间噪声(两个帧之间)，并添加了帧内融合(帧内)以降低空间噪声。OPPO声称，此过程与其他常规降噪算法不同，它可以消除图像的噪点而不消除必要的细节。

显然，OPPO对其AI Highlight Video算法非常重视。实际上，该公司分享了一些有关如何改善智能手机上摄像头的整体质量和性能的关键数据。

OPPO透露，与常规视频模式相比，AI Highlight视频将夜间视频的亮度提高了74.4%，清晰度为33.7%。Reno5Pro 5G只需20毫秒即可完成整个过程，而功耗也比其前代产品降低了40%。

Ultra Steady 3.0

OPPO的质量增强引擎还依赖于其新一代Ultra Steady 3.0技术，该技术可为跑步，跳跃甚至极限运动等各种场景提供稳定技术。

接下来是肖像感知引擎。你们中的许多人可能已经熟悉此引擎。这组算法负责启用以肖像为中心的功能，例如酷炫的AI Color Portrait视频，而与人的背景或状态无关。

人像感知引擎

拍摄视频时，Portrait Perception Engine将经历三个典型过程。

场景设计经理：第一步是定义肖像场景并处理其所需的条件。使用OPPO自己的数据库，其中包含超过1000万个数据，场景设计管理器可以分析不同场景下的真实人像场景，并根据一组固定参数对视频进行所需的调整。这是引擎准备视频进行进一步处理的第一阶段。

AI建模：一旦对场景进行评估，AI模型和深度神经网络便开始发挥作用，从本质上将肖像与背景分离开来。这是OPPO肖像视频处理中非常重要的部分。为了提高识别人像的AI模型的速度和准确性，该公司正在使用自己的数据库来训练SOTA AI模型。它有助于进一步压缩这些模型，使其适合于智能手机等较小的设备。OPPO声称，整个人像识别过程可以在不到一毫秒的时间内完成，这对于实现无缝且即时的摄影体验极为重要。

人像处理：当您查看现实应用时，人像感知引擎构成了OPPO FDF人像视频系统的基础。最终的肖像处理算法从三个方面优化了视频：

1.面部优化

2.运动跟踪

3.实例分割

借助包括肖像识别和肖像处理在内的肖像感知引擎，OPPO带有FDF肖像视频系统的智能手机可以：

即使被摄对象是侧面照相机或部分被遮挡，也可以准确识别每个人及其脸部的特征。

将AI高光视频优化(例如颜色，亮度或对比度调整)应用于肖像。

为图像中的每个主题添加个性化优化(实例分割)

为肖像添加特殊功能，例如AI Color Portrait

很明显，OPPO相信视频将在未来几年中成为智能手机的重要组成部分。该公司的FDF纵向视频系统只是在视频方面向用户提供更多内容的又一努力。

该公司透露，截至2020年9月，它已在全球范围内申请了7,300项与成像相关的专利，其中2,350项已获授权。

OPPO Reno5 Pro 5G是配备其新型FDF纵向视频系统的最新型号。该手机将于1月18日在推出，因此我们很快就会知道这款新引擎为视频体验带来了多大的改变。