导语近日,阿里云发布了智能媒体管理(Intelligent Media Management)服务, 通过离线处理能力关联授权的云存储,提供便捷的海量多媒体数据一键分析,并通过该分析过程构建价值元数据,更好支撑内容检索。 背景介绍随着智能手机的普及、无人机的流行,业界产生了海量的图片、视频等多媒体数据;同时,网络也在飞速发展,特别是4G的推广,让这些数据的保存、分享发生了巨大的变化,从而也带来了媒体数据各行业的新趋势。我们亲身体验到通信方式从短信变成语音,浏览内容从文字变成图片、从JPG静态图片变成GIF动态图片、再到短视频;从去年开始,直播也火热起来,成为一种流行的时尚。这些迅速的变化趋势,反应了一个共同的特点,就是“交互的信息量越丰富、越实时,用户越容易被吸引,越会产生新的价值”。 如图中所示行业,都在利用最新的人工智能(Artificial Intelligence, AI)技术产生新的价值,同时也引入新的需求:
数据处理场景需求对于图片分享社区应用场景,最基本的功能是提供备份、分享,但这并不能带来更多的价值。只有提供更多的图片处理能力,比如主体剪裁、人脸识别、滤镜功能、风格渲染、视频合成等数据处理功能,如下图所示。这些亮点将为使用者带来“生活不止眼前的苟且,还有依然在你身边的美好”回忆,从而让应用更具吸引力。 内容检索场景需求如今的综艺节目非常火爆,例如跑男、极限挑战等,每期拍摄的素材量千倍于实际播出量;要在这海量素材中快速扫描、找到爆点,需要相当大的工作量,例如当前的人肉检索低效率方式需要处理几周的时间。如果能够基于AI分析语音、人物、场景得到结构化信息,并索引管理起来,支撑更好的检索,它将会大大的提高素材的处理效率。 同样,在线教育等领域,对于老师、演讲者的材料、语音、视频内容,如果能够提供快速的解析索引能力,那么它将给学习者提供便捷的专场内容描述、快速定位关键术语、演讲笔记同步提取等亮点。 客户痛点分析要满足上述场景需求,当前应用架构设计时,需要选型不同数据处理功能的厂家(包括AI厂家)进行集成、或者自研开发,对于内容检索,还需要分析场景细节需求,引入数据库设计和开发。这都需要很好的技术能力,以及开发团队的支撑,并解决如下的痛点。 多厂家管理痛点图片应用将数据保存到云存储后,要选择不同厂家的AI分析能力,支撑业务和监管的需求。应用通常会在云服务器(Elastic Compute Service,ECS)上部署AI厂家的软件包,或者直接调用AI厂家提供的服务,但需要解决如下问题:
复杂元数据管理痛点智能网盘通过自己的用户鉴权服务允许客户登录,然后采用基础数据管理把图片、视频上传到云存储OSS中。为了提供人脸分组、标签分组等搜索功能,需要提供各类元数据管理,定义基于场景的表格式、处理数据库的异常,它将带来如下的开发难度:
设计目标通过上述的场景和痛点分析,智能媒体管理(IMM)服务提取了6个关键点作为设计目标:
功能描述对于云存储上的海量数据,通过授权访问的安全设计,让数据处理分析服务能够有权限访问数据,在此之上构建数据智能处理框架,该框架针对离线处理优化设计,同时支持实时处理能力。基于该处理框架,引入了业界领先的数据处理能力,包括各种AI能力。利用离线处理能力关联授权的云存储,可以提供便捷的存量数据一键分析,通过该分析过程构建价值元数据,支撑更好的内容检索。通过这样的设计,从而提供如下功能:
架构介绍如图是IMM服务的架构依赖上下文,服务本身的架构分为2层:处理引擎、元数据索引。 架构依赖上下文
处理引擎层基于阿里云存储,就近构建计算框架,该框架支持批量异步处理、准实时同步处理,在一键关联云存储(例如,指定Bucket的目录前缀、指定Bucket的某个对象)后,实现快速的自动数据处理,通过整合业界领先的数据处理算法,处理引擎提供如下功能。
元数据索引层基于处理引擎提供的功能,通过对场景的深入理解和梳理,IMM封装了场景的元数据设计,对外提供场景的元数据访问接口,简化场景应用的设计难度、无须关注元数据索引数据库的运维工作,目前支持如下的元数据索引。
调度框架IMM的所有数据处理请求都在调度框架下执行,例如上述架构中提到的处理引擎层、元数据索引层请求,它由2部分组成:
当调度框架收到同步的请求时,例如DetectTag进行图片打标分析时。调度框架将会把请求分发到请求队列的Pipeline,然后根据后端实例的节点状态、负载情况快速转发请求,从而达到准实时调度的能力。为了保证请求的低时延,以及请求的成功率,通常选择预留的实例。 当调度框架收到异步的请求时,例如CreateTagJob指定OSS的桶、前缀进行批量的图片打标分析时。调度框架将会把请求放到调度器,调度器遍历OSS桶、前缀的对象,然后生成单个对象的数据处理请求并分发到多个请求队列中,再根据后端实例的节点状态、负载情况快速向多个实例转发请求,从而达到离线调度的能力。为了保证离线调度的成本,通常选择Spot类型的竞价实例。 通过上述调度控制和数据处理分离的架构,调度框架提供如下亮点:
如何使用IMM提供控制台操作和API接口,通过控制台快速的创建IMM的项目,然后体验IMM的数据处理功能。 控制台使用登录阿里云控制台,执行如下操作:
创建了项目,就可以体验IMM支持的功能:
详细的控制台使用介绍,请参考IMM快速开始。 API使用IMM的API调用方法调用IMM的API需要遵守阿里云的API规范,请参考IMM API调用,请您注意调用时的参数,特别是签名。 如下是IMM典型功能的API调用示例。 文件格式转换CreateFormatConvertJobPOST https://imm.cn-shanghai.?Action=CreateFormatConvertJob&Project=test&SrcUri='oss://bucket1/test.pptx'&TgtType=jpg&TgtUri='oss://bucket1/imm-format-convert-tgt/session123/'&ExternalID=aaa 该功能接口的详细信息,请参考CreateFormatConvertJob。 图片打标DetectTagPOST https://imm.cn-shanghai.?Action=DetectTag&Project=test&SrcUri=['oss://bucket1/1.jpg'] 该功能接口的详细信息,请参考DetectTag。 人脸检测DetectFacePOST https://imm.cn-shanghai.?Action=DetectFace&Project=test&SrcUri=['oss://bucket1/A.jpg'] 该功能接口的详细信息,请参考DetectFace。 批量鉴黄CreatePornBatchDetectJobPOST https://imm.cn-hangzhou.?Action=CreatePornBatchDetectJob&Project=test&SrcUri='oss://bucket/prefix'&TgtUri='oss://bucket/imm-porn-batch-tgt/session1' 该功能接口的详细信息,请参考CreatePornBatchDetectJob。 立即体验现在产品已经在阿里云官网正式开始公测,点击这里立即体验。 后续规划下一阶段,IMM将和OSS集成拉通:
通过这样端的端的集成,从而让您在云上的管理更加易用。 |
|