|
用图找图，精准高速 本项目致力于设计一个融合文本检索、图像检索、视频检索于一体的面向多类型用户的基于内容的综合图像/视频检索系统。本系统结合用户需求的多样性，将最新研究的高新技术应用到图像/视频检索系统中，使用户不仅能通过关键字找寻到所需的图像/视频，同时也能通过样例图像、草图、感兴趣区域等查询，满足用户需求的多样性。 本项目的主要内容包括两大部分：图像检索、视频检索。 1.图像检索借鉴成熟的文本检索技术，结合用户搜索模式的多样性，图像检索系统支持关键字、样例图片、草图、感兴趣区域等检索方式。通过用户提交的查询（包括图像、文字等），从海量的图像库中检索出满足用户要求的图像返回给用户，并允许用户对查询结果进行满意度标注，与系统进行交互，同时还允许高可信度的用户对图像的内容进行文字描述，以支持关键字的图像检索。 1.1图像检索的主要功能1、自动提取图像的颜色、纹理等底层视觉特征，得到底层特征库。 2、支持用户进行相关反馈及对查询图像进行文本描述，自动分析该文本描述中的可信关键字，利用该可信关键字对查询图像进行标注，并通过用户的相关反馈过程，实现对图像库中相关图像的语义标注，自动建立高级语义库，使得用户能利用语义信息进行有效检索。 3、支持关键字、图片、感兴趣区域、草图等检索方式。 4、采用高维索引技术加快图像检索的搜索速度。 5、采用图词技术快速实现相似性比较算法。 6、提供开放的系统接口，供其他应用系统调用。 1.2图像检索架构图像检索系统的主要组成部分： 1、存储子系统
Ø 提取图像的颜色、纹理等底层视觉特征和图像的局部视觉特征。
Ø 用户可对查询图像进行文本描述，自动提取该文本描述信息中的可信关键字，将此关键字作为查询图像的标注信息，并结合用户的相关反馈信息，实现对图像库中相关图像的语义标注，写入语义库中。
Ø 负责自动抽取图像的底层视觉特征和局部视觉特征，得到特征数据库，并建立高维索引。
Ø 对图像的底层特征数据库、语义库及原始图像数据库的进行有效管理，包括新信息的插入、信息的查询和删除等功能。
Ø 设计适合于图像的相似度匹配算法，负责将用户提交查询的特征和特征数据库中的特征进行相似度匹配，得到一系列的相似度值，将相似图像返回给用户。
Ø 接受用户的反馈信息，通过对反馈信息的分析，调整检索参数重新进行检索。 2、检索子系统
Ø 设计简洁美观的用户界面，方便用户的查询，和检索结果的显示。
Ø 给定部分参数供用户选择，方便用户参与到检索过程中，获取更接近于用户需求的检索结果。 图像检索体系架构如下：
1.3图像检索的特点和优势1、支持多种用户检索方式 既支持传统的关键字查询和样例查询，也支持感兴趣区域和草图的查询方式，即用户可以在上传的查询图像中框出自己感兴趣的区域进行查询和用户可以给出大概的草图样式进行查询。
2、 通过用户对查询图像的文本描述及相关反馈，自动得到图像库中各图像的语义信息，将高层语义特征和底层的颜色、纹理等特征结合起来，能更全面的反映图像的内容。
3、 基于关键字的查询能充分利用文本检索的成熟技术，而基于图片内容的检索能与文本检索形成互补，使用户能够更快更准的定位到所需图片。
4、 系统提供开放的各种应用接口，可方便后续的二次开发。 2.视频检索 2.1视频检索的主要功能1、获取视频源的视频名、产生日期、导演、制作人等元信息特征；同时进行视频分析与分割，提取场景、镜头等结构信息，并在此基础上进一步提取视频的关键帧及字幕信息，获取视频的特征数据。 2、支持视频、字幕等理解分析过程自动化，通过对视频源做相应的分析，抽象出其特征属性，并存储这些属性，使得用户能够根据这些属性对内容进行检索。 3、支持字幕、图片、视频序列等检索方式。 4、提供开放的系统接口，供其他应用系统调用。 2.2视频检索构架视频检索主要有以下几个部分：
1、
Ø 获取视频的片名、主演、导演、制作人等元数据信息，作为关键词查询的信息之一。
Ø 此模块采用视频分割技术，将视频序列分割为场景、镜头等，获取镜头的关键帧来代表镜头的视觉特征。
Ø 字幕信息是视频高层语义内容的重要来源，对视频的高层语义检索非常有价值。通过字幕抽取技术，获取视频中的字幕信息，作为视频的局部特征，用于用户的关键词查询。
Ø 该模块通过对场景、镜头等进行分析，得到视频的运动信息，及通过特征提取算法，抽取关键帧中的视觉特征，作为视频的局部特征，用于图像/视频查询。
Ø 负责对视频特征信息进行有效管理，建立特征库，并进行高维检索。
Ø 设计适合视频的相似度匹配算法，负责将用户提交查询的特征和特征数据库中的特征进行相似度匹配，得到一系列的相似度值，将相似视频返回给用户。
Ø 接受用户的反馈信息，通过对反馈信息的分析，调整检索参数重新进行检索。
2、
Ø 设计简洁美观的用户界面，方便用户的查询及检索结果的显示。
Ø 给定部分参数供用户选择，方便用户参与到检索过程中，获取更接近于用户需求的检索结果。 视频检索体系构架如下：
2.3视频检索的特点和优势1、提供给用户多种查询方式
5、 采用字幕提取技术获取视频中的字幕信息，体现了一定的视频语义信息。将高层语义特征和底层的颜色、纹理等特征结合起来，能更全面的反映视频的内容。
6、 场景是具有一定完整故事情节的高层语义结构，在此基础上提取的特征更紧密的结合了人的欣赏习惯。
7、 基于关键字的查询能充分利用文本检索的成熟技术，而基于图片和视频内容的检索能与文本检索形成互补，使用户能够更快更准的定位到所需视频。
8、 提供开放的系统接口，支持二次开发。
3.项目的系统结构、项目特点和应用拓展3.1图像/视频检索系统结构该系统是多种热门技术的综合，其主要功能模块为：用户检索界面设计、视频检索、图像检索、系统管理等功能模块组成。
² 给用户提供美观，便捷的检索界面，提供对关键字、图片、视频等检索方式的支持，及用户对检索结果的反馈支持。
² 支持关键字、图片、视频的检索实现，在视频库中寻找匹配的视频、视频场景、关键帧图片等，返回给用户。
² 支持关键字、图像、草图、感兴趣区的检索实现，支持用户标注、反馈等。
² 对整个综合图像视频检索系统进行管理，包括各种数据库的构建、高维索引、图词转换等，为系统的正常运行提供支持。
3.2项目的主要特点
3.3项目的产品形态服务器-客户端模式。 中央控制管理平台，负责新的图像/视频库的构建管理、故障管理、性能优化、性能监控等。 户检索端：用户上传图像视频到图像库、权限管理、计费管理、查询提交、结果呈现及对结果的评价。 3.4产品可提供的服务Internet和移动网络的快速发展，使我们能通过网络搜索到各种信息资源。基于内容图像/视频检索系统不仅能帮助用户更方便快捷的定位到所需资源，而且为内容管理提供了更好的拓展平台： 1、网络图像/视频搜索引擎：通过文本、样例图像、感兴趣区域、草图、视频序列等多种信息，搜索到图像/视频并能定位到相关场景，提供给用户更便利的搜索方式以及更准确、更丰富的搜索结果。通过调用系统提供的接口，还可以将不同的内容提供商的图像/视频聚合到一个平台中，呈现给用户统一的搜索入口，并提供了完整的统计、计费接口。 2、信息资源管理：图像/视频检索系统在信息资源管理方面也可大显身手。传统的信息资源管理系统在对图像/视频资源进行编目时，图像/视频的内容等细节描述信息需耗费大量人工来录入，而且不尽精确。采用图像/视频检索系统通过对图像/视频内容底层特征和文本描述信息的关键字提取，直接对图像/视频内容进行分析，抽取特征和语义，并利用这些内容特征建立索引，从而使图像/视频内容的编目过程自动化，海量节目编目可快速完成。在后续的应用过程中，用户可以根据内容编辑的需要，通过多种查询方式如关键字、给定图片等检索条件，检索出想要得内容。极大地提高了相关的工作效率，方便开展多种业务应用。 3、内容监管：SP（业务提供商）/CP（内容提供商）的引入为移动增值业务的发展起到了至关重要的推广作用，但是对其提供内容的监管也一直困扰着运营商，如何引导整个产业的健康发展成了摆在他们面前的一个重要课题。同样，博客和社交网络的蓬勃发展，给其监管也带来了新的挑战。利用图像视频检索系统，监管人员可以通过设定某些过滤条件，如关键字、图片等来对上传的内容做自动的审核，识别出含有不良信息、敏感信息的图像视频内容。从而保证把健康的、积极向上的内容提供给广大用户。 4、数字图书馆平台：数字图书馆是21世纪图书馆现代化发展的方向，它在信息社会中的地位和作用将越来越重要，成为我国信息产业的重要组成部分。通过视频检索系统提供的多媒体信息编目及检索能力，可大大缩短数字图书馆的建设时间，并能为用户提供更易用、功能更强大的信息查询入口。 5、版权保护：网络的发展，为信息的传播带来了空前的发展，但同时也为某些具有版权作品的产权保护带来了巨大挑战。本项目即可通过图像/视频的查重检索功能，检索出非法传播的版权作品，维护版权人的利益。 6、特殊行业应用：公安系统、安防行业、旅游这类特殊的行业用户，对图像视频检索系统也有很强的业务需求，如公安系统在侦破过程中，常需在海量视频资料中定位特殊人员出现的场景，此类工作往往都要靠人工花费大量时间去查找。而采用图像视频检索系统，系统可迅速定位相关信息，大大减轻了工作量，提高了工作效率。如旅游行业中，游客往往喜欢在网上寻找相关图像视频来判断要去的旅游地，直接利用图像视频检索检索，可快速找到相关信息。 附：核心技术专利清单 1、基于汉字特征的文档图像分割方法； 2、一种基于区间权值的相似性度量方法； 3、一种基于傅氏频谱的汉字图像纹理特征提取方法。 4、一种结合用户评价与标注的图像检索方法。 5、一种图像检索方法。 6、一种图像检索中视觉单词的提取方法。 7、一种基于街区距离的高维向量快速检索算法。 |
|
|
