基于图书馆应用图像检索中的用户研究综述
1.引言
随着多媒体技术的高速发展和Internet的普及，数字图像的数量快速增长，我们已经进入读图时代。图像以其内容丰富、表现直观等特点，已在国防军事、工业制造、医疗卫生、新闻媒体和大众娱乐等领域发挥着重要作用。但是随着日益增大的图像数据库，图像无序化问题也越来越突出，如何在庞大的图像数据库中快速找到用户感兴趣的图像已成为一个亟待解决的问题。
Internet网中图像的检索经历了两个阶段：第一阶段是以关键字为基础的检索；第二阶段是以图像内容为基础的检索。以关键字为基础的检索是基于文本的检索，由于图像内容复杂，不同个体理解不一致，难以用文字描述图像，并且对图像标注费时费力，基于文本的图像检索效果并不能很好地满足用户的需求。在20c90s开始出现基于内容图像检索（Content-Based Image Retrieval，CBIR），借助于对图像从低层到高层进行自动处理和分析来描述其内容，并根据内容进行检索[2]。它是将图像表示为高维空间中的矢量，这些矢量是由从图像中提取的颜色、纹理、形状等底层特征组成的。基于内容的图像检索在一定程度上提高了图像检索的效果，但又出现的一个很严重的问题―语义鸿沟：抽取出来的图像低层特征与人对图像的语义理解之间存在很大的差距，用户仍然不能找到满意的图像。研究者发现将用户作为图像检索研究中的一个出发点能够很好的减少语义鸿沟现象。目前研究者提出多种方法，包括：（1）相关反馈法，其思想是通过人机交互，让系统能够根据用户的选择猜测用户的检索意图，并能自动地调整相似度量准则；（2）感兴趣区检测法，其思想是以分割后的区域的特征来描述图像，并以区域为单位来匹配图像，以找到用户感兴趣的图像；（3）基于用户的情感出发，以用户情感为线索检索图像，其目标是以图像可能激发的人的主观体验（即情感语义特征，或者感性特征）为中间桥梁，实现用户检索需求与图像之间的匹配。
2.基于相关反馈
相关反馈法是基于内容的图像检索中最常用的方法，其检索过程有如下几个步骤：（1）提交初始检索，系统返回初始检索结果；（2）用户对排序前10（或前20）的结果评价是否和本次检索相关，相关称为正反馈样本，不相关称为负反馈样本；（3）系统根据用户提交的反馈对检索优化，将新的检索结果返回；（4）如果用户仍不满意，可重复反馈。
根据相关反馈算法所采用的检索模型把算法分为查询点移动、特征权重调整、基于概率模型、基于机器学习、基于聚类分析等方法。
（1）查询点移动：查询点移动算法是通过用户的反馈信息，改变数据库中每幅图像与查询图像之间的距离，使相似点靠近查询图像，不相似的点远离查询图像。
（2）特征权重调整：对图像不同的特征赋予不同的权值，系统根据用户的反馈信息，把用户认为与查询图像相似的特征赋予较大的权重而不相似的特征赋予较小的权重，然后根据调整后的权重计算图像间的相似度。曹奎等提出一种新的基于灰关联分析（GRA）的相关反馈技术，它使用GRA来描述“例子图像”与“相关图像”之间的关系，并据此更新查询向量和特征的权重，据此自动更新图像的相似度量和用户的查询需求。
（3）基于概率模型：把相关反馈看成是一个分类问题，大部分情况下考虑的是两类分类问题。以贝叶斯（Bayesian）理论等为基础，通过用户的反馈信息，估计每一幅图像与查询图像的相关概率，将高概率的图像检索出来，从而提高检索效率。张亮等提出一种基于动态学习用户模型的贝叶斯概率检索方法。通过对历史反馈信息的长期学习，动态估算用户模型，从而预测目标图像的概率分布。
（4）基于机器学习：将交互过程看做一个训练过程，通过对训练样本的学习，逐步了解用户的具体查询目的，并建立图像特征与用户查询目的间对应的模型，根据该模型来进行新一轮的检索。常小红等从机器学习的角度出发，提出了一种基于RBFN的相关反馈算法。即在检索阶段用户对检索结果标记为相关图像、模糊相关图像和不相关图像，然后将这些反馈信息作为训练样本，动态地建立RBFN的结构，这个过程反复进行，直到用户得到满意的结果或失去耐心为止[8]。
（5）基于聚类分析：首先对特征空间进行聚类划分，形成不同的图像类，相关图像落在一类中或距离较近的类中，而不相关图像则落入距离较远的类中，然后计算每两个类之间的权重作为类间相似度的度量。通过调整类的大小和类间权重，进一步减小相似类间距，并使不相似的类远离。陈光鹏、杨育彬等在图像检索中引入蚁群算法的思想，来建立图像的语义网络，将用户反馈日志转化为图像的语义关联信息并存储在语义关联矩阵中。
（6）结合机器学习和聚类分析：有些学者将以上几种方法综合起来应用，如陈旭文等提出了一种综合用户反馈信息时空特性的用户反馈学习方法―时空特性支持向量机（SKSVM）方法。在学习中，时空特性支持向量机（SKSVM）根据用户反馈信息的空间特性，强化用户感兴趣的正例集合，弱化用户不感兴趣的负例集合，合理利用正负例子蕴涵的信息；同时在时间上考虑反馈信息的时间特性，强化最近的反馈信息，实现快速准确的跟踪用户的查询需求。
3.基于感兴趣区域
研究表明用户在观察图像的时候，最容易引起用户注意的部分往往是用户感兴趣的部分，也就是图像中最“与众不同”的部分，与周围其他部分相比更加显著的部分。于是产生感兴趣区检测法ROI（region of interest），这种方法的基本思想是以分割后的区域的特征来描述图像，选取用户最感兴趣的关键区域来描述图像，并以区域为单位来匹配图像。这种检索方法区分了区域的重要程度，进一步消除冗余信息，回避了精确分割的困难，并明显地降低图像处理的复杂度，提高运算速度。 基于感兴趣区域方法的关键是获得用户感兴趣区域，总结近年来的研究可以归纳为三种方法：（1）人机交互；（2）自动化方法；（3）视点跟踪技术。
（1）人机交互
人机交互的方法是目前最常用的获取感兴趣区域的方法，它是基于各种算法将图像划分区域，由用户选择图像中的若干区域作为感兴趣区。如郝红卫等提出先由用户选择感兴趣区域，然后提取所选区域的多种特征，分别构造相应的分类器，最后通过对各分类器结果的集成得到检索结果。实验结果表明，这种方法能够准确获取用户的查询意图，具有更高的查准率。金磊等提出了一种基于用户感兴趣区域的图像检索算法。该算法首先对样例进行多分辨率树状分解，再由用户选择分解后的任意多个感兴趣的子图，提取子图的特征以进行相似性度量，并应用相关反馈以更好地捕获用户的检索意图。高和蓓等采用基于目标的图像分割的方法把图像分成几个目标区域，提取能表达该区域内容的特征向量并保存在特征库里，然后再通过与用户的交互，确定用户感兴趣的区域，把这些感兴趣区域投射剑目标区域上，继而用这些区域的若干特征来表示该区域内容，并从图像数据库中查询具有相应特征区域的图片反馈给用户。
（2）自动化方法
李丽君认为感兴趣区域是图像中显著的像素集合，这些像素称为显著点或兴趣点。基于显著点划分图像，更符合人眼的视觉感知特性，有助于用户理解图像，并且显著点能够有效地捕捉到图像的局部信息。李丽君提出的方法是利用最小差错概率准则，检测图像的显著点。显著点是显著度图的局部最大值，显著点通过将后面点送到峰值检测模块识别出来。
（3）视点跟踪技术
人眼注视运动传递了大量反映个体心理活动的信息。赵孟凯等提出了一种利用视点跟踪技术检测感兴趣区的方法，通过实时捕获人眼的注视点，客观地获得用户兴趣信息，根据注视点位置计算用户兴趣度，最终提取图像感兴趣区。这种方法在高分辨率及保证精度的前提下，同时满足交互自然性和实时性的要求。
4.基于用户情感
目前的图像检索大多是基于低层物理特征的相似性匹配，对用户的爱好、情感等主观感性化因素考虑较少。感性信息处理通过让计算机能够模拟和识别用户的偏好、喜爱等主观信息，适应不同用户的不同需求。基于此，出现了基于用户情感的图像检索。
基于用户情感的方法的基本原理：借鉴心理学中的“维量”思想，建立情感空间；同时，抽取图像的主色调、不变拒、颜色和灰度分布，这些较容易引起情感变化的特征作为图像的视觉特征，建立图像的特征空间；采用支持向量机的方法建立图像的低层特征空间到用户的高层情感空间之间的映射，自动注释用户未曾评估的图像，实现了图像情感注释，在情感空间进行公共情感检索，快速获得用户情感信息。检索流程包括感性提问的接收和转化、检索匹配、检索结果的反馈、相关反馈。具体的基于情感的图像检索过程如下例所示：（1）用户提出带有情感色彩的检索要求，如检索“美丽的”的图片，检索子系统根据情感用户模型获取侯选图像显示给用户；（2）通过交互，系统记录用户的反馈信息；（3）采用合适的学习机制，动态调节用户情感模型，以使系统能够实现个性化的情感图像检索。
王胜惠等将可视化交互式遗传算法应用到情感图像检索中，提出了一种可视化交互式遗传算法（VIGA）模型，允许用户参加遗传搜索过程，用户可以通过对整个搜索过程加一个导向的信号，引导遗传过程朝用户的主观情感方向发展，这样不仅能够加快收敛速度和减少用户疲劳，而且能够更准确的反映出用户的主观情感，在更高程度上实现图像的感性搜索。
5.总结
纵观图像检索技术的发展，从基于文本的关键字检索发展到基于内容的图像检索是图像检索领域的重大跨越。但是基于内容的图像检索中低层次的物理特征与用户高层次的语义需求之间出现严重的不匹配现象，进而发现在图像检索中考虑用户的因素，从用户的相关反馈、用户感兴趣区域、用户情感、用户图像检索中的交互行为等角度考虑都能不同程度地提高图像检索系统的检索结果。因此要提高图像检索的检索效果，用户研究是研究重点。
