09 Feb 2020

Saliency Modeling

Investigations about Saliency Modeling

Saliency Modeling

1. definition

  • 视觉注意(Visual Attention)
  • 显著性检测(Saliency detection)
  • 凝视(Fixation)

通过智能算法模拟人的视觉特点,提取图像中的显著区域(即人类感兴趣的区域)。

Saliency example

Input: Single image Output: Saliency probability map

  • 视觉注意机制(Visual Attention Mechanism,VA)

面对一个场景时,人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域,这些人们感兴趣区域被称之为显著性区域。

Further Missions:

  • Saliency object detection
  • Saliency object segmentation

2. background

Eye gaze equipments are:

  • hard to calibrate
  • unable to predict sight

3. Paradigms

There are 2 strategies for people’s Visual Attention Mechanism:

3.1 bottom-up

  • fast
  • data driven

仅受感知数据的驱动,将人的视点指导到场景中的显著区域;通常与周围具有较强对比度或与周围有明显不同的区域吸引自下而上的注意。利用图像的颜色、亮度、边缘等特征表示,判断目标区域和它周围像素的差异,进而计算图像区域的显著性。

Paper:

A Model of Saliency-Based Visual Attention for Rapid Scene Analysis

bottom-up

对于一幅输入图像,该模型提取初级视觉特征:颜色(RGBY)、亮度和方位、在多种尺度下使用中央周边(Center-surround)操作产生体现显著性度量的特征图,将这些特征图合并得到最终的显著图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显著的空间位置, 用来向导注意位置的选取,最后采用返回抑制 (Inhibition of return) 的方法来完成注意焦点的转移。

Global Contrast based Salient Region Detection

设计思想:

  • 基于全局对比度的方法倾向于将大范围的目标和周围环境分离开,这种方法要优于轮廓附近较高显著性的局部对比度方法。
  • 对人拍摄的照片,物体一般会在中间,而非图片边缘。
  • 区域显著性主要由和相邻区域的对比度所决定,距离较远区域的作用较小。
  • 为了处理大规模数据,算法应该简单快速

HC:直方图对比度

对像素距离进行定义,然后重排公式,复杂度从O(N * N)降为O(N + n * n),其中N是图片像素数,n是像素空间的大小,对像素空间进行压缩,使O(n * n) « O(N)。

RC:区域对比度

首先进行图割,定义区域间的距离公式,同时进行距离加权(这里和我们之前做语义融合的思想很相似)

Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model

将LSTM应用在显著性检测中

3.2 top-down

  • slow
  • goal driven

由人的“认知因素” 决定, 比如知识、预期和当前的目标.对图像的特定特征来计算图像区域的显著性。

Paper: Probabilistic Learning of Task-Specific Visual Attention

3.3 Integration of bottom-up and top-down

Paper: Spatio-Temporal Modeling and Prediction of Visual Attention in Graphical User Interfaces