文献-Learning to Detect Human-Object Interaction

image-20201203205600371

主要贡献

  • 提出一个新的benchmark ——HICO-DET,提供了超过150,000个标注后的人类-物体组合,包含600个HOI类别,即每个HOI类别平均250个组合实例。
  • 提出了基于人-物区域的卷积神经网络HO-RCNN。分两步,1. 使用最先进的人体和物体检测器生成人体-物体区域对的proposal;2. 将每个人-物框proposal送入CNN,以生成HOI分类分数。

image-20201203211834372

数据集

三个benchmark

  • Full—— 所有的600个HOI分类
  • Rare ——138个HOI类别(少于10个训练实例)
  • Non-Rare ——462个HOI类别(大于等于10个训练实例)

两种评估方法

  • Known Object ——定位HOI(如人-自行车对)以及区分互动(如“骑行”)
  • Default setting ——更有挑战性,图像中可能不存在目标对象