目标检测中常用指标

IoU

IoU -> Intersection over Union -> 常用用于衡量目标检测任务中 预测结果的位置信息的准确程度
IoU = (物体实际区域与推测区域重合的面积) / 两个区域整体所占的面积 (即两个区域的交集 / 两个区域的并集)
IoU ⬆ -> 推测出的物体区域就越准确

GT

GT(Ground Truth) -> 指真实的标签或真实的对象

常用指标

  1. TP: True Postive -> IoU > 0.5 的检测框数量 -> 认为匹配成功
  2. FP: False Postive -> IoU <= 0.5 的检测框 (或者检测到同一个GT的多余检测框的数量) 即本身不是目标 但被检测为目标
  3. FN: False Negative -> 没有检测到的GT的数量 即漏检目标的数量
  4. Precision: 查准率 TP/(TP + FP) 模型预测的所有目标中 预测准确的比例
  5. Recall: 查全率 TP/(TP + FN) 所有真实目标中 模型预测正确的目标比例
  6. AP: P-R曲线下的面积
  7. mAP: mean Average Precision 即各类别AP的平均值

MOT 多目标跟踪指标

可参考[MOT Challenge](https://motchallenge.net/results/MOT17/?orderBy=MOTA&orderStyle=DESC) 所列出的指标列表 就基本上比较常用

MOT指标

Classical metrics

  1. MT: Most Tracked trajectories 成功跟踪的帧数占总帧数的80%以上的GT轨迹数量
  2. Fagments: 碎片数 成功跟踪的帧数占总帧数的80%以下的预测轨迹数量
  3. ML: Most Lost trajectories 成功跟踪的帧数占总帧数的20%以下的GT轨迹数量
  4. False trajectories: 预测出来的轨迹匹配不上GT轨迹，相当于跟踪了个寂寞
  5. ID switches: 因为跟踪的每个对象都是有ID的，一个对象在整个跟踪过程中ID应该不变，但是由于跟踪算法不强大，总会出现一个对象的ID发生切换，这个指标就说明了ID切换的次数，指前一帧和后一帧中对于相同GT轨迹的预测轨迹ID发生切换，跟丢的情况不计算在ID切换中。

Clear MOT metrics

  1. FP
  2. FN
  3. FM: 总的fragmentation数量
  4. IDSW: 总的ID switch数量 -> 即对每帧发生的ID Switch数量求和
  5. MOTA: 跟踪准确度 -> 1 - (FN + FP + IDSW) / GT (MOTA最大值为1)
  6. MOTP: 衡量跟踪的位置误差 $\Sigma$ $(d_{t,i})$/ $\Sigma$ $(c_t)$ (其中t表示第t帧 i代表t帧中第i个匹配对的距离)

ID Scores

MOTA的主要问题是它主要考虑了跟踪器做出错误决定的次数(比如IDSW) 而在某些情况下不想丢失跟踪对象的位置位置，我们更关心这个跟踪器跟踪某个对象的时间长短 -> 因此ID scores被提出
  1. IDP: Identification precision (类似于查准率) -> IDTP / (IDTP + IDFP)
  2. IDR: Identification recall (类似于查全率) -> IDTP / (IDTP + IFFN)
  3. IDF1： Identification F1 是IDP和IDR的调和均值