MOT16: A Benchmark for Multi-Object Tracking MOT16是2016年提出的多目標跟蹤MOT Challenge系列的一個衡量多目標檢測跟蹤方法標準的數(shù)據(jù)集。 官方網站：https://motchallenge.net/ 論文可見：https://arxiv.org/abs/1603.00831 MOT16主要標注目標為移動的行人與車輛，是基于MOT15的添加了細化的標注、更多bounding box的數(shù)據(jù)集， MOT16擁有更加豐富的畫面，不同拍攝視角和相機運動，也包含了不同天氣狀況的視頻。是由一批合格的研究人員嚴格遵從相應的標注準則進行標注的，最后通過雙重檢測的方法來保證標注信息的高精確度。MOT16標注的運動軌跡為2D。

一、MOT16數(shù)據(jù)集的信息： MOT16數(shù)據(jù)集共有14個視頻序列，其中7個為帶有標注信息的訓練集，另外7個為測試集。下圖第一行為訓練集，第二行為測試集。 下圖為MOT16數(shù)據(jù)集的數(shù)據(jù)統(tǒng)計表，第一個表為訓練集，第二個表為測試集，表格信息包含視頻幀率（幀/秒），每幀圖像的尺寸，時長，標注box數(shù)量，平均每一幀出現(xiàn)的行人數(shù)，相機運動情況和拍攝視角以及天氣狀況。 MOT16采用了一些較領先的目標檢測算法來測試數(shù)據(jù)集的標注框，其中目標檢測算法表現(xiàn)的準確率與召回率曲線如下圖所示： 其中第三種方法DPM能保證在準確率較高的情況下保持最高的召回率，MOT16選擇了DPM作為目標檢測的基準來評價數(shù)據(jù)集的標注情況，上圖最右邊是DPM算法的檢測結果。 下圖顯示了用DPM方法檢測MOT16數(shù)據(jù)中目標的統(tǒng)計結果：14個視頻序列，表格包含每個視頻的目標檢測總數(shù)（檢測出的box），平均每幀目標檢測數(shù)，檢測出的bounding box在畫面中的最高、最低的位置。 MOT16數(shù)據(jù)集的文檔組織格式，所有視頻被按幀分為圖像，圖像統(tǒng)一采用jpeg格式，命名方式為6位數(shù)字如：000001.jpg，目標和軌跡信息標注文件為CSV格式，目標信息文件和軌跡信息文件每行都代表一個目標的相關信息，每行都包含9個數(shù)值。目標檢測文件中內容見下圖，第一個值表示目標出現(xiàn)在第幾幀，第二個值表示目標運動軌跡的ID號，在目標信息文件中都為-1，第三到第六個值為標注bounding box的坐標尺寸值，第七個值為目標檢測表示的confidence score，第八、九個值在目標信息文件中不作標注（都設為-1）。 下圖為目標的軌跡標注文件，第一個值同上，第二個值為目標運動軌跡的ID號，第三個到第六個值的同上，第七個值為目標軌跡是否進入考慮范圍內的標志，0表示忽略，1表示active。第八個值為該軌跡對應的目標種類（種類見下面的表格中的label-ID對應情況），第九個值為box的visibility ratio，表示目標運動時被其他目標box包含/覆蓋或者目標之間box邊緣裁剪情況。 上面表格中的第12類表示目標檢測評價體系考慮到的但是不作為真正例和真反例考慮的類別（原文：which is to be considered by the evaluation script and will neither count as a false negative, nor as a true positive, independent of whether it is correctly recovered or not），第8類表示錯檢（誘導答案），9-11類表示被遮擋的類別。 每個（圖像序列）視頻對應一個‘Sequence-Name.txt’ 包含剛才所有CSV文件的內容。整個數(shù)據(jù)集為1.9G，訓練集中多提供了ground truth.txt作為訓練參考。

二、MOT16數(shù)據(jù)集的標注規(guī)則（Annotation Rules）： 1、 Target Class-目標類別劃分規(guī)則 MOT16標注的主要是移動中的目標，將所有目標簡要分為以下三類： Target：(i)移動中的行人與站立的行人； Ambiguous：(ii)不處于直立狀態(tài)的人與人造物（artificial rePResentations） Other：(iii)車輛和互相包含/遮擋的目標（vehicles and occluders） 第一種類別中，由觀察者標注所有出現(xiàn)在視野中移動或直立的人，包括在自行車或者滑板上的人，處于彎腰、深蹲、與小孩對話、撿東西狀態(tài)的行人也同樣被考慮在該類別內。 第二種類別中，包括people-like的目標（模特，出現(xiàn)人的picture，反射的人影），被劃分為模糊目標（不同viewer之間的意見變化較大的），不處于直立狀態(tài)的靜態(tài)的人（坐著或躺著的）。帶著墨鏡的人被劃分為distractors。 第三種類別中，標注所有移動的車輛和非機動車（如嬰兒車）和其他存在潛在包含/遮擋關系的物體。這個類別中的標注信息僅提供給參賽者訓練使用，不算在評價目標檢測方法的準則中，靜態(tài)的車輛或者自行車若沒有包含行人則不考慮在內。 2、 Bounding box alignment Bounding box在盡可能緊湊的情況下要包含所標記目標的所有像素點。這意味著一個正在移動的行人的bounding box是長寬不斷變化的，如果這個人局部被遮擋，box的尺寸可以參考其他的信息，如影子，反射，上/下一幀的尺寸等。如果一個人正好在圖像的邊緣部分（被裁剪掉一部分），那么bounding box可以超出該幀圖像的大小來標記完整的行人。如果一個物體被部分遮擋或者存在包含問題（e.g.一棵樹有很多樹枝，如果box把樹枝標注進來會過大而把其他無關物體包含進來），那么就用多個box來近似表示該物體。在自行車上的人僅標注該人，不考慮包含他的車，在汽車內的人不做標注。 3、 Start and end of trajectories 起始與結束時間點 在標注者確認該物體不屬于ambiguous 類別時：Start as early as possible, end as late as possible. 4、 Minimal size 雖然有時圖像中的行人占很小的尺寸，但是這里要求標注者在人眼可分辨范圍內盡可能地標注。（In other Words, all targets independent of their size on the image shall be annotated） 5、 Occlusions遮擋 主要體現(xiàn)在跟蹤標注時，在物體能夠被識別無誤的情況下盡可能標記，若物體運動時被完全遮擋或者消失，則該物體再次出現(xiàn)時重新設置軌跡ID號。 6、 Sanity check 檢查 當所有視頻被標注完成之后，采用高精度的行人/車輛檢測方法來判斷標注是否有遺漏、錯誤，同時人工協(xié)助進行審查。 三、MOT16數(shù)據(jù)集對于各個檢測識別算法的評價方法 數(shù)據(jù)集旨在提供符合標準的ground truth數(shù)據(jù)、評價算法指標和訓練的腳本內容，一方面能夠理想地以數(shù)字來反應各個目標檢測跟蹤算法的精確度，另一方面挖掘各個檢測識別方法產生的識別錯誤信息。 下面是評價方法（簡單概括）： 1、 識別出的bounding box與ground truth的交集大小，距離度量； 2、 識別出的語義與標注label的相似性； 3、 其他軌跡跟蹤的質量評價方法。 四、Baseline Method 用當下一些公開的目標跟蹤的方法來測試MOT16數(shù)據(jù)集。