來源：機器之心

歡迎關註公眾號CV技術指南，專註於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘信息。

基於註意力的深度神經網絡（DNN）在NLP和CV等不同領域的各種任務上都表現出瞭卓越的性能。這些進展使得此類網絡（如 Transformer）成為解決多模態問題的有力候選。特別是近一兩年，Transformer 模型已經開始在CV任務上大展手腳，從目標識別到檢測，效果優於通用的CNN視覺骨幹網絡。

參考視頻對象分割（referring video object segmentation, RVOS）任務涉及到給定視頻幀中文本參考對象實例的分割。相比之下，在得到更廣泛研究的參考圖像分割（referring image segmention, RIS）任務中，對象主要通過它們的外觀進行參考。在RVOS中，對象可以通過它們正在執行或參與的動作進行參考。這使得 RVOS比RIS復雜得多，因為參考動作的文本表達通常無法從單個靜態幀中推導出來。此外，與基於圖像的 RIS 不同，RVOS 方法可能還需要跨多個幀（即跟蹤）來建立參考對象的數據關聯，以處理遮擋或運動模糊這類的幹擾。

為瞭解決這些挑戰，現有 RVOS 方法往往依賴復雜的 pipeline。在被CVPR 2022接收的一篇論文《End-to-End Referring Video Object Segmentation with Multimodal Transformers》中，來自以色列理工學院的研究者提出瞭一種簡單的、基於Transformer的端到端RVOS方法——Multimodal Tracking Transformer（MTTR ）。

論文地址：http://arxiv.org/pdf/2111.14821.pdf項目地址：http://github.com/mttr2021/MTTRHuggingface Spaces Gradio demo：http://huggingface.co/spaces/akhaliq/MTTR具體地，他們使用MTTR 將任務建模成序列預測問題。給定一個視頻和文本查詢，該模型在確定文本參考的對象之前為視頻中所有對象生成預測序列。並且，他們的方法不需要與文本相關的歸納偏置模塊，利用簡單的交叉熵損失對齊視頻和文本。因此，該方法相比以往簡單的多。

研究者提出的pipeline示意圖如下所示。首先使用標準的Transformer文本編碼器從文本查詢中提取語言特征，使用時空編碼器從視頻幀中提取視覺特征。接著將這些特征傳遞給多模態 Transformer 以輸出幾個對象預測序列。然後為瞭確定哪個預測序列能夠最好地對應參考對象，研究者計算瞭每個序列的文本參考分數。為此，他們還提出瞭一種時序分割voting方案，使模型在做出決策時專註於最相關的部分。

d0d1ff6a73496754a10aa3de4062ebaf

從實驗結果來看，MTTR 在 A2D-Sentences 和 JHMDB-Sentences 數據集上分別實現瞭+5.7和+5.0的mAP增益，同時每秒能夠處理76幀。

研究者還展示瞭一系列不同對象之間的實際分割效果，如下穿白色T恤和藍色短褲的沖浪者（淡黃色沖浪板）。

又如嬉戲玩鬧的大小猩猩。

網友對這項研究展示的視頻對象分割效果贊不絕口。有人表示，即使在重疊的對象上，分割效果也很有效。

方法介紹

任務定義。RVOS 的輸入為幀序列V={V_i}^T_{i=1}，其中V_iin{R^{C x H_0 x W_0}}；文本查詢為tau = {t_i}^L_{i=1}，這裡t_i是文本中的第i個單詞；大小為T_tau的感興趣幀的子集為V_tau subseteq V ，目標是在每一幀V_tau中分割對象tau。

特征提取。該研究首先使用深度時空編碼器從序列 V 中的每一幀中提取特征。同時使用基於 Transformer 的文本編碼器從文本查詢 T 中提取語言特征。然後，將空間-時間和語言特征線性投影到共享維度 D。

實例預測。之後，感興趣的幀特征被平化（flattened）並與文本嵌入分開連接，產生一組T_I多模態序列，這些序列被並行饋送到 Transformer。在 Transformer 的編碼器層中，文本嵌入和每幀的視覺特征交換信息。然後，解碼器層對每個輸入幀提供N_q對象查詢，查詢與實體相關的多模態序列，並將其存儲在對象查詢中。該研究將這些查詢（在圖 1 和圖 2 中由相同的唯一顏色和形狀表示）稱為屬於同一實例序列的查詢。這種設計允許自然跟蹤視頻中的每個對象實例。

輸出生成。Transformer 輸出的每個實例序列，將會生成一個對應的掩碼序列。為瞭實現這一點，該研究使用瞭類似 FPN 的空間解碼器和動態生成的條件卷積核。最後，該研究使用文本參考評分函數（text-reference score function），該函數基於掩碼和文本關聯，以確定哪個對象查詢序列與 T 中描述的對象具有最強的關聯，並將其分割序列作為模型的預測返回。

時間編碼器。適合 RVOS 任務的時間編碼器應該能夠為視頻中的每個實例提取視覺特征（例如，形狀、大小、位置）和動作語義。相比之下，該研究使用端到端方法，不需要任何額外的掩碼細化步驟，並使用單個主幹就可完成。最近，研究者提出瞭 Video Swin Transformer [27] 作為 Swin Transformer 對視頻領域的泛化。最初的 Swin 在設計時考慮瞭密集預測（例如分割）， Video Swin 在動作識別基準上進行瞭大量測試。

據瞭解，該研究是第一個使用Video Swin （稍作修改）進行視頻分割的。與 I3D 不同，Video Swin 僅包含一個時間下采樣層，並且研究者可以輕松修改以輸出每幀特征圖。因此，Video Swin是處理完整的連續視頻幀序列以進行分割的更好選擇。

實例分割過程

實例分割過程如圖 2 所示。

首先，給定 F_E，即最後一個 Transformer 編碼器層輸出的更新後的多模態序列，該研究提取每個序列的視頻相關部分（即第一個 H × W token）並重塑為集合F_E^{V_tau}。然後，該研究采用時間編碼器的前 n − 1 個塊的輸出F_E^{1...n-1}。並使用類似 FPN 的 [21] 空間解碼器 G_Seg 將它們與F_E^{V_tau}分層融合。這個過程產生瞭視頻幀的語義豐富、高分辨率的特征圖，表示為 F_Seg。

接下來，對於 Transformer 解碼器輸出的每個實例序列

，該研究使用兩層感知器 G_kernel 生成相應的條件分割核序列。

最後，通過將每個分割核與其對應的幀特征進行卷積，為Q生成一系列分割掩碼 M，然後進行雙線性上采樣操作以將掩碼大小調整為真實分辨率

347b3079e471fe8a891eeb98bd693873

實驗

該研究在A2D-Sentences數據集上將MTTR與SOAT方法進行比較。結果如表 1所示，該方法在所有指標上都顯著優於所有現有方法。

例如，該模型比當前SOTA模型提高瞭 4.3 mAP ，這證明瞭MTTR能夠生成高質量的掩碼。該研究還註意到，與當前SOTA技術相比，頂級配置（w = 10）的MTTR實現瞭 5.7 的 mAP 提高和 6.7% 的平均 IoU 和總體 IoU 的絕對改進。值得一提的是，這種配置能夠在單個 RTX 3090 GPU 上每秒處理 76 幀的同時做到這一點。

按照之前的方法 [11, 24]，該研究通過在沒有微調的 JHMDBSentences 上評估模型的泛化能力。該研究從每個視頻中統一采樣三幀，並在這些幀上評估模型。如表2所示，MTTR方法具有很好的泛化性並且優於所有現有方法。

727deaac13c21714e9b7753d652e17bb

表3報告瞭在Refer-YouTube-VOS公共驗證集上的結果。與現有方法[24,37]相比，這些方法是在完整數據集上進行訓練和評估的，盡管該研究模型在較少的數據上進行訓練，並專門在一個更具挑戰性的子集上進行評估，但MTTR在所有指標上都表現出瞭卓越的性能。

如圖 3 所示，MTTR 可以成功地跟蹤和分割文本參考對象，即使在具有挑戰性的情況下，它們被類似實例包圍、被遮擋或在視頻的廣泛部分中完全超出相機的視野。

參考鏈接：http://www.reddit.com/r/MachineLearning/comments/t7qe6b/r_endtoend_referring_video_object_segmentation/

歡迎關註公眾號CV技術指南，專註於計算機視覺的技術總結、最新技術跟蹤、經典論文解讀、CV招聘信息。

CV技術指南創建瞭一個交流氛圍很不錯的群，除瞭太偏僻的問題，幾乎有問必答。關註公眾號添加編輯的微信號可邀請加交流群。

其它文章

目標檢測中的框位置優化總結

從零搭建Pytorch模型教程（一）數據讀取

自編碼器綜述論文：概念、圖解和應用

解決圖像分割落地場景真實問題，港中文等提出：開放世界實體分割

目標檢測、實例分割、多目標跟蹤的Anchor-free應用方法總結

ICLR2022 | cosformer : 重新思考在註意力中的softmax

ICLR2022 | ViDT: 一個有效且高效的純transformer目標檢測器

關於快速學習一項新技術或新領域的一些個人思維習慣與思想總結

Panoptic SegFormer：端到端的 Transformer 全景分割通用框架

CVPR2021 | TrivialAugment：不用調優的SOTA數據增強策略

ICCV2021 | 簡單有效的長尾視覺識別新方案：蒸餾自監督(SSD)

AAAI2021 | 任意方向目標檢測中的動態Anchor學習

ICCV2021 | 用於視覺跟蹤的學習時空型transformer

ICCV2021 | 漸進采樣式Vision Transformer

MobileVIT：輕量級視覺Transformer+移動端部署

ICCV2021 | SOTR:使用transformer分割物體

ICCV2021 | PnP-DETR：用Transformer進行高效的視覺分析

ICCV2021 | Vision Transformer中相對位置編碼的反思與改進

ICCV2021 | 重新思考視覺transformers的空間維度

CVPR2021 | TransCenter: transformer用於多目標跟蹤算法

CVPR2021|特征金字塔的新方式YOLOF

CVPR2021 | 重新思考BatchNorm中的Batch