摘要：模塊基于預(yù)訓(xùn)練模型進(jìn)行識別，識別出的結(jié)果與一起經(jīng)過注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與進(jìn)行組合。五六結(jié)論將融入的前向處理流程，構(gòu)建了一個魯棒且準(zhǔn)確的模型參考博客

?論文題目：Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA

?論文鏈接：https://dl.acm.org/doi/abs/10.1145/3474085.3475606

?

一、任務(wù)概述

1. ?視覺問答任務(wù)(VQA)：將圖像和關(guān)于圖像的自然語言問題作為輸入，生成自然語言答案作為輸出。
2. ?文本視覺問答任務(wù)(TextVQA)：面向文字識別的問答任務(wù)。

?二、Baseline

? 2.1 Baseline 1：?Look, Read, Reason & Answer (LoRRA)：

• 2019年提出，推出標(biāo)準(zhǔn)數(shù)據(jù)集，原文地址：https://arxiv.org/abs/1904.08920v2
• 典型的TextVQA：將問題回答建模為分類任務(wù)，需要給定答案空間。

• 多模態(tài)嵌入：問題embedding、圖像中的物體進(jìn)行embedding、OCR的結(jié)果進(jìn)行embedding(FastText做pre-train)
• 嵌入方式：
• • 對問題進(jìn)行GloVe Embedding，再通過LSTM得到問題嵌入 fQ(q)，用于后續(xù)對圖片特征以及OCR樣本進(jìn)行注意力加權(quán)平均。
  • 將圖像進(jìn)行特征提取，提取的特征fI(v)與fQ(q)一起經(jīng)過注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與fQ(q)進(jìn)行組合。

• • OCR模塊基于預(yù)訓(xùn)練模型(Faster RCNN + CTC)進(jìn)行識別，識別出的結(jié)果fO(s)與fQ(q)一起經(jīng)過注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與fQ(q)進(jìn)行組合。

• • contact一起之后過分類器(MLP)，分類的類別為問題空間a1……an 加上 OCR是識別出的詞

? 2.2 Baseline 2：M4C

• 主貢獻(xiàn)：提出了迭代預(yù)測的解碼方式，但我們更關(guān)注特征表示的部分

• Question embedding：BERT-base模型的encoder，但只用前3層，得到矩陣shape=(K, d)
• Detected object embedding：Faster-RCNN + Position，shape=(M, d)
• 融合方式：Linear + LayerNorm

• OCR token embedding?由四部分組成：
  • : 300維的FastText文本特征
  • : Faster RCNN特征，和detected object的獲取方式一樣
  • : 604維的Pyramidal Histogram of Characters（PHOC）特征
  • : 4維的位置特征，計算方式和detected object一樣
  • 融合方式：前三個特征過linear后做layernorm，position多帶帶融合，再加起來

三、Motivation

1. OCR的錯誤識別會較大程度影響多模態(tài)信息之間的交互(即fA的過程)
2. 因為在表征空間中需要copy OCR識別的token，OCR的錯誤會較嚴(yán)重的影響解碼器的性能（哪怕另兩個分支完全準(zhǔn)確也沒法正確的輸出）

四、Method

? ?4.1 Contribution

1. 增強(qiáng)特征表示的魯棒性：減小OCR錯誤和物體識別錯誤對推理的影響
2. 增強(qiáng)解碼器的魯棒性：在答案預(yù)測模塊提出一個上下文感知的答案修正模塊（CRM）對“復(fù)制”的答案詞進(jìn)行校正。

? ?4.2 Architectural Details—— 視覺增強(qiáng)的文字表征模塊 TVS (OCR增強(qiáng))

1. method：
   • 文字圖像矯正模塊
   • 編碼模塊：45層ResNet+ 2層Bi-LSTM
   • 解碼模塊：單層 注意力機(jī)制的GRU
   • 中間語義模塊：根據(jù)文字視覺信息預(yù)測語義信息
2. train：利用外部數(shù)據(jù)集訓(xùn)練(SynthText + Synth90K)
3. loss： OCR識別損失+語義損失
   • 語義損失由真實(shí)和預(yù)測的語義特征向量間的余弦距離計算得到
4. 優(yōu)勢：
   • 通過語義損失的監(jiān)督，編碼模塊能產(chǎn)生與文字解碼更相關(guān)的視覺特征
   • TVS為直接由文字圖像的視覺特性獲得語義表示提供可能。

5. 整網(wǎng)中推理，OCR token details(n個文本框)：

• • :? TVS的視覺特征
  • : FastText文本特征
  • : Faster RCNN特征
  • :? Pyramidal Histogram of Characters（PHOC）特征
  • :? 4維的位置bounding box特征
  • 融合方式：

??4.3 Architectural Details—— 語義導(dǎo)向的物體表征 SEO-FRCN（Visual增強(qiáng)）

?

?