sponsored links

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


本文內容來源於《測繪學報》2021年第11期(審圖號GS(2021)7714號)

用於智慧駕駛的動態場景視覺顯著性多特徵建模方法

詹智成1,2智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法
,董衛華1

1. 北京師範大學地理科學學部, 北京 100875;2. 根特大學地理學院, 比利時 根特 9000

基金專案:國家自然科學基金(41871366);國家留學基金委專案資助(201906040236);地理資訊工程國家重點實驗室、自然資源部測繪科學與地球空間資訊科技重點實驗室聯合資助基金(2021-04-03)

摘要:駕駛場景的視覺顯著性建模是智慧駕駛的重要研究方向。現有的靜態和虛擬場景的視覺顯著性建模方法不能適應真實駕駛環境下道路場景實時性、動態性和任務驅動特性。構建真實駕駛環境的動態場景視覺顯著性模型是目前研究的挑戰。從駕駛環境的特點與駕駛員的視覺認知規律出發,本文提取道路場景的低階視覺特徵、高階視覺特徵和動態視覺特徵,並結合速度和道路曲率兩個重要影響因素,建立了多特徵邏輯迴歸模型(logistic regression,LR)計算駕駛場景視覺顯著性。使用AUC值對模型進行評價,結果顯示精度達到了90.43%,與傳統的演算法相比具有明顯的優勢。

關鍵詞:視覺顯著性 駕駛場景 駕駛環境 動態性

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法
智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


引文格式:詹智成, 董衛華. 用於智慧駕駛的動態場景視覺顯著性多特徵建模方法[J]. 測繪學報,2021,50(11):1500-1511. DOI: 10.11947/j.AGCS.2021.20210266

ZHAN Zhicheng, DONG Weihua. A multi-feature approach for modeling visual saliency of dynamic scene for intelligent driving[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(11): 1500-1511. DOI: 10.11947/j.AGCS.2021.20210266

閱讀全文:http://xb.sinomaps.com/article/2021/1001-1595/2021-11-1500.htm

引 言

對環境的感知和理解是智慧駕駛領域的一個重大挑戰。視覺是駕駛過程中駕駛員感知和理解道路場景資訊的主要途徑。在駕駛過程中,駕駛員會選擇性地關注場景中感興趣的資訊,而忽略不重要的資訊,這種機制稱為駕駛過程的視覺選擇性注意機制,選擇性注意的區域稱為視覺顯著區域。在智慧駕駛系統開發中,引入人類的視覺選擇性注意機制能夠降低處理的資訊量,提高智慧駕駛系統對駕駛環境的理解效率,並有助於預測和定位潛在的風險。視覺顯著性建模方法能夠模擬人類的視覺注意機制提取場景中的顯著區域,從而支援資訊處理和決策。對駕駛員在駕駛過程中的視覺注意機制進行研究,開展真實道路場景下動態道路場景的視覺顯著性建模,能夠準確和快速地提取動態駕駛場景的視覺顯著區域,從而提高智慧駕駛系統的環境理解效率和能力。

目前,國內外對道路場景視覺顯著性的研究已有不少的經驗,特別是在行人導航領域。人類的視覺注意機制被歸結為場景的低階視覺特徵和高階視覺特徵[1]。低階視覺特徵是影象對視覺的直接刺激,這類特徵包括顏色、亮度和紋理等[2]。高階視覺特徵一般指語義特徵,這種特徵與人類的認知相關,比如在某些場景中人臉等物體對視覺具有引導作用[3]。道路場景的視覺顯著性分析可以用來評價導航任務下場景中地標的有效性[4]、使用者的尋路策略[5]、地圖的可用性[5]等。視覺顯著性的測量流程主要包括設計眼動跟蹤實驗,收集眼動資料和分析注視點的分佈[6]。視覺顯著性模型可以模擬人類的視覺注意機制自動計算和提取場景的視覺顯著區域,在導航系統設計[7]、使用者導航任務推理[8]和地標設計[9]等方面具有廣泛的應用。

雖然場景的視覺顯著性在遙感影像檢測[10]和行人導航領域等地理資訊領域研究比較成熟,但駕駛環境下道路場景的視覺顯著性建模的研究相對較少,主要原因是駕駛場景相對複雜。首先,駕駛過程具有動態性[11]。動態性包括3個方面:場景的動態變化、駕駛關注區域的變化和車輛的運動。場景的動態指車輛位置的改變使得駕駛場景不斷變化,駕駛關注區域的變化是指駕駛員的視覺注意區域的改變,車輛的運動指車輛的速度,加速度和位置隨時間的改變。場景動態特徵通常用光流圖表徵[12],定義為後一個時刻場景畫素相對於前一個時刻場景畫素位移的方向和強度。其次,駕駛場景的複雜性來自道路場景的多樣性[13],主要表現在道路型別、道路結構、交通狀況和空曠度等方面, 而這些道路屬性也是自動駕駛所需要的基本資訊[14]。再次,駕駛環境下駕駛員具有雙重任務,駕駛員不僅要保證行駛方向的正確,更要確保行車過程的安全。研究表明,駕駛環境下道路場景的動態性[15]、道路場景特徵[16]和任務[17]都是影響駕駛員視覺行為的重要因素。

駕駛員的視覺注意力會受到多種因素的影響。其中駕駛速度是一個關鍵因素。有研究顯示高速行駛時駕駛員的視線更集中[18],同時駕駛員的視覺認知負荷也越大[19]。道路結構也影響駕駛員的視覺注意和認知負擔。文獻[20]透過模擬器試驗發現,駕駛員在交叉口駕駛時注意力分散是導致事故多發的主要原因;文獻[21]透過設計40名受試者觀察100張靜態交通圖的眼動試驗發現受試者傾向於觀察道路消失點;文獻[19]發現道路曲率越大,駕駛員的視覺負載越重。不同的語義資訊也會導致駕駛員的視覺注意差異。道路場景中出現的車輛、行人和路標等目標都能不同程度地吸引駕駛員的注意,因此現有的輔助駕駛系統大都包含行人檢測模組[22]、車輛檢測模組[23-24]、道路和車道檢測[25-26]及交通訊號識別模組[27]。上述分析表明,建立駕駛員的視覺注意機制模型需要考慮多種因素的影響。目前對於駕駛環境道路場景視覺顯著性建模的研究大多是在靜態桌面環境和虛擬環境為試驗平臺下進行,見表 1。對於文獻[18]開展的真實環境中道路場景顯著性的模型研究,雖然考慮了車輛速度的作用,但沒有考慮道路結構對駕駛員視覺注意機制的影響。

表 1 駕駛場景視覺顯著性模型研究Tab. 1 Review of research on modelling visual saliency during driving task

研究者 研究材料 任務描述 特徵 方法 指標和評價
文獻[21] 100張靜態城市場景圖 以駕駛員視角觀察圖片 GBVS、AIM、SR、SUN、Itti模型顯著圖消失點 線性加權 AUC[28]:0.78-0.82
文獻[18] DR(eye)VE資料集 從指定地點開車到終點 原始圖片、語義分割圖和光流圖 多分支深度學習模型 準確性0.56以上
文獻[29] 駕駛模擬器 以駕駛員視角觀察 低階視覺特徵:顏色、紋理和亮度、GBVS、AIM、SR和SUN高階視覺特徵:消失點和中心偏差 隨機森林 AUC: 0.87 NSS[30-31]: 2.4
文獻[32] DR(eye)VE資料集 從指定地點開車到終點 原始圖片 貝葉斯框架和全卷積神經網路 相關係數:0.55以上
文獻[33] 200張交通場景圖 自由觀察圖片 顏色、紋理和亮度 HOG和SVM 交通標誌檢測
文獻[34] 模擬器環境 任意駕駛 原始圖片 神經網路模型(監督學習和非監督學習) 平均誤差平方和:0.01~0.03
文獻[35] 模擬器環境 帶有駕駛操作的駕駛 任務和場景 SEEV模型 相關係數:0.92
文獻[36] 駕駛影片 觀看影片並根據影片做特定的任務 語義任務 眼動指標統計 增強區域提取:道路、行人、道路線

表選項

本文在分析駕駛員視覺特徵的基礎上,引入了表徵動態性的駕駛速度和表徵場景型別複雜性的道路結構為建模要素,提取了道路場景的低階視覺特徵、以語義資訊為主的高階視覺特徵和動態特徵,構建了駕駛環境下動態場景的視覺顯著性計算模型。

1 資料預處理

1.1 資料

本文所使用的資料為義大利摩德納大學釋出的DR(eye) VE駕駛場景資料集[18]。該資料集記錄了8名駕駛員(7男1女)74次駕駛過程,每個駕駛過程持續5 min。這組資料包含了駕駛員的注視點、行車錄影、GPS軌跡和駕駛速度等資訊。駕駛員位置每秒更新一次,駕駛速度每秒記錄25次。資料收集的硬體配置和資料格式如圖 1所示。車頂攝像頭Garmin配置為1080p/25 fps,用於固定觀察視角,車輛配有GPS。駕駛員駕駛過程中佩戴眼鏡式眼動儀ETG,該眼動儀注視點採集頻率為60 Hz,眼動儀的攝像頭配置為720p/30 fps, 可同步記錄駕駛員視角下的場景。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 1 影片與眼動資料採集Fig. 1 The equipment and process of movement collection

圖選項

1.2 標準顯著圖

標準顯著圖是由眼動資料生成的用於訓練視覺顯著性模型和檢驗模型精度的顯著性真值。本文研究使用了駕駛員1 s內的注視點構造道路場景的標準顯著圖。該過程首先用二維高斯函式對注視點進行平滑,然後累加註視點的平滑結果得到標準顯著圖。該過程的描述如下

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(1)

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(2)

式中,(x,y)為畫素座標;(xi, yi)為第i個注視點座標;gi(x,y)表示第i個注視點對於畫素(x,y)顯著性的貢獻大小;σ為表示高斯函式的影響範圍的引數,本文根據經驗取值70 px。n表示1 s內注視點的數量;I(x,y)表示畫素(x,y)的顯著值。主要的資料格式如圖 2所示。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 2 標準顯著圖Fig. 2 Standard visual saliency image

圖選項

1.3 道路曲率提取

道路曲率由原始的GPS點位資料計算得到(圖 3)。GPS定位的偏差使得軌跡無法直接用於計算道路曲率,因此本文采用了指數多項式平滑演算法(PAEK)來平滑原始軌跡點然後將平滑後的線條重新取樣成點,最後用三次B樣條法[37]計算曲率,計算方法為

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(3)



圖 3 道路曲率計算過程Fig. 3 Calculation of road curvature

圖選項

式中,ρi為第i個點的曲率;(xi+1,yi+1)為前一個點的座標;(xi-1,yi-1)為後一個點的座標。

1.4 道路消失點提取

道路消失點的計算方法主要有直線交點法和紋理特徵法兩種。直線相交法檢測場景中所有直線,並統計直線相交點從而得到道路消失點[38]。此法適用於具有明顯邊界線和車道線的結構化道路,如城市道路、高速路等。基於紋理特徵的提取方法[39-40]計算所有點的紋理方向,並統計紋理方向以獲得最佳消失點。基於紋理特徵的方法適用於幾乎所有的道路場景,但相對於直線相交法計算更為複雜。鑑於本文研究的資料中含有非結構化道路(鄉下道路),直線法難以精確地提取場景中的直線,本文引用文獻[41]基於Gabor計算紋理和使用投票機制得到道路消失點的方法。提取結果表明,大部分的道路消失點提取準確(圖 4),少數提取錯誤的場景採用人工方法進行了修正。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 4 道路消失點提取示例Fig. 4 Examples of vanishing point detection

圖選項

1.5 場景語義分割

場景語義資訊屬於視覺高階特徵。人工提取注視點語義資訊耗時耗力,計算機視覺技術的發展使自動提取場景語義資訊成為可能。本文引入了由Google公司開發的Deeplab V3+影象語義分割模型[42],該模型將深度卷積神經網路和機率圖模型相結合,融合多尺度資訊,並引入了encoder-decoder架構,對影象和場景的分割有很強的效果。該模型的訓練資料集為CityScape[43],模型的Iou精確度可達82.1%。Deeplab V3+模型對本文道路場景的分割結果例子如圖 5所示,其精度可以滿足本文研究的使用要求。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 5 語義分割結果Fig. 5 Result of the image segmentation

圖選項

2 視覺顯著性建模

2.1 視覺特徵選取

本文結合3種類別的特徵構建動態道路場景的視覺顯著性:低階視覺特徵、由駕駛環境和駕駛任務決定的高階特徵和人眼對動態場景感知的動態特徵。表 2列出了本文特徵的選取及其描述。低階視覺特徵中,除了顏色,紋理和亮度之外,還選取了Itti,SUN和GBVS 3種顯著性模型的顯著圖。高階視覺特徵包括語義特徵和道路消失點。動態特徵則為光流圖的方向和強度分量的組合。

表 2 視覺特徵列表Tab. 2 list of visual features of geographical scene

特徵類別 特徵名稱 特徵描述
低階視覺特徵 顏色特徵 按照RGB顏色空間將原始圖片分解成RGB通道的灰度特徵圖
多尺度紋理特徵 構建高斯差分金字塔,並利用Gabor運算元對差分影象不同尺度的濾波, 本文選取的尺度為7、9、11、13、15、17
亮度特徵 亮度特徵為RGB通道求和
Itti顯著圖 由Itti顯著性模型計算得到
SUN模型顯著圖 由SUN顯著性模型計算得到
GBVS顯著圖 由GBVS顯著性模型計算得到
高階視覺特徵 語義特徵 包括車輛、行人、標識牌和道路
道路消失點 基於影象紋理資訊提取的道路消失點
動態特徵 運動方向 光流圖的方向分量
運動強度 光流圖的強度分量

表選項

2.2 模型設計

場景的視覺顯著性是多特徵共同作用的結果,本文采用了機器學習中的邏輯迴歸(LR)模型[44]計算場景顯著性,處理流程如下。

(1) 分析了速度、曲率與駕駛員視覺注意的關係(見附錄),以考慮駕駛場景的動態性和路面結構特性。分析結果表明,速度和曲率對人的視覺注意的位置和語義資訊具有重要的影響。為此,本文在LR模型中引入速度和道路曲率2個因素。

LR模型的基本原理是將特徵線性組合,然後根據Sigmoid函式對組合結果進行二分類。本文以畫素為單位計算顯著圖,其公式如下

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(4)

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(5)

式中,hθ(x)為目標函式;g為Sigmoid函式;x為畫素的特徵向量;xn表示第n個特徵;θ為特徵向量的係數,表示特徵的線性組合。

(2) 對上述經典邏輯迴歸模型中的係數增加以下的定義

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(6)

式中,V為駕駛場景的速度;C為駕駛場景道路曲率;K1K2K3分別為速度係數、道路曲率係數和常數項。

(3) 運用訓練資料對模型進行最小二乘法擬合,求得各特徵係數。殘差平方和成本函式用於擬合度的評估為

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


(7)

式中,SSres為殘差平方和;n為測試樣本數;f為訓練模型;xi為測試畫素特徵;yi為畫素的顯著性。

2.3 LR模型計算框架

LR模型執行流程如圖 6所示,主要包括特徵提取,隨機畫素抽樣、模型訓練和模型測試評價。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 6 LR模型顯著圖計算框架Fig. 6 Framework of LR model for calculating visual saliency

圖選項

本文從74段影片中共提取出22 200個場景,由圖片和注視點生成的標準顯著圖大小為1920×1080畫素,為方便計算重取樣成大小為480×360畫素的圖片。訓練資料集佔全部資料集的70%,即15 540個場景。本文資料場景數量太多,為了保證每一個場景都能參與模型訓練,且訓練的樣本足夠,本文在每一場景中隨機選取10個顯著的畫素點和10個不顯著的畫素點作為模型的輸入。此外本文選用了廣為接受的指標ROC(receiver operating characteristic curve)和AUC(area under curve)來評估模型的預測結果。

3 結果

3.1 模型結果

驗證資料集佔全部資料集的30%,即6660個場景。本文提取驗證資料集的3類特徵,並逐畫素地輸入訓練好的LR模型,將輸出的畫素值組合成預測顯著圖。LR模型計算得到的顯著圖是一張連續的灰度影象,灰度的大小表示畫素的顯著程度。部分視覺顯著圖計算結果如圖 7所示。灰度值高的區域能夠與注視點生成的標準顯著圖顯著區域對應。在不同的駕駛情況下,LR模型對道路消失點、車輛和指示牌等目標的顯著性都能準確預測,模型的AUC值達到90.43%。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 7 注視點分佈和預測顯著圖的比較Fig. 7 Comparison of the gaze point distribution and visual saliency prediction

圖選項

3.2 視覺特徵分析

LR模型將視覺顯著性看作是特徵的線性組合,因此LR模型的係數能較好地反映各特徵對場景顯著性圖的貢獻大小(表 3)。

表 3 LR模型特徵係數Tab. 3 Parameters of visual features in the model

特徵類別 係數 特徵類別 係數
紅色通道 0.594 1 車輛 0.155 2
綠色通道 0.097 0 行人 0.281 2
藍色通道 0.122 2 道路 0.136 2
亮度 -0.792 8 交通標識 0.112 0
紋理(多尺度均值) -0.185 3 消失點 0.832 1
GBVS模型 0.524 0 運動強度 0.210 1
Itti模型 -0.133 9 運動方向 -0.507 0
SUN模型 0.043 6

表選項

在所有特徵中,消失點對視覺顯著圖的貢獻最大;紅色通道的係數明顯大於綠色和藍色通道;在經典顯著性模型生成的特徵顯著圖中,GBVS特徵係數遠大於Itti和SUN特徵,僅次於紅色通道的係數;高階視覺特徵中的4種語義特徵均為正值,其中行人特徵圖對顯著圖的貢獻最大,其次為車輛特徵圖。運動強度的係數為正值。

對特徵係數進行分析,亮度特徵對駕駛環境下的場景視覺顯著性為負,主要原因可能是整個場景中天空的亮度值最大,然而駕駛員在駕駛過程中並不關注天空。紅色通道係數大於綠色和藍色通道的係數,一個主要的原因在於顏色通道特徵和語義特徵的關聯性。在所有場景中植被區域的綠色通道比重大,天空區域的藍色通道比重大。而這2類語義資訊並不顯著,從而導致了RGB 3通道係數的差異。GBVS模型顯著圖的顯著區域集中於影象的中心區域如圖 8所示,與道路消失點特徵有一定的關聯,所以GBVS模型顯著圖對場景的視覺顯著性的貢獻較大。Itti模型顯著圖和SUN顯著圖對最終顯著圖的貢獻不大,這可能是因為這2個模型側重於檢測邊緣資訊,然而這類資訊在駕駛過程中對視覺引導作用很弱。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 8 Itti、GBVS和SUN模型顯著特徵圖對比Fig. 8 Comparison of significant features of Itti, GBVS and SUN models

圖選項

行人特徵圖的係數在各系數中最大,其次是車輛語義係數,這2個係數較高的原因可能是2者都是動態的,駕駛員需要判斷這2個語義類別是否對自己的駕駛過程有影響;而道路由於覆蓋範圍較廣,只是在消失點處顯著,因此總體系數值不大;交通標誌貢獻不大的主要原因在於有經驗的駕駛員熟悉駕駛環境之後並不會特別關注交通標誌。運動強度對視覺顯著性有正向影響,反映了在駕駛環境下人們對移動目標有一定程度的敏感性。

3.3 不同速度和曲率下的精度對比分析

為了探索不同速度和曲率下模型的顯著性計算結果,本文驗證了模型在不同的速度和曲率下的精度。

不同曲率下的ROC曲線如圖 9所示,其預測精度在不同曲率下相差很大,當曲率大於1000時,ROC曲線比曲率小於1000的ROC曲線低。各種曲率下的AUC見表 4。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 9 不同的曲率下的ROC曲線比較Fig. 9 Comparison of ROC under different road curvature

圖選項

表 4 不同曲率下的AUCTab. 4 AUC values for different range of curvature

曲率 AUC/(%)
0~200 91.02
200~400 90.75
400~600 90.38
600~800 90.49
800~1000 90.81
1000~1200 89.93
1200~1400 88.62
1400~1600 86.41
1600~1800 88.31
1800~2000 86.57

表選項

不同速度下的ROC曲線如圖 10所示。當速度為0時,ROC曲線最高,而其他速度下的ROC曲線比較接近。各種速度的AUC值見表 5。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 10 不同速度下的ROC曲線比較Fig. 10 Comparison of ROC under different speeds

圖選項

表 5 不同速度下的AUCTab. 5 AUC values for different ranges of speed

速度/(km/h) AUC/(%)
0~10 94.52
10~20 90.13
20~30 89.02
30~40 91.42
40~50 89.02
50~60 90.87
60~70 90.65
70~80 90.79
80~90 90.31
90~100 90.84

表選項

3.4 模型對比分析

與Itti、GBVS、SUN,傳統LR模型相比較, 本文的擴充套件的LR模型精度最高(表 6),而Itti和SUN模型預測精度均小於0.5。結果表明,本文所提出的模型預測道路場景視覺顯著性具有可行性和優越性。

表 6 各模型AUC值比較Tab. 6 Comparison of visual saliency models

模型 AUC
Itti 0.45
GBVS 0.56
SUN 0.46
LR 0.85
擴充套件的LR 0.90

表選項

4 結論與討論

對場景重要的物體和區域檢測對智慧駕駛系統至關重要。本文提取了低階視覺特徵、高階視覺特徵和動態特徵,構建帶有速度和曲率係數的LR視覺顯著性檢測模型。研究結果表明提出的LR模型的ROC曲線AUC值為90.43%,模型預測區域和視覺關注區域匹配準確。透過特徵係數分析發現,消失點對視覺顯著性貢獻最大,場景的紅色通道和GBVS顯著圖次之,同時亮度、紋理、Itti和運動方向特徵在LR模型中的係數值為負值,說明這些特徵與視覺顯著性呈負相關。本文提出的模型有助於智慧駕駛系統的環境理解,並在特定物件跟蹤檢測、駕駛訓練,安全警告和交通標誌檢測等方面有重要作用。

資料可用性是本文的一個限制。每段駕駛場景僅包含單個駕駛員的注視點,個體偏差會影響模型的預測準確性。另外,注視時長和注視點均為視覺顯著性評價的重要眼動指標,由於資料集沒有提供注視時長資料,所以本文僅根據注視點的個數和分佈進行建模。而加入注視時長資料能更加準確地表達視覺顯著性。駕駛員的年齡、性別和駕齡等因素也是影響道路場景視覺顯著性建模的重要因素,本文所收集的資料僅來自8名駕駛員,其中7名為男性,沒有年齡和駕齡等資訊,因此無法發掘個體資訊對視覺注意機制的影響。試驗並探究不同環境下的視覺顯著性,其主要原因是在光線較暗的下雨天和晚上採集的影象語義分割效果不理想。今後還會完善駕駛資料收集過程,增加駕駛員數量和注視點自身的注視時長資訊,釋出全面的駕駛資料集,還需要深入探討駕駛員個體差異對真實駕駛環境中道路場景視覺顯著性的影響,並對不同駕駛環境的差異進行探索,包括道路型別、駕駛時間、天氣條件等。這些將服務於構建結合人的屬性、環境屬性和車輛狀態構建人-車-環境一體化的道路場景視覺注意模型。

附錄 曲率和速度對動態場景的視覺顯著性影響

1 不同道路曲率的視覺顯著性區別

附圖 1顯示了不同道路曲率的情況下,所有注視點在圖片位置的分佈情況。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 1 道路曲率與駕駛員的注視點位置分佈Fig. S1 Visualization of drivers' gaze point position distribution at different curvatures

圖選項

為討論曲率對注視點位置的定量影響,本文計算得到每個曲率範圍下的注視點離散度的均值(附圖 2)。當曲率為100時的離散度僅為32 px, 而在0~1600區間內,隨著曲率的增大,注視點離散度也隨之緩慢增大,當曲率達到1500時,注視點的離散度達到55 px。而當離散程度在1600以上時,注視點離散程度急劇增大,並保持在70畫素左右。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 2 注視點離散度與曲率的關係Fig.S2 The relationship between gaze point dispersion and curvature

圖選項

附圖 3統計了不同曲率下各目標型別的注視機率。道路的注視機率仍然是最高的,其次為車輛的注視機率。隨著道路曲率的增大,道路和建築的注視機率增大,其中道路的注視機率從低曲率下的74%提高到高曲率下的85%,而建築的注視機率從低曲率下的27%提高到了高曲率下38%;交通標誌的注視機率隨著曲率增大而減小,從低曲率下的19%降低到高曲率下的12%。植被、天空的注視機率無明顯變化規律。而行人在高曲率下的注視機率降低到了低曲率下的1/3,其低曲率下的注視機率為30%左右,高曲率下僅為10%以下。車輛、天空和植被的注視機率沒有明顯變化。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 3 各類別注視機率隨曲率變化情況Fig. S3 Fixation probability for each category at different curvatures

圖選項

2 不同速度的視覺顯著性區別

附圖 4顯示了不同速度的情況下,所有注視點在圖片位置的分佈情況。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 4 速度與注視點分佈的關係Fig. S4 Visualization of drivers' gaze point position distribution at different speeds

圖選項

定量計算各速度下的注視點離散度, 如附圖 5所示,當速度達到70 km/h之前,注視點離散程度逐漸減小,離散程度和速度呈現線性遞減。而當速度達到70 km/h之後,隨著速度的增加,注視點離散度保持在50 px左右且不再改變。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 5 速度與離散程度Fig. S5 The relationship between gaze point dispersion and speed

圖選項

不同速度注視機率統計結果如附圖 6所示。道路的注視機率最大,車輛的注視機率次之;隨著速度的增大,車輛和建築的注視機率減小,車輛的注視機率由低速下的78%減小到高速下的59%,建築的注視機率由低速度下的38%減少到高速下的20%;隨著速度增大,高速下行人的注視機率提高到低速下注視機率的4倍,由低速下的13%提高到高速時的53%;道路、交通標誌、植被和天空的注視機率無明顯變化規律。

智慧駕駛環境感知 | 詹智成:用於智慧駕駛的動態場景視覺顯著性多特徵建模方法


圖 附圖 6 各類別注視機率隨速度變化情況Fig. S6 Fixation probability for each category at different speeds

圖選項

作者簡介

第一作者簡介:詹智成(1994—), 男, 博士生, 研究方向為地理資訊系統和地理空間認知。E-mail: [email protected]

通訊作者:董衛華, E-mail: [email protected]

初審:張豔玲

複審:宋啟凡

終審:金 君

往期推薦

資訊

○ 測繪地理資訊標準化進展

○ 多地釋出“三調”公報,主要資料成果全在這裡了

○ 新書 |《自然資源管理常用法律法規彙編(最新修訂)》

○ 關注 | 第一張全球地球化學圖編制完成

會議

○ 第一屆中國生態系統遙感學術研討會(三號通知)

○ 《測繪學報》2021年編委會會議在青島召開

○ 會議通知 | 2021中國地理資訊科學理論與方法學術年會通知(第二號)

○ 關於第八屆“測繪科學前沿技術論壇”再次延期召開的通知

《測繪學報》

○ 智慧駕駛環境感知 | 邸凱昌:深空探測車環境感知與導航定位技術進展與展望

○ 智慧駕駛環境感知 | 陳龍: 多智慧體協同高精地圖構建關鍵技術研究

○ 智慧駕駛環境感知 | 李德仁:測繪遙感能為智慧駕駛做什麼?

○ 智慧駕駛環境感知 | 邵曉航:語素關聯約束的動態環境視覺定位最佳化

《測繪通報》

○ 室內高精度三維測圖新技術

○ 面向上海城市數字化轉型的新型測繪

○ 影象全站儀及影象測量發展與展望

○《測繪通報》2021年第11期目錄

《北京測繪》

○《北京測繪》2021年第9期摘要推薦

○《北京測繪》2021年第8期摘要推薦(下)

○《北京測繪》2021年第8期摘要推薦(上)

○《北京測繪》2021年第7期摘要推薦(下)

《測繪科學技術學報》

○ 《測繪科學技術學報》2021年第1期重點論文推薦

○ 摘要 |《測繪科學技術學報》2021年第3期摘要推薦

○ 摘要 |《測繪科學技術學報》2021年第2期摘要推薦

○ 摘要 |《測繪科學技術學報》2021年第4期摘要推薦

○ 摘要 |《測繪科學技術學報》2021年第5期摘要推薦

《地球資訊科學學報》

○ 《地球資訊科學學報》2021年第10期佳文推介

○ 《地球資訊科學學報》2021年第9期佳文推介

○ 《地球資訊科學學報》2021年第11期佳文推介

○ 專刊徵稿:社會感知與地理大資料探勘(徵稿中)

《測繪工程》

○ 摘要 |《測繪工程》2021年第5期摘要推薦

○ 摘要 |《測繪工程》2021年第4期摘要推薦

○ 摘要 |《測繪工程》2021年第6期摘要推薦

○ 測繪教學 | 後疫情時代“線上+線下”混合教學模式創新——以測繪類課程視角

《中國空間科學技術》

○《中國空間科學技術》2021年第6期摘要

○《中國空間科學技術》2021年第5期摘要推薦

○ 摘要 |《中國空間科學技術》2021年第3期摘要推薦

○ 火衛二地形地貌探測綜述

《衛星應用》

○ 摘要 |《衛星應用》2021年第9期摘要推薦

○ 摘要 |《衛星應用》2021年第8期摘要推薦

○ 摘要 |《衛星應用》2021年第7期摘要推薦

○ 綜述 | 北斗系統應用趨勢分析

《Journal of Geodesy and Geoinformation Science》

○《測繪學報(英文版)》(JGGS)LiDAR專刊釋出

○《測繪學報(英文版)》(JGGS)第一次編委會會議順利召開

○Special Issue on New LiDAR Technologies and Techniques

○ Stefano TEBALDINI et al. |《測繪學報(英文版)》(JGGS)精選論文

《Satellite Navigation》

○ [綜述]| 高揚教授:GNSS智慧手機定位:進展、挑戰、機遇和未來展望| SANA佳文速遞

○ 熊超教授:地磁暴期間夜間低緯電離層和赤道等離子體不規則體| SANA佳文速遞

○ 徐元博士:面向有色測量噪聲下UWB/INS組合行人導航的分散式卡爾曼濾波| SANA佳文速遞

○ 楊飛博士:GNSS天頂對流層精化模型的構建與分析| SANA佳文速遞

○ 牛小驥教授:用半解析法分析GNSS/INS在鐵路軌道測量中的相對精度| SANA佳文速遞

《自然資源遙感》

○ 《自然資源遙感》入駐“智繪科服”融媒體平臺!

○ 《自然資源遙感》徵稿:“海岸帶空間資源及生態健康遙感監測”專欄

○ 摘要 |《自然資源遙感》2021年第3期摘要推薦

Journal of Geovisualization and Spatial Analysis

○《Journal of Geovisualization and Spatial Analysis》入駐“智繪科服”融媒體平臺!

○ JGSA國際期刊2021年第5卷第2期論文摘要

分類: 親子
時間: 2021-12-25

相關文章

大宇便攜調奶器再也不用擔心寶寶外出喝奶問題

大宇便攜調奶器再也不用擔心寶寶外出喝奶問題
️ 大宇便攜調奶器,在產品功能上還是顏值上,都從沒有讓我失望過- 1️⃣[不插電也能加熱]無線加熱的這個功能真的太強大了,充滿電後開啟開關自動加熱,外出攜帶超級方便,不管是帶娃出行還是出差辦公,都能隨 ...

抓住斷夜奶的合適時機,做好4個準備工作,輕鬆幫寶寶斷掉夜奶

抓住斷夜奶的合適時機,做好4個準備工作,輕鬆幫寶寶斷掉夜奶
導語:喂夜奶,對每一位哺乳媽媽來說應該都是件發愁的事.好不容易把寶寶哄睡了,剛想休息一下,結果又被寶寶的哭聲鬧醒了,時間久了真的很崩潰.長此以往,不僅新媽媽們身體吃不消,寶寶的生長髮育也會受到影響. ...

多喝奶能補鈣助長高,不想給孩子喝“假奶”,這份挑選攻略要看看

多喝奶能補鈣助長高,不想給孩子喝“假奶”,這份挑選攻略要看看
文丨京媽說,原創內容. 我們都聽過"多喝牛奶好,能補鈣還有助長個子",所以現在家長們也都很重視給孩子喝牛奶. 前陣子看過一篇 釋出在<柳葉刀>上的英國皇家學院的一項研究 ...

月子期間如何正確飲食保障奶量
大家好,我是"戴眼鏡的小元子",一個熱愛分享育兒經驗的寶媽. 我二胎寶寶目前三個多月,目前還在哺乳期,用親身經驗告訴你月子裡不用吃很多也可以有足夠的奶. 月子期間避免大補,宜飲食清 ...

兩學生被迫蹲在校門口喝奶,校長被約談

兩學生被迫蹲在校門口喝奶,校長被約談
來源:新華社 近日 網傳四川達州外國語學校 因不準帶牛奶入校 兩學生被迫蹲在校門口喝奶 引發熱議 據報道,畫面中事件發生在9月11日下午,兩名學生當天拆開喝過的牛奶,還有半箱儲存在保安室,上面寫有學生 ...

總是喝酒,但每次喝二兩不到,這是好事還是壞事?該瞭解下了

總是喝酒,但每次喝二兩不到,這是好事還是壞事?該瞭解下了
總是喝酒,但每次喝二兩不到,大家的心中是不是已經有一個類似的人選了.康康首先想到的就是我的爺爺,每天晚上吃飯時,爺爺總是會倒一杯白酒.爺爺說:過個嘴癮,晚上也可以睡個好覺,直到學醫以前,康康對於酒都是 ...

寶寶不愛吃奶怎麼辦?查明原因很重要
生活中,經常有寶媽因為寶寶不愛吃奶而感到焦急,擔心會影響寶寶的生長髮育.其實很多時候,媽媽眼中的"不愛吃奶",並不是寶寶真的不愛吃,而是另有原因.究竟什麼情況下的"不愛吃 ...

為啥每次喝了咖啡,尿都有一股咖啡味?是我的腎出問題了嗎?

為啥每次喝了咖啡,尿都有一股咖啡味?是我的腎出問題了嗎?
網友提問:我發現每次喝完咖啡去尿尿,尿液都有一股咖啡味,我這是怎麼了?我問我同事,她沒有這現象,這是我的腎出啥問題了嗎? 你先不用緊張,喝了咖啡,有人的尿的確會出現咖啡味兒,這是很正常的.咖啡衝的濃或 ...

寶寶頻繁吃奶、情緒煩躁?這些猛長期訊號,不能錯過

寶寶頻繁吃奶、情緒煩躁?這些猛長期訊號,不能錯過
由於是第一次當媽媽,在餵養寶寶的時候對於時間以及餵養量總是拿捏不準!很多新媽媽在餵養寶寶的知識上了解也不多,寶寶又不會說話,所以不知道寶寶是否吃飽...新生兒最初幾天的表現讓媽媽不淡定了,如果媽媽不瞭 ...

蝦皮/芝麻醬含鈣很高,為何補鈣更推薦喝奶?

蝦皮/芝麻醬含鈣很高,為何補鈣更推薦喝奶?
鈣是人體中含量最多的礦物質,是人體骨骼和牙齒中無機物的主要成分,對保證骨骼正常生長和維持骨健康起到至關重要的作用.此外,還具有維持神經肌肉正常生理功能和促進凝血等重要作用. 食物是人體獲得鈣的主要途徑 ...

我的寶寶每次放假想媽媽帶她去玩
每次不管是放暑假還是什麼假她爸爸在工地上班是沒有假期的,只要要做事就是要上班的呀!但是她奶奶連喝水的都要我們端給他喝所以我不敢帶孩子出去玩,可是寶寶一直哭一直鬧,後面就叫寶寶們看電視看的有兩個小時了呀 ...

狠心爸爸不讓孩子喝奶
從小就培訓孩子自己做事的能力,當然,調奶粉也算其中,三歲不到的孩子在大人的指點下,基本可以自行調奶粉. 不知從何時開始,她習慣了把奶瓶裝滿.也養成了邊吃邊玩的壞習慣.反正也能喝完,也不浪費,就沒有太在 ...

寶寶不吃奶怎麼辦

寶寶不吃奶怎麼辦
我的寶寶在9月20號下午3點27生的是個男孩, 我的寶寶不吃母乳我不知道要 怎麼辦 ,醫生說的我也做老人說的我也做寶寶就是不吃母乳 ,除了每天擠奶就是想辦法怎麼喂,我是第一次當媽媽沒有經驗,我還是想讓 ...

寶寶不愛喝水,嗓子疼!吃點什麼能緩解?

寶寶不愛喝水,嗓子疼!吃點什麼能緩解?
天氣冷了很多家長在做早餐的時候會優先選擇一些熱乎乎的食物來讓孩子吃.很多孩子早晨起床以後沒有胃口,其實吃不下一些比如漢堡,炒飯等相對熱量偏高,整體偏油膩的食物,早餐還是要以清淡為主. 而且很多孩子不愛 ...

鮮奶、純牛奶、酸奶寶寶1歲後該喝哪種奶?爸媽照著這個挑準沒錯

鮮奶、純牛奶、酸奶寶寶1歲後該喝哪種奶?爸媽照著這個挑準沒錯
關於寶寶喝的奶,我們在後臺收到很多留言: "寶寶多大可以喝牛奶了?我家寶寶13個月,可以喝了嗎?" "我家一歲半啦,牛奶.配方奶都不喝,愁死我了" " ...

寶寶長大了奶粉該怎麼喝?建議“該斷就斷”,既省錢又對娃身體好

寶寶長大了奶粉該怎麼喝?建議“該斷就斷”,既省錢又對娃身體好
解決寶寶餓肚子的問題,在娃出生的前幾月最簡單了.4~6個月以內的嬰兒,是完全吃母乳和奶粉的,不用擔心其他問題. 等到寶寶6個月以後,漸漸新增輔食,喝奶量也不如從前多了,喝奶模式也該做出調整 .但許多新 ...

7-24個月的寶寶如何餵養?每天吃幾次奶幾次飯?安排指南可收藏

7-24個月的寶寶如何餵養?每天吃幾次奶幾次飯?安排指南可收藏
孩子的吃喝拉撒一直都是新手爸媽關注的問題,尤其是新增輔食後,寶寶每天吃幾次奶幾次飯,怎麼安排才能讓他們吃好喝好發育好? 我家孩子一歲前姥姥帶,吃喝拉撒不用我負責,一歲後我自己帶,飲食一下子就變成了我的 ...

娃多大可以吃“大人飯菜”?兒科醫生:寶寶這樣餵養,更健康

娃多大可以吃“大人飯菜”?兒科醫生:寶寶這樣餵養,更健康
大家好呀,我是布穀媽~ 當寶寶開始吃輔食後,你是不是發現,他似乎對你吃的飯菜很感興趣? 每次吃飯時,他總是眼睛一眨不眨地盯著你,還吧唧著嘴學你吃飯的樣子.甚至著急起來,乾脆自己動手,直接伸手就往你碗裡 ...

怎麼樣判斷寶寶水攝入得夠不夠呢?

怎麼樣判斷寶寶水攝入得夠不夠呢?
水在人身體內的作用可是太重要了!人的身體內如果沒有水,所有的新陳代謝都將受到嚴重影響,一段時間內生命也就停止了. 秋季氣候乾燥,而且寶寶活動量大,容易損失水分,所以家長一定要注意讓孩子補充水分,但很多 ...

小孩不愛喝奶粉怎麼辦

小孩不愛喝奶粉怎麼辦
因為身體原因所以6月1日出生的小葡萄沒有母乳喝!快兩個月的時候就不怎麼愛喝奶,奶量一直不達標!每天抱著喂.走著喂.躺著喂都不怎麼喝,每次喝奶都很抗拒!奶粉一開始喝英版白金愛他美,後來換君樂寶,現在換成 ...