基于持續(xù)學(xué)習(xí)的多模態(tài)情緒感知系統(tǒng)
作者：駱炳君 邵璟之 軟件學(xué)院
指導(dǎo)老師：趙曦濱 軟件學(xué)院
關(guān)鍵詞：情緒感知、持續(xù)學(xué)習(xí)、多模態(tài)
摘要
情緒是人類認(rèn)知、思考與行為過(guò)程中所產(chǎn)生的復(fù)雜心理和生理狀態(tài)。情緒感知技術(shù)在人機(jī)交互、工業(yè)控制、醫(yī)療教育等領(lǐng)域取得了廣泛的應(yīng)用，是分析用戶行為、評(píng)估心理狀態(tài)、監(jiān)控病情發(fā)展等任務(wù)的重要工具，具有極高的研究和應(yīng)用價(jià)值。實(shí)際應(yīng)用中的情緒具有表達(dá)通道多樣化和種類精細(xì)化的特點(diǎn)：情緒的表達(dá)通道豐富多樣，例如面部表情、動(dòng)作等視覺(jué)信號(hào)以及心電（ECG）、腦電（EEG）等生理信號(hào)；情緒分類日趨精細(xì)化，越來(lái)越多的復(fù)雜情緒類型開(kāi)始被公眾所創(chuàng)造、關(guān)注和使用。針對(duì)上述特點(diǎn)所帶來(lái)的挑戰(zhàn)，本作品充分利用視覺(jué)信息與生理信號(hào)等多模態(tài)的數(shù)據(jù)，探索多模態(tài)數(shù)據(jù)在情緒感知中的復(fù)雜關(guān)聯(lián)，深度融合多模態(tài)學(xué)習(xí)和持續(xù)學(xué)習(xí)的理論方法，提出了更加準(zhǔn)確可靠的精細(xì)化情緒感知方法，在此基礎(chǔ)上設(shè)計(jì)搭建了面向真實(shí)場(chǎng)景的司乘人員情緒監(jiān)測(cè)系統(tǒng)。
精細(xì)化情緒的動(dòng)態(tài)建模方法
傳統(tǒng)的持續(xù)學(xué)習(xí)研究多局限于圖像分類任務(wù)，在情緒感知領(lǐng)域還處于一片空白。本作品首次將持續(xù)學(xué)習(xí)的理論方法應(yīng)用于情緒感知任務(wù)中，針對(duì)情緒多樣性和個(gè)體差異性的特點(diǎn)提出了新的訓(xùn)練損失函數(shù)，構(gòu)建了類型可動(dòng)態(tài)增加的情緒感知模型。與傳統(tǒng)的固定分類情緒感知模型相比，我們的模型不僅能靈活地適應(yīng)情緒類型的動(dòng)態(tài)變化，還能在保持較高準(zhǔn)確率的前提下，大大減少模型增量訓(xùn)練過(guò)程中的時(shí)間和空間開(kāi)銷。相關(guān)成果已發(fā)表于ACM MM 2020會(huì)議，正在申請(qǐng)專利1項(xiàng)。
圖1 人類智能與機(jī)器智能在不斷學(xué)習(xí)新類別情緒時(shí)的對(duì)比
圖2 動(dòng)態(tài)情緒感知模型框架
多模態(tài)生理信號(hào)的情緒預(yù)測(cè)方法
為了能夠利用多模態(tài)生理信號(hào)對(duì)個(gè)體情緒狀態(tài)進(jìn)行監(jiān)測(cè)，形成心理素質(zhì)的個(gè)性化客觀量化評(píng)估，本作品提出了用超圖對(duì)樣本之間的復(fù)雜關(guān)聯(lián)進(jìn)行統(tǒng)一建模，通過(guò)多模態(tài)之間的信息融合，聯(lián)合學(xué)習(xí)端到端的特征表示方法，充分利用不同模態(tài)的信息，對(duì)比個(gè)體間的生理屬性，最終實(shí)現(xiàn)對(duì)于情緒狀態(tài)的精確識(shí)別。相關(guān)成果已發(fā)表于ICIP 2019會(huì)議。
圖3 多模態(tài)情緒預(yù)測(cè)模型框架
司乘人員情緒檢測(cè)原型系統(tǒng)
本作品在前述兩項(xiàng)成果的基礎(chǔ)上，充分利用已有研究的知識(shí)和技術(shù)積累，基于人臉表情數(shù)據(jù)實(shí)現(xiàn)了對(duì)公共交通司乘人員的情緒監(jiān)測(cè)與分析。未來(lái)將融合多模態(tài)學(xué)習(xí)和持續(xù)學(xué)習(xí)方法，充分利用多模態(tài)的視覺(jué)信息和生理信號(hào)數(shù)據(jù)，進(jìn)一步提高分析的準(zhǔn)確性和可靠性。相關(guān)工作已搭建原型系統(tǒng)，預(yù)期與交通運(yùn)輸企業(yè)合作使產(chǎn)品落地應(yīng)用。
圖4 情緒監(jiān)測(cè)原型系統(tǒng)演示
