多模態情感計算:面向學習環境的技術與應用

商品描述

全書系統性地闡述了情感計算賦能智慧學習這一前沿交叉領域。全書內容循序漸進,從人工情感、機器學習與心理學中關於人格的基礎理論出發,逐步拓展到面向學習場景的單模態情緒分析、多模態情感識別及自動人格識別技術,完整呈現了從理論模型到關鍵技術,再到系統集成與場景應用(如情感輔導代理)的體系化知識。本書特色在於其知識的系統性、案例的實用性以及關於情感計算方向多模態融合技術的前沿性。本書主要面向人工智能、人工心理學及智慧教育技術領域的研究人員、工程師及研究生,同時也為致力於研發新一代智慧教育產品的開發者提供了關鍵的理論支撐與實踐指南。

作者簡介

拉蒙?紮塔拉因?卡巴達(Ramón Zatarain Cabada)墨西哥Tecnológico de Culiacán研究所教授兼研究員、墨西哥計算學院院士、墨西哥人工智能學會以及墨西哥一級研究人員系統的正式成員,研究方向為智能學習環境、情感計算和人工智能在教育中的應用。赫克托?曼努埃爾?卡迪納斯?洛佩斯(Héctor Manuel Cárdenas López)墨西哥Tecnológico de Culiacán研究所助理研究員,研究方向為多模態深度學習技術、面向情感識別和人格識別的人類行為分類、情感輔導系統和認知導向情感。雨果?雅伊爾?埃斯卡蘭特 (Hugo Jair Escalante)墨西哥 天體物理、光學和電子學研究所 研究員,美國ChaLearn董事會成員, 模式識別學會 2技術委員會 ,墨西哥科學院院士,墨西哥計算學院院士以及墨西哥二級研究人員系統的正式成員,研究方向為機器學習及其在語言和視覺上的應用。

目錄大綱


前言
致謝
第1部分 基礎知識
第1章 情感計算
1.1 引言
1.2 情緒、情感與情感體驗理論
1.3 人格與學習理論
1.3.1 主要的人格理論
1.3.2 人格對學習的影響
1.4 認知加工與面向學習的情感
1.5 情緒、情感、人格與機器
1.6 討論
參考文獻
第2章 機器學習與模式識別在情感計算中的應用
2.1 引言
2.2 情感計算中的輸入數據
2.3 機器學習的分支與模型
2.3.1 監督學習
2.3.2 無監督學習
2.3.3 其他學習變體
2.4 降維
2.5 深度學習
2.5.1 神經網絡
2.5.2 卷積神經網絡
2.5.3 序列模型
2.5.4 其他基於深度學習的模型
2.6 討論
參考文獻
第3章 情感學習環境
3.1 引言
3.2 教與學的動態過程
3.3 有關情感在學習中作用的理論模型
3.4 情感學習環境的設計
3.5 討論
參考文獻
第2部分 面向學習環境的情感分析
第4章 構建情感檢測資源
4.1 引言
4.2 實驗設置的設計
4.3 數據挖掘系統設計與實現
4.4 數據挖掘面臨的挑戰
4.5 討論
參考文獻
第5章 數據表示方法
5.1 引言
5.2 詞語切分
5.3 句法分析
5.4 詞幹提取和詞形還原
5.5 詞嵌入
5.6 討論
參考文獻
第6章 分類模型的設計與測試
6.1 引言
6.2 基於詞典的情感分析
6.3 多層感知機
6.4 卷積神經網絡
6.5 長短期記憶神經網絡
6.6 評估協議
6.7 討論
參考文獻
第7章 學習系統中的模型集成
7.1 引言
7.2 資源構建
7.3 聚焦於編程語言領域的數據庫
7.4 創建以學習為重點的情緒詞典
7.5 模型選擇過程
7.6 評價指標
7.7 模型訓練及驗證
7.8 情感學習環境
7.8.1 模型實現
7.8.2 情感輔導智能體
7.9 討論
參考文獻
第3部分 面向學習場景的情緒多模態識別
第8章 構建情緒檢測資源
8.1 引言
8.2 實驗設置設計
8.2.1 選擇數據模態
8.2.2 標註過程
8.2.3 工作環境
8.2.4 情緒誘發
8.3 討論
參考文獻
第9章 數據表示方法
9.1 引言
9.2 基於圖像的面部表情數據表示
9.3 基於頻譜圖的語音數據表示
9.4 生理數據基於信號的數據表示
9.5 選擇數據表示方法的實際考慮因素
9.6 討論
參考文獻
第10章 多模態識別系統
10.1 引言
10.2 數據融合技術
10.3 多模態情緒識別中的卷積神經網絡
10.4 多模態情緒識別中的長短期記憶網絡
10.5 評估協議
10.6 討論
參考文獻
第11章 學習環境中的多模態情緒識別
11.1 引言
11.2 增強學生的動機、參與度和認知加工能力
11.3 創建數據集
11.3.1 標註過程
11.3.2 融合不同數據集
11.4 定義深度學習架構
11.4.1 卷積神經網絡
11.4.2 長短期記憶網絡
11.5 評估協議
11.6 模型部署
11.6.1 數據管道
11.6.2 模型解釋
11.7 情緒輔導智能體
11.8 討論
參考文獻
第4部分 自動人格識別
第12章 構建用於人格識別的資源
12.1 引言
12.2 數據結構設計
12.3 人格數據標註
12.4 數據收集應用程序
12.5 討論
參考文獻
第13章 數據表示方法
13.1 引言
13.2 語音數據表示
13.3 文本數據表示
13.4 面部表情數據表示
13.5 生理信號數據表示
13.6 情緒與人格數據表示的差異
13.7 討論
參考文獻
第14章 人格識別模型
14.1 引言
14.2 單模態架構
14.3 多模態架構
14.4 討論
參考文獻
第15章 情感計算中的多模態人格識別
15.1 引言
15.2 數據結構設計
15.2.1 APP數據集的收集
15.2.2 APR數據集的創建
15.2.3 表觀人格感知與自動人格識別
15.3 用於數據收集的應用程序
15.4 數據重新收集過程
15.5 使數據集適應工作環境
15.5.1 圖像預處理
15.5.2 聲音預處理
15.6 人格識別模型設計
15.6.1 基於圖像的模型
15.6.2 基於聲音的模型
15.6.3 多模態模型
15.7 實驗室測試
15.8 模型即服務
15.9 教育領域的人格識別
15.10 討論
參考文獻
術語表