MediaPipe 機器學習跨平臺框架實戰

馬健健，畢業於上海交通大學，碩士，擁有超過十年的軟件架構經驗，先後供職於國內 外多家知名公司，目前就職於上海某知名外企，主要負責大數據處理、機器學習應用和 數據挖掘方面的研究和實施工作，長期研究AI虛擬人技術。已出版圖書《虛擬偶像AI實 現》《AI創意繪畫與視頻製作：基於Stable Diffusion和Control NET》

目    錄

 

第 1 章　MediaPipe基礎1

1.1　MediaPipe——站在巨人的肩膀上1

1.1.1　MediaPipe簡介1

1.1.2　MediaPipe可以做什麼2

1.1.3　MediaPipe和實時流媒體數據3

1.1.4　MediaPipe和TensorFlow 5

1.1.5　MediaPipe和OpenCV6

1.2　為什麼選擇MediaPipe7

1.3　主流推理框架的對比7

1.4　小結8

第 2 章　MediaPipe上手第一步9

2.1　MediaPipe的安裝9

2.1.1　在CentOS下安裝10

2.1.2　在Windows下安裝11

2.1.3　使用Docker安裝12

2.2　MediaPipe的基礎架構介紹15

2.2.1　基礎架構組件的構成及

特點15

2.2.2　MediaPipe技術棧介紹16

2.3　控制流和同步加速機制介紹26

2.3.1　控制流27

2.3.2　同步機制28

2.4　GPU的使用28

2.5　小結31

第 3 章　MediaPipe Facemesh33

3.1　Facemesh簡介33

3.1.1　用於增強現實34

3.1.2　用於AR濾鏡34

3.1.3　用於視頻會議軟件35

3.1.4　基於MediaPipe的美顏應用36

3.2　實現虛擬化身（一）36

3.2.1　構建工作環境36

3.2.2　構建流程 38

3.2.3　獲取面部關鍵點39

3.3　實現虛擬化身（二）53

3.3.1　構建開發環境53

3.3.2　構建虛擬化身特效55

3.4　實現美顏特性65

3.5　虛擬背景的Python實現68

3.6　虛擬背景的Android實現 71

3.6.1　構建開發環境72

3.6.2　視頻背景特效的實現80

3.7　小結99

第 4 章　MediaPipe與遊戲控制100

4.1　體感遊戲簡介100

4.2　體感遊戲與MediaPipe的姿態估計（Pose Estimation）102

4.3　MediaPipe姿態檢測102

4.4　遊戲人物控制機制105

4.5　控制水平和豎直方向的移動105

4.5.1　控制水平方向的移動105

4.5.2　控制豎直方向的移動107

4.6　控制鍵盤或鼠標的移動109

4.7　小結 110

第 5 章　MediaPipe視覺特效實現111

5.1　識別眼睛EAR活動111

5.1.1　EAR介紹112

5.1.2　EAR判定疲勞的流程113

5.1.3　MediPipe監測EAR114

5.2　AR激光劍效果118

5.2.1　遊戲策劃119

5.2.2　準備和設計圖片資源120

5.2.3　編寫腳本120

5.2.4　測試和預覽效果131

5.3　火箭發射小遊戲131

5.4　空中作圖149

5.4.1　空中作圖的歷史149

5.4.2　應用流程的設計149

5.4.3　菜單的設計149

5.4.4　選擇和繪畫手勢的判斷150

5.4.5　繪畫邏輯的實現152

5.4.6　測試和預覽效果154

5.5　小結 155

第 6 章　MediaPipe手語識別實戰156

6.1　手語識別介紹156

6.1.1　手語簡介156

6.1.2　手語識別的歷史157

6.2　MediaPipe手語識別的實現步驟157

6.3　小結 183

第 7 章　MediaPipe智能健身教練實戰184

7.1　智能健身概述184

7.2　MediaPipe健康教練的實現185

7.3　小結199

第 8 章　MediaPipe和Unity200

8.1　MediaPipe Unity插件簡介200

8.2　MediaPipe Unity插件的安裝方法201

8.3　MediaPipe Unity插件的使用方法206

8.4　案例介紹214

8.5　小結230

第 9 章　MediaPipe的前景和展望231

9.1　實時識別、移動設備加速AI技術的落地，助力廉價AR/VR設備（ARCore/VRCHAT）231

9.2　MediaPipe助力元宇宙發展232

9.3　面臨的挑戰233

9.4　小結233