深度神經網絡高效計算：大模型輕量化原理與關鍵技術

程健

深度神經網絡高效計算：大模型輕量化原理與關鍵技術
  • 出版商: 電子工業
  • 出版日期: 2024-08-01
  • 售價: $594
  • 貴賓價: 9.5 折 $564
  • 語言: 簡體中文
  • 頁數: 332
  • 裝訂: 平裝
  • ISBN: 7121484013
  • ISBN-13: 9787121484018
  • 相關分類: LangChain

    • 立即出貨

買這商品的人也買了...

相關主題

商品描述

近年來，在深度學習的推動下，人工智能步入新的發展階段。
然而，隨著深度學習模型效能的提升，其運算複雜度也不斷增加，深度學習模型的運作效率面臨巨大挑戰。
在這種情況下，深度學習高效計算成為在更大範圍內應用人工智能的重要環節。
本書圍繞深度學習模型計算，重點從深度學習模型最佳化、演算法軟件加速、硬件架構設計等方面展開介紹深度學習高效計算，
主要包括低秩分解、剪枝、量化、知識蒸餾、精簡網絡設計與搜尋、深度神經網絡高效訓練、
捲積神經網絡高效計算、大模型高效計算、神經網絡加速器設計等內容。
本書既適合大學相關專業學生，也可作為從業人員的案頭參考。

目錄大綱

1 概述
1.1 深度學習與人工智能
1.2 深度學習高效計算
1.2.1 深度學習計算面臨困難
1.2.2 主要研究方向
1.3 本章小結
2 神經網絡與深度學習基礎
2.1 神經網絡
2.1.1 感知機
2.1.2 多層感知機
2.1.3 深度學習
2.2 神經網絡訓練
2.2.1 梯度下降
2.2.2 損失函數
2.2.3 過擬合與正規化
2.3 典型深度神經網絡
2.3.1 捲積神經網絡
2.3.2 循環神經網絡
2.3.3 圖神經網絡
2.3.4 自註意力神經網絡
2.4 本章小結
3 深度學習框架介紹
3.1 什麼是深度學習框架
3.2 深度學習架構的基本組成
3.2.1 張量
3.2.2 算子
3.2.3 計算圖
3.2.4 自動微分支持
3.2.5 並行計算支持
3.3 深度學習訓練框架
3.3.1 TensorFlow
3.3.2 PyTorch
3.3.3 Caffe
3.3.4 MXNet
3.3.5 PaddlePaddle
3.3.6 MindSpore
3.4 深度學習推理框架
3.4.1 TensorFlow Lite
3.4.2 MNN
3.4.3 NCNN
3.4.4 MACE
3.4.5 SNPE
3.4.6 華為HiAI
3.4.7 TensorRT
3.4.8 QNN
3.5 本章小結
4 低秩分解
4.1 張量基礎
4.1.1 張量定義
4.1.2 張量運算
4.1.3 特殊型張量
4.2 矩陣SVD分解
4.2.1 特徵值與特徵向量
4.2.2 特徵值分解
4.2.3 SVD分解
4.2.4 全連接層SVD分解
4.2.5 捲積層SVD分解
4.3 張量低秩分解
4.3.1 Tucker分解
4.3.2 CP分解
4.3.3 BTD分解
4.4 本章小結
5 深度神經網絡剪枝
5.1 神經網絡剪枝簡介
5.1.1 剪枝的基本概念與定義
5.1.2 剪枝的作用與意義
5.1.3 神經網絡剪枝發展簡史
5.1.4 剪枝的基本類型
5.2 稀疏網絡儲存格式
5.2.1 非結構化剪枝儲存格式
5.2.2 結構化剪枝儲存格式
5.3 神經網絡剪枝演算法
5.3.1 基於重要性度量的剪枝
5.3.2 基於稀疏正規化的剪枝方法
5.3.3 基於逐層特徵重構的剪枝
5.3.4 運行時剪枝演算法
5.3.5 基於初始化的剪枝演算法
5.3.6 基於自動機器學習的剪枝演算法
5.4 本章小結
6 量化
6.1 量化基礎
6.1.1 量化函數
6.1.2 量化計算
6.1.3 量化粒度
6.2 訓練後量化
6.2.1 量化參數求解
6.2.2 量化誤差校正
6.2.3 訓練後量化經典方法
6.2.4 訓練後量化流程
6.3 量化感知訓練
6.3.1 QAT基礎
6.3.2 QAT經典方法
6.3.3 QAT流程
6.4 進階課題
6.4.1 混合精度量化
6.4.2 無數據量化
6.4.3 二值量化
6.5 本章小結
7 知識蒸餾
7.1 何為知識
7.2 如何蒸餾
7.2.1 軟標籤蒸餾
7.2.2 隱層特徵蒸餾
7.3 相關應用
7.3.1 魯棒訓練
7.3.2 語意分割
7.3.3 目標偵測
7.4 本章小結
8 精簡網頁設計與搜尋
8.1 手工設計神經網絡架構
8.1.1 Network In Network
8.1.2 ResNeXt
8.1.3 SqueezeNet
8.1.4 MobileNet
8.1.5 ShuffleNet
8.2 神經網絡架構搜尋
8.2.1 基於權重共享的神經網絡架構搜尋
8.2.2 基於預測器的神經網絡架構搜尋
8.2.3 基於先驗指標的神經網絡架構搜索
8.3 本章小結
9 深度神經網絡高效訓練方法
9.1 深度神經網絡高效訓練簡介
9.1.1 什麼是高效訓練方法
9.1.2 高效訓練方法基本型
9.1.3 高效訓練演算法的意義
9.2 深度神經網絡訓練基本流程
9.2.1 資料預處理
9.2.2 前向傳播
9.2.3 反向傳播
9.2.4 權重更新
9.3 深度神經網絡分佈式訓練
9.3.1 參數服務器模式
9.3.2 Ring All-Reduce模式
9.4 面向資料預處理的高效訓練方法
9.4.1 基於GPU的資料預處理
9.4.2 基於資料重複的資料預處理
9.5 基於梯度壓縮的高效分佈式訓練
9.5.1 梯度剪枝方法
9.5.2 梯度量化方法
9.5.3 本地殘差梯度積累
9.5.4 本地梯度截斷
9.6 面向顯存優化的高效訓練演算法
9.6.1 網絡訓練內存構成
9.6.2 梯度檢查點
9.6.3 內存下放
9.6.4 激活壓縮的訓練
9.7 以運算過程為導向的網絡訓練加速
9.7.1 FP16混合精度訓練演算法
9.7.2 基於低位元量化的訓練加速演算法
9.7.3 稠密和稀疏網絡交替訓練演算法
9.7.4 基於稀疏反向傳播的訓練加速
9.8 本章小結
10 捲積神經網絡高效計算
10.1 im2col算法
10.1.1 一維捲積的im2col演算法
10.1.2 二維捲積的im2col演算法
10.1.3 多輸入通道的二維捲積的im2col演算法
10.1.4 多輸出通道的二維捲積的im2col演算法
10.2 矩陣乘演算法最佳化與實現
10.2.1 基礎實現

類似商品