Kinect人機(jī)交互開發(fā)實(shí)踐

前言

　　Kinect是微軟公司推出的最新的基于體感交互的人機(jī)交互設(shè)備。Kinect最初作為Xbox 360的外接設(shè)備發(fā)布，利用即時動態(tài)骨骼追蹤、影像識別、麥克風(fēng)輸入、語音識別等功能讓玩家擺脫傳統(tǒng)游戲手柄的束縛，通過自己的肢體動作來控制游戲。到2011年3月，Kinect已經(jīng)售出了1000多萬臺，創(chuàng)造了新的銷售記錄，同時也表明了Kinect全新的體感交互體驗(yàn)征服了眾多玩家的心。微軟公司并沒有將這一先進(jìn)技術(shù)局限在游戲行業(yè)，而是緊接著將Kinect技術(shù)推廣到Windows平臺，開放了本書要介紹的Kinect for Windows SDK，旨在鼓勵眾多開發(fā)者設(shè)計(jì)基于Kinect體感交互技術(shù)的應(yīng)用，從而在各個行業(yè)領(lǐng)域里改變?nèi)藗児ぷ?、生活和娛樂的方式。　　本書結(jié)構(gòu)　　本書分為3個部分，具體如下所示?！　inect基礎(chǔ)篇。介紹Kinect的結(jié)構(gòu)和功能以及如何配置開發(fā)環(huán)境，主要包含2章內(nèi)容。　　第1章簡要介紹Kinect的概念、歷史、結(jié)構(gòu)組成及其應(yīng)用領(lǐng)域?！　〉?章將一步一步帶領(lǐng)讀者進(jìn)行Kinect for Windows開發(fā)環(huán)境的配置。　　Kinect開發(fā)篇。結(jié)合實(shí)例介紹如何使用Kinect for Windows SDK提供的API，主要包含6章內(nèi)容?！　〉?章介紹Kinect獲取的彩色圖像數(shù)據(jù)和紅外圖像數(shù)據(jù)，并結(jié)合實(shí)例介紹如何調(diào)用Kinect for Windows SDK提供的API獲取這兩種圖像數(shù)據(jù)?！　〉?章介紹Kinect獲取的深度圖像數(shù)據(jù)，并結(jié)合實(shí)例介紹如何處理深度圖像數(shù)據(jù)?！　〉?章介紹骨骼追蹤數(shù)據(jù)，包括其結(jié)構(gòu)、半身模式以及新加的骨骼點(diǎn)旋轉(zhuǎn)信息，通過實(shí)例3講解骨骼數(shù)據(jù)API的調(diào)用方法，通過實(shí)例4介紹如何利用骨骼追蹤數(shù)據(jù)實(shí)現(xiàn)相應(yīng)的功能?！　〉?章介紹Kinect for Windows SDK中音頻API的使用方法，實(shí)例5和實(shí)例6分別講解了如何記錄Kinect捕獲到的音頻流以及如何進(jìn)行語音識別?！　〉?章介紹Kinect for Windows Developer Toolkit，包括如何對其進(jìn)行安裝，如何利用其中的Kinect Studio進(jìn)行便捷開發(fā)，以及Face Tracking SDK， 并通過實(shí)例7詳細(xì)講解如何使用Face Tracking SDK識別人臉?！　〉?章講述了Kinect常用的兩個類庫：Coding4Fun Kinect Toolkit和Kinect Toolbox。　　Kinect實(shí)戰(zhàn)篇。通過4個實(shí)例詳細(xì)講述了使用Kinect for Windows SDK開發(fā)項(xiàng)目的實(shí)現(xiàn)過程，包括4章內(nèi)容。　　第9章講解了Kinect虛擬演示系統(tǒng)的實(shí)現(xiàn)過程，該項(xiàng)目結(jié)合Kinect提供了一種新穎的演講方式。　　第10章講解了Kinect虛擬風(fēng)箏項(xiàng)目，將微軟最新的Kinect姿勢識別技術(shù)與風(fēng)箏文化結(jié)合，提供一種新的虛擬放風(fēng)箏體驗(yàn)?！　〉?1章介紹了虛擬博物館的實(shí)現(xiàn)。該項(xiàng)目利用Kinect SDK 提供的骨骼點(diǎn)追蹤功能，結(jié)合普通的顯示屏或者投影儀實(shí)現(xiàn)了全息顯示的效果?！　〉?2章講述了基于Kinect的自主移動機(jī)器人項(xiàng)目。本項(xiàng)目將Kinect作為機(jī)器人的視覺傳感器，指導(dǎo)機(jī)器人移動?！　”緯鴥?nèi)容豐富，通過對基礎(chǔ)篇和開發(fā)篇的學(xué)習(xí)，讀者可以了解Kinect技術(shù)的相關(guān)知識，并掌握Kinect相關(guān)API的使用方法。其中開發(fā)篇附帶了大量的示例程序，希望讀者能夠親自試驗(yàn)。實(shí)戰(zhàn)篇講解了多個Kinect相關(guān)項(xiàng)目，希望能夠?qū)ψx者在開發(fā)過程中提供一定的參考?！　∽x者對象　　本書旨在為Kinect for Windows開發(fā)人員提供快速入門的知識，但是要求讀者有一定的編程基礎(chǔ)。由于本書的實(shí)例代碼全部由C#編寫，讀者最好對C#有一定的了解?！　≈轮x　　本書的出版得了各方面的幫助和支持。感謝微軟亞洲研究院副院長宋羅蘭女士和資深學(xué)術(shù)合作經(jīng)理馬歆女士、Miran Lee女士對本書寫作給予的大力支持。感謝美國總部微軟研究院Stewart Tansley博士、Kinect for Windows部門Bob Heddle、Anson Tsao、李杭和Heather Mitchell給予的指導(dǎo)。感謝清華大學(xué)美術(shù)學(xué)院徐迎慶教授和他的學(xué)生趙月、張爽爽、于陽、魏一明，實(shí)戰(zhàn)部分中的虛擬風(fēng)箏項(xiàng)目是在徐老師指導(dǎo)下，由4位同學(xué)完成交互界面的設(shè)計(jì)。感謝微軟技術(shù)俱樂部北京航空航天大學(xué)虛擬演示項(xiàng)目組張蕊、伍彥飛同學(xué)和虛擬博物館項(xiàng)目組黎健成、范若余同學(xué)，他們的創(chuàng)意項(xiàng)目很大程度上豐富了書中實(shí)戰(zhàn)部分的內(nèi)容。感謝西安交通大學(xué)的袁博灃、姚佳文和趙文玉同學(xué)，書中Kinect機(jī)器人項(xiàng)目就是由他們完成的。此外，感謝微軟亞太研發(fā)集團(tuán)Kinect for Windows部門王維，中國科學(xué)技術(shù)大學(xué)李明磊和北京航空航天大學(xué)陳璇在百忙中審閱部分文稿。再次感謝所有為本書編寫和出版付出辛勤勞動的同仁。

內(nèi)容概要

Kinect 是微軟公司推出的最新的基于體感交互的人機(jī)交互設(shè)備。本書分為3
個部分，首先介紹了Kinect 的結(jié)構(gòu)和功能以及如何配置相關(guān)的開發(fā)環(huán)境，接著結(jié)合實(shí)例介紹如何使用Kinect for Windows
SDK 提供的API，最后通過4 個實(shí)例詳細(xì)講述了使用Kinect for Windows SDK 開發(fā)項(xiàng)目的實(shí)現(xiàn)過程。
 本書旨在為Kinect for Windows
開發(fā)人員提供快速入門的知識，但是要求讀者有一定的編程基礎(chǔ)。由于本書的實(shí)例代碼全部由C# 編寫，讀者最好對C# 有一定的了解。
本書的部分源代碼可以通過圖靈社區(qū)本書主頁，免費(fèi)注冊下載。

作者簡介

　　吳國斌
　　博士，PMP，微軟亞洲研究院學(xué)術(shù)合作經(jīng)理，負(fù)責(zé)中國高校及科研機(jī)構(gòu)Kinect for
Windows學(xué)術(shù)合作計(jì)劃及微軟精英大挑戰(zhàn)Kinect主題項(xiàng)目，曾擔(dān)任微軟TechEd 2011
Kinect論壇講師、微軟亞洲教育高峰會Kinect分論壇主席、中國計(jì)算機(jī)學(xué)會學(xué)科前沿講習(xí)班Kinect主題學(xué)術(shù)主任
　　李斌
　　來自西安電子科技大學(xué)，國內(nèi)首批Kinect開發(fā)者，策劃執(zhí)行微軟Kinect for Windows
Pioneer計(jì)劃，開發(fā)Kinect風(fēng)箏項(xiàng)目，曾擔(dān)任微軟TechEd 2011
Kinect論壇講師、人大附中Kinect選修課講師。
　　閻驥洲
　　來自北京航空航天大學(xué)，國內(nèi)首批Kinect開發(fā)者，曾在微軟Kinect for Windows
Pioneer計(jì)劃中憑借“虛擬演示系統(tǒng)”獲得第一名的成績，之后參與并指導(dǎo)了多個Kinect應(yīng)用開發(fā)項(xiàng)目，有著豐富的Kinect使用及開發(fā)經(jīng)驗(yàn)。

書籍目錄

第一部分 　Kinect基礎(chǔ)篇
第1章 　Kinect簡介　　
1.1 　什么是Kinect　　
1.2 　Kinect的前世今生　　
1.3 　Kinect體感交互技術(shù)原理　　
1.3.1 　Kinect的結(jié)構(gòu)組成　　
1.3.2 　Kinect for Windows SDK 簡介及功能介紹　　
1.4 　Kinect for Windows應(yīng)用領(lǐng)域　　
1.5 　小結(jié)　　
第2章 　Kinect for Windows開發(fā)環(huán)境配置　　
2.1 　開發(fā)環(huán)境需求　　
2.2 　配置開發(fā)環(huán)境　　
2.3 　Kinect for Windows SDK技術(shù)架構(gòu)　　
2.4 　小結(jié)　　
第二部分 　Kinect開發(fā)篇
第3章 　Kinect彩色和紅外圖像數(shù)據(jù)的處理　　
3.1 　彩色圖像的格式　　
3.2 　紅外數(shù)據(jù)流　　
3.3 　實(shí)例1——調(diào)用API獲取彩色圖像數(shù)據(jù)和紅外圖像，并實(shí)現(xiàn)靜態(tài)圖像的抓取　　
3.4 　小結(jié)　　
第4章 　Kinect深度數(shù)據(jù)的處理　　
4.1 　深度數(shù)據(jù)的結(jié)構(gòu)　　
4.2 　實(shí)例2——調(diào)用API獲取深度數(shù)據(jù)，并對不同深度值著以不同顏色　　
4.3 　小結(jié)　　
第5章 　Kinect骨骼追蹤數(shù)據(jù)的處理方法　　
5.1 　骨骼追蹤數(shù)據(jù)的結(jié)構(gòu)　　
5.2 　半身模式　　
5.3 　骨骼追蹤數(shù)據(jù)的獲取方式　　
5.4 　實(shí)例3——調(diào)用API獲取骨骼數(shù)據(jù)并實(shí)時繪制　　
5.5 　骨骼點(diǎn)旋轉(zhuǎn)信息　　
5.5.1 　骨骼點(diǎn)旋轉(zhuǎn)信息存儲方式　　
5.5.2 　在骨骼數(shù)據(jù)回調(diào)函數(shù)中獲取骨骼點(diǎn)旋轉(zhuǎn)信息　　
5.5.3 　綜述　　
5.6 　實(shí)例4——使用Kinect控制PPT播放　　
5.7 　小結(jié)　　
第6章 　音頻API的使用　　
6.1 　關(guān)于Kinect麥克風(fēng)陣列　　
6.2 　實(shí)例5——記錄一段音頻流，并監(jiān)視音頻源方向　　
6.3 　實(shí)例6——調(diào)用語音API，實(shí)現(xiàn)語音識別小程序　　
6.4 　小結(jié)　　
第7章 　Kinect for Windows Developer Toolkit介紹　　
7.1 　安裝Kinect for Windows Developer Toolkit　　
7.2 　Kinect Studio簡介　　
7.2.1 　打開Kinect Studio并鏈接應(yīng)用　　
7.2.2 　記錄并回放Kinect數(shù)據(jù)流　　
7.2.3 　保存和載入Kinect數(shù)據(jù)流　　
7.3 　Face Tracking SDK簡介　　
7.3.1 　Face Tracking SDK主要功能　　
7.3.2 　Face Tracking SDK使用方法　　
7.4 　實(shí)例7——使用Face Tracking SDK識別人臉　　
7.4.1 　新建項(xiàng)目并添加引用　　
7.4.2 　初始化Kinect數(shù)據(jù)流　　
7.4.3 　獲取數(shù)據(jù)并傳入Face Tracking　　
7.5 　小結(jié)　　
第8章 　Kinect常用類庫介紹　　
8.1 　Coding4Fun Kinect Toolkit介紹　　
8.1.1 　基于圖像數(shù)據(jù)的擴(kuò)展方法　　
8.1.2 　基于骨骼數(shù)據(jù)的擴(kuò)展方法　　
8.2 　Kinect Toolbox類庫　　
8.2.1 　Kinect Toolbox簡介　　
8.2.2 　人體姿態(tài)識別　　
8.2.3 　手勢識別　　
8.2.4 　模板識別　　
8.2.5 　語音識別　　
8.2.6 　添加自定義姿態(tài)　　
8.3 　小結(jié)　　
第三部分 　Kinect實(shí)戰(zhàn)篇
第9章 　Kinect虛擬演示系統(tǒng)的實(shí)現(xiàn)　　
9.1 　虛擬演示系統(tǒng)簡介　　
9.2 　技術(shù)實(shí)現(xiàn)概述　　
9.3 　利用深度數(shù)據(jù)標(biāo)簽獲取人物彩色圖像　　
9.3.1 　創(chuàng)建人物摳圖類　　
9.3.2 　利用深度數(shù)據(jù)獲取人物彩色圖像　　
9.3.3 　修補(bǔ)、優(yōu)化并完善摳圖類　　
9.3.4 　利用Kinect SDK摳圖的優(yōu)、缺點(diǎn)　　
9.4 　利用骨骼數(shù)據(jù)識別人體姿態(tài)　　
9.4.1 　利用Toolbox實(shí)現(xiàn)主體識別功能　　
9.4.2 　自然交互方式設(shè)計(jì)　　
9.4.3 　Kinect自然交互小結(jié)　　
9.5 　演示系統(tǒng)簡介　　
9.5.1 　預(yù)備知識　　
9.5.2 　Kinect狀態(tài)類　　
9.5.3 　Kinect輪詢類　　
9.5.4 　演示框架小結(jié)　　
9.6 　小結(jié)　　
第10章 　Kinect虛擬放風(fēng)箏項(xiàng)目的實(shí)現(xiàn)　　
10.1 　Kinect虛擬放風(fēng)箏項(xiàng)目簡介　　
10.2 　技術(shù)實(shí)現(xiàn)概述　　
10.3 　玩家姿勢的設(shè)計(jì)和識別　　
10.3.1 　玩家姿勢的設(shè)計(jì)　　
10.3.2 　玩家姿勢識別的實(shí)現(xiàn)　　
10.4 　自然交互按鈕和光標(biāo)的實(shí)現(xiàn)　　
10.4.1 　自定義光標(biāo)　　
10.4.2 　自定義按鈕　　
10.5 　風(fēng)箏動畫的實(shí)現(xiàn)　　
10.6 　項(xiàng)目操作流程　　
10.7 　小結(jié)　　
第11章 　Kinect全息顯示　　
11.1 　Kinect全息顯示簡介　　
11.2 　技術(shù)實(shí)現(xiàn)概述　　
11.3 　Kinect捕捉頭部坐標(biāo)　　
11.3.1 　創(chuàng)建用于捕捉頭部位置的Kinect組件類　　
11.3.2 　Kinect初始化以及頭部位置獲取　　
11.3.3 　根據(jù)Kinect和屏幕的位置關(guān)系轉(zhuǎn)換坐標(biāo)　　
11.4 　三維圖形引擎　　
11.4.1 　創(chuàng)建可見模型繪制類　　
11.4.2 　構(gòu)建模型世界矩陣　　
11.4.3 　繪制模型　　
11.5 　根據(jù)頭部位置更新繪制圖像　　
11.5.1 　修改視圖矩陣　　
11.5.2 　修改投影矩陣　　
11.6 　小結(jié)　　
第12章 　基于Kinect的自主移動機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)　　
12.1 　KRobot項(xiàng)目簡介　　
12.2 　技術(shù)實(shí)現(xiàn)概述　　
12.3 　利用深度數(shù)據(jù)進(jìn)行攝像機(jī)標(biāo)定　　
12.4 　利用深度數(shù)據(jù)實(shí)現(xiàn)障礙規(guī)避　　
12.4.1 　獲取彩色圖和深度圖數(shù)據(jù)　　
12.4.2 　處理深度圖和深度數(shù)據(jù)　　
12.4.3 　制定障礙物判定規(guī)則　　
12.4.4 　制定機(jī)器人避障規(guī)則　　
12.5 　利用骨架數(shù)據(jù)實(shí)現(xiàn)人體跟蹤　　
12.6 　利用麥克風(fēng)進(jìn)行聲音定位　　
12.7 　完善人機(jī)交互演示系統(tǒng)　　
12.8 　小結(jié)　　
附錄A 　Kinect for Windows SDK類、結(jié)構(gòu)類型和枚舉類型

媒體關(guān)注與評論

除了為讀者介紹Kinect開發(fā)的相關(guān)知識外，書中通過大量篇幅分析了一些精挑細(xì)選的實(shí)際項(xiàng)目，這些項(xiàng)目給開發(fā)者提供了很好的開發(fā)方向和設(shè)計(jì)思路。從應(yīng)用的整體設(shè)計(jì)思路到具體的算法實(shí)現(xiàn)，每個項(xiàng)目都給出了實(shí)際開發(fā)中需要注意的地方，這值得開發(fā)者花精力去了解。——鄒欣，微軟首席研發(fā)經(jīng)理，《編程之美》作者 可以說，Kinect的誕生預(yù)示著一個全新的計(jì)算機(jī)應(yīng)用領(lǐng)域的開拓。本書將讀者群定位在具有極大創(chuàng)造力和實(shí)現(xiàn)能力的個人和企業(yè)開發(fā)者身上，詳細(xì)介紹了Kinect for Windows開發(fā)的方方面面，是有志投身該領(lǐng)域的開發(fā)者不可錯失的一本書。——馬寧，MVP，OpenXLive CTO 前些日子剛剛看到國內(nèi)能夠買到Kinect for Windows，感覺通過Kinect來控制電腦的革命性人機(jī)交互方式離我們的實(shí)際生活更近了。遍尋各大網(wǎng)上書店，沒有相關(guān)的中文開發(fā)資料，深感遺憾。本書的推出填補(bǔ)了國內(nèi)Kinect for Windows開發(fā)領(lǐng)域的空白。幸運(yùn)的是，我成為了本書的第一批讀者，原以為它可能就是官方SDK文檔的梳理，但隨著閱讀的深入，本書帶給了我極大的驚喜。它不僅僅停留在概念的闡述、基本功能的實(shí)現(xiàn)，更有吸引力的是它講述了從構(gòu)思、設(shè)計(jì)到實(shí)現(xiàn)一個Kinect交互應(yīng)用的完整過程，同時又對Kinect應(yīng)用的用戶友好性提出了真知灼見，極具參考價值?！緷琈VP，TechEd講師 這是一本很適合體感開發(fā)初學(xué)者閱讀的書。從Kinect for Windows開發(fā)環(huán)境的搭建，再到Kinect彩色圖像數(shù)據(jù)、深度圖像數(shù)據(jù)、骨骼追蹤數(shù)據(jù)、音頻數(shù)據(jù)的獲取與使用，以及人臉識別等，講解非常細(xì)致，知識體系非常完整。這本書是作者大量實(shí)踐經(jīng)驗(yàn)的結(jié)晶，相信對Kinect for Windows體感開發(fā)者會有很大的幫助，強(qiáng)烈推薦！——王峰，cnKinect.com創(chuàng)始人

編輯推薦

系統(tǒng)介紹Kinect體感交互技術(shù)的框架及原理詳盡解讀Kinect for Windows SDK的所有API的功能及其調(diào)用方法附帶大量示例代碼，可以隨書進(jìn)行實(shí)戰(zhàn)演練，具有很高的參考價值

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    Kinect人機(jī)交互開發(fā)實(shí)踐 PDF格式下載

---