出版時間:2012-11-20 出版社:機械工業(yè)出版社華章公司 作者:余濤 頁數(shù):337
Tag標簽:無
前言
推薦序一人機交互的發(fā)展過程就是從人適應(yīng)計算機到計算機不斷地適應(yīng)人的發(fā)展過程。人機交互的發(fā)展經(jīng)歷了早期的手工作業(yè)階段、作業(yè)控制語言及交互命令語言階段、圖形用戶界面(GUI)階段、網(wǎng)絡(luò)用戶界面階段、多通道與多媒體的智能人機交互階段。伴隨人機交互的發(fā)展,人機交互的輸入與輸出設(shè)備也在不斷地發(fā)展,從鼠標、鍵盤、手柄到觸摸屏,再到現(xiàn)在的體感傳感器。而體感交互技術(shù)又是目前人機交互技術(shù)中最為前沿和熱門的領(lǐng)域之一,這其中基于微軟Kinect的應(yīng)用開發(fā)卻又最為廣泛。對于國內(nèi)眾多的體感開發(fā)初學(xué)者和體感愛好者而言,本書是一本非常優(yōu)秀的入門讀物。本書內(nèi)容涵蓋對自然人機交互技術(shù)應(yīng)用的介紹,Kinect硬件設(shè)備構(gòu)造與原理的分析,Kinect SDK for Windows開發(fā)環(huán)境的搭建, Kinect SDK for Windows的詳細講解,Kinect交互設(shè)計的一些理念,以及Kinect在視覺、聲音、3D等多方面的案例開發(fā)。其中涉及Kinect多點觸摸、虛擬現(xiàn)實、增強現(xiàn)實、動作捕捉、3D重建、機器人控制等多種應(yīng)用場景。本書的編寫以國內(nèi)廣大體感開發(fā)者的需求為依據(jù),從而使讀者能夠更深入地理解體感技術(shù)的應(yīng)用場景。本書具有以下特點:由淺入深地引導(dǎo)開發(fā)者;實操性很強;創(chuàng)新與實戰(zhàn)相結(jié)合;圖文并茂;有很多珍貴的參考數(shù)據(jù)。因此本書不失為一本很好的Kinect體感開發(fā)工具書。祝廣大讀者通過對本書的學(xué)習(xí)能早日步入體感行列,開發(fā)出自己的體感應(yīng)用!王峰Cnkinect.com創(chuàng)始人,體感工場(北京)科技有限公司CEO和創(chuàng)始人。推薦序二我知道余濤,是因為一起參加了微軟HR組織的員工活動。我受邀分享南極經(jīng)歷,他分享21天從成都武侯祠騎行至拉薩的經(jīng)歷。當時我就在想,這個人不簡單,是個有夢想、能堅持的奇人。這次余濤寄來書稿,更加證實了我的判斷:有夢想能堅持,居然寫了本這么厚的編程指導(dǎo)書。他說,“Kinect喚回我Coding的激情”。是的。Kinect喚回了很多人的激情。與其說這是一本編程指導(dǎo)書,不如說是一本用作者的創(chuàng)造力喚醒大家想象力的夢想指南書。作者向大家展示了Kinect帶給大家的無限可能?,F(xiàn)在不少的編程人員,可能都是從基于Windows的Visual系列開始學(xué)起的,已經(jīng)把圖形界面和鼠標操作當成理所當然的。作為1985年被鄧小平爺爺“學(xué)電腦要從娃娃抓起”一聲號召之下就開始學(xué)電腦的我來說,深知“史前”編程和用戶交互的不易。在很早的時候,我們只能用“機器語言”和電腦交互。那個時代,是人去理解電腦,并用0和1的指令告知電腦人們希望它去完成的事情。后來雖然有所發(fā)展,有了匯編語言、C語言等,但是和電腦談話,還只是專業(yè)人士的工作。所以你可能還記得,要穿白大褂、換鞋進入電腦機房的時代。后來,施樂悄悄地發(fā)明了圖形操作界面和鼠標。施樂并不明白這個發(fā)明有多偉大,比爾蓋茨和史蒂夫喬布斯看到了,開發(fā)出了著名的Windows和Macintosh操作系統(tǒng)。自此以后,普通的人都可以用更加平等的方式和電腦交流了,而電腦也一下子平易近人起來。比爾“每個人的桌面上都有一臺電腦”的夢想,最終得以實現(xiàn)。但是,這還不夠。今天,幾乎和鼠標一樣偉大的人機交互方式—“Kinect體感”被發(fā)明了!這非常令人激動,因為電腦從此以后就可以通過觀察人的動作、聆聽人的聲音,來理解人的指令,更加自然地和人交流了。我們把這種操作界面稱為自然用戶界面(NUI)。若干年后,我想大家會理解,Kinect會是多么偉大的一項嘗試。而作者也同樣嘗試著在這個重要的時間點上,用自己的書點亮大家對未來的想象,幫助大家成為未來NUI的領(lǐng)導(dǎo)者。這本書里提到的例子都非常有趣。人類對更加智慧的人機交互方式的探索永遠不會停止,你同樣會看到用聲音、用自然語言、用眼球交互的各種嘗試。但是,所有這些基礎(chǔ)的技術(shù)創(chuàng)新,都需要像你們這樣的夢想家,只有你們在各個領(lǐng)域發(fā)揮最令人驚嘆的想象力,才能開發(fā)出獨特的應(yīng)用,改良生產(chǎn),改善生活。預(yù)祝每一個認真閱讀本書的人都是未來的學(xué)者、未來的成功者!劉潤微軟戰(zhàn)略合作總監(jiān),捐獻時間公益組織創(chuàng)始人,香港百仁基金特邀會員,福布斯中文網(wǎng)專欄作家,愈奇投資合伙人,《2012,買張船票去南極》的作者。前言為什么要寫這本書Kinect以Natal為開發(fā)代號在CES2010一亮相就光芒四射。發(fā)布會上那段視頻令我印象深刻:你可以用身體自如地進行游戲,而且無需任何控制器。也許就在那一刻,全世界的很多技術(shù)愛好者都在想:“我們還可以用Kinect干點什么呢?”我將這段視頻轉(zhuǎn)發(fā)給復(fù)旦大學(xué)附屬中山醫(yī)院的陰憶青博士。他看完后敏銳地問道:“是否可以基于Kinect開發(fā)手術(shù)室的應(yīng)用?”那時Kinect還未正式發(fā)布,但這個念頭著實讓我興奮不已。我們似乎已經(jīng)進入了這樣一個時代:計算機已逐漸擁有與人類媲美的感知能力—它們能看到、觸摸到、感覺到我們所處的地點和運動狀態(tài)??苹秒娪般y幕中的場景,正逐步出現(xiàn)在我們的身邊,并成為生活中的一部分。Kinect正是在這樣的背景中誕生的,人機交互從二維世界擴展到三維空間,而且是非接觸的交互體驗(Touch-Free)。Kinect也許會成為第三次人機交互革命的原點。2011年春天,我從美國買了一臺Xbox 360 Kinect套裝?!澳愕纳眢w就是控制器”,Kinect for Xbox的廣告詞如雷貫耳。為了滿足好奇心,我開始搜集Kinect技術(shù)及其原理的相關(guān)信息,網(wǎng)絡(luò)上的討論也逐漸升溫。我閱讀了New Scientist網(wǎng)站上的一篇博文《Inside the race to hack the Kinect 》,其中講述了破解Kinect的全過程。這是一次有懸賞的技術(shù)競賽,黑客們通過USB記錄儀截獲了Kinect與主機之間通信的所有數(shù)據(jù),整個破解過程就是一個逆向工程。微軟似乎默許了這樣的黑客行為。與此同時,關(guān)于Kinect的各類創(chuàng)意在網(wǎng)絡(luò)上如同雨后春筍一般涌現(xiàn)出來,比如用Kinect給四旋翼飛行航模配上“導(dǎo)航雷達”、制作寵物狗看護機器人、在空氣中彈吉他、利用Kinect制作倒車雷達系統(tǒng),或是用來玩經(jīng)典游戲《超級馬里奧兄弟》。“向Xbox 360中增加Kinect,就像是給一艘潛水艇配備了聲納設(shè)備一樣”,這是我特別喜歡的一句評論。Kinect還引發(fā)了無盡的想象和創(chuàng)意,讓人躍躍欲試。2011年初夏,微軟順水推舟發(fā)布了Kinect for Windows SDK beta1版本,相比開源社區(qū)的工作的確有些姍姍來遲。這期間,我試著寫了幾個簡單的應(yīng)用,除了SDK幫助文檔外,開發(fā)資料乏善可陳,相關(guān)英文書籍也未出版。那個夏天,我騎車遠行了一次,從成都到拉薩。路上我萌發(fā)了一個念頭—寫一本原創(chuàng)書。當年秋天,我在杭州參加QCon2011大會,席間我與好友(淘寶架構(gòu)師鐵輪)對寫書的想法進行了深入討論。會后我正式明確了寫作方向,那時Kinect for Windows SDK beta2版本已經(jīng)發(fā)布了。我閱讀了Jamie Shotton和Alex Kimpman等人聯(lián)合寫的那篇重要論文《Real-Time Human Pose Recognition in Parts from Single Depth Images》,之后關(guān)于Kinect的實現(xiàn)機制豁然開朗。之后的業(yè)余時間,我都會跟蹤Kinect技術(shù)的一些動態(tài)發(fā)展,并搜集整理資料。與此同時,Kinect自然人機交互技術(shù)也逐步成為我和企業(yè)用戶溝通的一個有趣話題。我發(fā)現(xiàn),除了醫(yī)療領(lǐng)域外,教育、銀行、航空、廣告等領(lǐng)域也都對這項技術(shù)表現(xiàn)出濃厚的興趣?;诖?,我對整個書稿原目錄的構(gòu)思做了調(diào)整,除了原理、SDK開發(fā)基礎(chǔ)和實例外,將整理更多關(guān)于Kinect在企業(yè)級應(yīng)用的創(chuàng)意,并且從人機交互技術(shù)的角度思考它的商業(yè)價值。2012年春節(jié)前,我有幸認識了機械工業(yè)出版社華章公司的楊福川先生,期間郵件往來,討論了本書的定位及大綱。春節(jié)過后,微軟很快正式發(fā)布了Kinect SDK v1.0版本。當時我正在美國出差,順路在Belleville的Microsoft Store里買了Kinect for Windows傳感器。同時,我也正式開始了本書的編寫。本書從構(gòu)思到成稿,差不多跨越了Kinect for Windows SDK beta1、beta2、v1.0到v1.5四個版本。寫作主要集中在beta2到v1.5發(fā)布前的一段時間。Kinect技術(shù)還在不斷發(fā)展,本書作為一本開發(fā)入門書籍,希望能給國內(nèi)Kinect技術(shù)愛好者們一些啟發(fā)。如能激發(fā)出一些新的創(chuàng)意,那將是件極有意義的事情。希望閱讀本書能讓你感到愉快并有所啟發(fā)。
內(nèi)容概要
本書由微軟資深企業(yè)架構(gòu)師兼Kinect應(yīng)用開發(fā)專家親自執(zhí)筆,既系統(tǒng)全面地講解了Kinect技術(shù)的工作原理,又細致深入地講解了Kinect交互設(shè)計、程序開發(fā)和企業(yè)應(yīng)用展望。全書不僅包含大量實踐指導(dǎo)意義極強的實戰(zhàn)案例,還包含大量建議和最佳實踐,是學(xué)習(xí)Kinect
for Windows應(yīng)用開發(fā)不可多得的參考書。
本書分為八大部分:準備篇(引言和第1章),從科幻電影的自然人機交互技術(shù)談起,同時針對虛擬現(xiàn)實、增強現(xiàn)實、多點觸摸、語音識別、眼球跟蹤、人臉識別、體感操作、腦機界面等人機交互技術(shù)的最新發(fā)展動態(tài),結(jié)合一些生動例子進行了說明;原理篇(第2~3章),深入剖析了Kinect的硬件組成,從原理上分析了Kinect的工作機制,并從計算機視覺技術(shù)角度重點分析了“體感操作”背后發(fā)生的一切;基礎(chǔ)篇(第4~5章),對Kinect
for Windows
SDK進行了框架性的導(dǎo)讀,并對Kinect自然人機交互的設(shè)計提出了有益的歸納和建議;開發(fā)篇(第6~9章),本篇從Kinect的開發(fā)環(huán)境準備談起,內(nèi)容包括了視頻數(shù)據(jù)、深度數(shù)據(jù)、骨骼跟蹤等開發(fā)示例,其中還包含一個用Kinect測量身高的有趣示例;實例篇(第10~16章),通過介紹一些生動有趣的應(yīng)用示例(《超級馬里奧兄弟》、《水果忍者》等)的開發(fā),幫助讀者快速開發(fā)入門;進階篇(第17~19章),包括姿態(tài)識別和手勢識別的算法實現(xiàn),Kinect技術(shù)結(jié)合3D技術(shù)的應(yīng)用,同時結(jié)合Kinect在手術(shù)室的原型應(yīng)用這一綜合示例,將交互設(shè)計、骨骼跟蹤、手勢識別、語音識別等關(guān)鍵點“串燒”起來;展望篇(第20~22章),匯集Kinect應(yīng)用的相關(guān)創(chuàng)意和奇思妙想,以及Kinect在醫(yī)療、教育、動作捕捉、虛擬現(xiàn)實、增強現(xiàn)實、動漫設(shè)計乃至冰川研究等諸多領(lǐng)域的發(fā)展前景;附錄A是關(guān)于Kinect
SDK命名空間Microsoft
Kinect的詳細介紹;附錄B是關(guān)于自然人機交互技術(shù)、計算機視覺技術(shù)的相關(guān)開源社區(qū)動態(tài)的介紹。
作者簡介
余濤 (網(wǎng)名fishking1979)企業(yè)應(yīng)用架構(gòu)師(Enterprise
Architect)、PMI認證項目管理師(PMP),目前就職于微軟中國。熱衷于Kinect技術(shù),致力于推廣Kinect體感技術(shù)在企業(yè)領(lǐng)域的應(yīng)用。擁有12年以上的軟件行業(yè)經(jīng)驗,有豐富的大型軟件項目設(shè)計、開發(fā)、管理經(jīng)驗,為醫(yī)療、智能交通、能源、汽車等企業(yè)級客戶提供架構(gòu)及咨詢服務(wù)。業(yè)余愛好旅行、山地車運動和電影。
書籍目錄
推薦序一
推薦序二
前 言
第一部分 準備篇
引 言 從科幻電影談起
第1章 自然人機交互技術(shù)漫談
1.1 自然人機交互技術(shù)的發(fā)展
1.1.1 第六感設(shè)備:技術(shù)的組合創(chuàng)新
1.1.2 追影技術(shù):攝像頭也瘋狂
1.1.3 虛擬現(xiàn)實:真實的體驗場景
1.1.4 增強現(xiàn)實:真實與虛擬的疊加
1.1.5 多點觸摸:信息就在指尖
1.1.6 語音識別:從ViaVoice到Siri
1.1.7 眼球跟蹤:從霍金的座椅談起
1.1.8 人臉識別:Photo DNA
1.1.9 體感操作:達芬奇手術(shù)機器人
1.1.10 腦機界面:霍金座椅的升級版
1.2 “你就是控制器”—Kinect宣言
1.2.1 Kinect銷售記錄及命名來歷
1.2.2 未來照進現(xiàn)實
第二部分 原理篇
第2章 揭開Kinect的神秘面紗—硬件設(shè)備解剖
2.1 兩款Kinect傳感器對比
2.2 Kinect傳感器的硬件組成
2.2.1 Kinect的“心臟”—PS1080 SoC
2.2.2 Kinect的“三只眼”—投影機和兩個攝像頭
2.2.3 Kinect的“四只耳朵”—麥克風(fēng)陣列
2.2.4 會搖擺的“相控雷達”—傳動馬達
2.2.5 姿態(tài)控制—三軸加速度計
2.2.6 USB接口及電源
2.2.7 Kinect風(fēng)扇控制
2.3 Kinect相關(guān)技術(shù)規(guī)格
2.3.1 Kinect近景模式
2.3.2 Kinect放大鏡
2.4 本章小結(jié)
第3章 Kinect工作原理大揭秘
3.1 Kinect for Xbox 360的產(chǎn)品設(shè)計
3.2 基于“管道”的系統(tǒng)架構(gòu)
3.2.1 骨骼跟蹤
3.2.2 動作識別
3.2.3 人臉識別
3.2.4 語音識別
3.3 Kinect眼里的三維世界
3.3.1 深度數(shù)據(jù)是Kinect的精髓
3.3.2 2D視覺與3D視覺
3.4 深度圖像成像原理
3.4.1 ToF光學(xué)測距與結(jié)構(gòu)光測量
3.4.2 Light Coding技術(shù)
3.4.3 激光散斑原理
3.4.4 光源標定
3.5 從深度圖像到骨骼圖
3.5.1 動靜分離,識別人體
3.5.2 人體部位分類
3.5.3 從人體部位識別關(guān)節(jié)
3.5.4 會“機器學(xué)習(xí)”的“Kinect大腦”
3.5.5 骨骼跟蹤的精度和效率
3.6 創(chuàng)建你的Avatar
3.6.1 “有骨有肉”
3.6.2 泊松方程噪聲濾除
3.6.3 粗糙變平滑、缺陷自動補齊
3.7 本章小結(jié)
第三部分 基礎(chǔ)篇
第4章 Kinect for Windows SDK導(dǎo)讀
4.1 什么是Kinect SDK
4.1.1 Kinect SDK的發(fā)展歷程
4.1.2 SDK v1.5的新特性
4.1.3 SDK v1.5尚未提供的API
4.1.4 從底層進行封裝
4.2 Kinect for Windows體系架構(gòu)
4.3 應(yīng)用層API詳解
4.3.1 Kinect的核心NUI API
4.3.2 Kinect Audio DMO
4.3.3 Windows Speech SDK
4.4 數(shù)據(jù)流概述
4.4.1 彩色圖像數(shù)據(jù)
4.4.2 用戶分割數(shù)據(jù)
4.4.3 深度圖像數(shù)據(jù)
4.4.4 如何獲取數(shù)據(jù)流
4.5 骨骼跟蹤
4.5.1 骨骼信息檢索
4.5.2 主動跟蹤和被動跟蹤
4.5.3 骨骼跟蹤對象選擇
4.6 NUI坐標轉(zhuǎn)換
4.6.1 深度圖像空間坐標
4.6.2 骨骼空間坐標
4.6.3 坐標變換
4.6.4 傳感器陣列和傾斜補償
4.6.5 地面測量
4.6.6 骨骼鏡像
4.7 本章小結(jié)
第5章 Kinect用戶交互設(shè)計的若干思考
5.1 Xbox 360 Kinect Hub界面和Metro風(fēng)格
5.1.1 什么是Metro風(fēng)格
5.1.2 Kinect Hub手勢原型設(shè)計
5.1.3 “懸停選擇”和“翻頁控制”
5.2 體感游戲的優(yōu)勢及局限性
5.2.1 更多的自由度
5.2.2 關(guān)節(jié)點重疊的處理辦法
5.2.3 情感因素和心理暗示
5.2.4 Kinect體感操作的局限性及對策
5.3 用戶交互的趨勢和新特性
5.3.1 Kinect使交互“柔軟化”
5.3.2 用戶交互設(shè)計也可能是一項專利
5.4 Kinect“體感操作”交互設(shè)計的七條軍規(guī)
5.4.1 控制手勢集符合人類自然手勢
5.4.2 讓用戶的肢體移動幅度盡可能小
5.4.3 操作界面的對象采用Metro風(fēng)格
5.4.4 “確認操作”保持簡單、一致
5.4.5 手勢操作盡可能在同一個平面內(nèi)
5.4.6 從三維的視角去看交互設(shè)計
5.4.7 配有簡單明了的手勢說明
5.5 本章小結(jié)
第四部分 開發(fā)篇
第6章 開發(fā)前的準備工作
6.1 開發(fā)Kinect應(yīng)用所需的技能
6.2 系統(tǒng)要求
6.3 下載和安裝Kinect SDK
6.3.1 Kinect for Windows SDK v1.5
6.3.2 Developer Toolkit
6.3.3 Kinect快速開發(fā)工具箱
6.3.4 XNA開發(fā)環(huán)境
6.4 加載驅(qū)動、檢驗及測試
6.5 配置開發(fā)環(huán)境
6.6 要點和故障排除
6.7 本章小結(jié)
第7章 Hello,Kinect!
7.1 一行代碼的“Hello, Kinect!”
7.1.1 創(chuàng)建WPF工程
7.1.2 添加KinectDiagnosticViewer控件
7.1.3 編寫一行代碼
7.1.4 編譯運行
7.2 控制臺界面HelloKinectMatrix
7.2.1 創(chuàng)建Console工程
7.2.2 編寫代碼
7.2.3 運行效果
7.3 KinectContrib快速工程模板
7.4 KinectWpfViewers工具控件
7.5 本章小結(jié)
第8章 Kinect開發(fā)循序漸進
8.1 一個簡單的編程模型
8.1.1 初始化、啟用Kinect設(shè)備
8.1.2 彩色圖像流事件處理
8.1.3 深度數(shù)據(jù)捕獲
8.1.4 骨骼跟蹤
8.1.5 關(guān)閉Kinect設(shè)備
8.1.6 Kinect設(shè)備狀態(tài)管理及異常處理
8.2 更專業(yè)的深度圖
8.2.1 改進轉(zhuǎn)換方法
8.2.2 事件處理
8.3 控制Kinect仰角
8.3.1 “你的塑身”游戲
8.3.2 垂直調(diào)整Kinect仰角
8.4 本章小結(jié)
第9章 Kinect深度數(shù)據(jù)測量技術(shù)及應(yīng)用
9.1 什么是Kinect視角場
9.2 深度值與實際距離的對比
9.3 深度圖像的直方圖
9.3.1 直方圖統(tǒng)計信息的價值
9.3.2 深度圖像直方圖的意義
9.4 Kinect深度數(shù)據(jù)測量的應(yīng)用
9.4.1 近景模式:自動鎖屏工具
9.4.2 Kinect視角場幾何推導(dǎo):測量人體身高
9.4.3 近距離探測:制作地形電子沙盤
9.5 本章小結(jié)
第五部分 實例篇
第10章 用Kinect表演“變臉”
10.1 在人的面部變換臉譜
10.2 代碼實現(xiàn)
10.2.1 WPF工程、控件及初始化
10.2.2 骨骼跟蹤
10.2.3 變臉及坐標變換
10.3 合理暫停骨骼跟蹤
10.4 道具平滑跟隨
10.5 調(diào)整幕布大小
10.6 練習(xí)作業(yè)
第11章 用Kinect喚起“紅白機”的回憶
11.1 用身體控制馬里奧
11.2 代碼實現(xiàn)
11.2.1 WPF工程、控件及初始化
11.2.2 模擬鍵盤輸入工具類
11.2.3 肢體語言映射到鍵盤事件
11.3 副產(chǎn)品:PPT演示“空手道”
11.4 練習(xí)作業(yè)
第12章 用Kinect玩PC版的《水果忍者》
12.1 空氣鼠標設(shè)計思路
12.1.1 找到離Kinect最近的那個人
12.1.2 兼容左手習(xí)慣和右手習(xí)慣
12.1.3 從骨骼坐標系到鼠標坐標系
12.1.4 模擬鼠標工具類
12.1.5 讓“空氣鼠標”移動自如
12.1.6 模擬鼠標左鍵事件
12.2 在PC中用Kinect玩《水果忍者》
12.2.1 核心代碼示例
12.2.2 如何雙手揮刀
12.3 更多游戲:《割繩子》
12.4 練習(xí)作業(yè)
第13章 創(chuàng)建你的Kinect Hub Demo界面
13.1 Metro風(fēng)格界面設(shè)計
13.2 使用Kinect骨骼跟蹤
13.3 使用Coding4Fun Kinect Toolkit開發(fā)加速器
13.4 懸停選擇
13.5 本章小結(jié)
第14章 用Kinect導(dǎo)播天氣預(yù)報
14.1 天氣預(yù)報是這樣煉成的
14.1.1 繪制幕布,定義前景圖片
14.1.2 對象定義及初始化
14.1.3 實現(xiàn)“畫中畫”效果
14.2 一些優(yōu)化的話題
14.2.1 使用Using及時回收資源
14.2.2 使用WriteableBitmap優(yōu)化圖片顯示性能
14.2.3 多線程和“輪詢模型”
14.2.4 使用中值濾波邊緣去噪
14.3 Kinect語音導(dǎo)播切換
14.3.1 引用Microsoft.Speech命名空間
14.3.2 音頻數(shù)據(jù)流和語音識別引擎
14.3.3 語音識別事件
14.4 本章小結(jié)
第15章 基于Kinect的家庭監(jiān)控系統(tǒng)
15.1 通過Kinect進行目標探測
15.2 使用計算機視覺庫
15.2.1 Open CV程序庫
15.2.2 Emgu CV引用
15.2.3 保存快照
15.2.4 錄制視頻
15.3 目標人體探測和影像錄制
15.4 擴展功能和更多應(yīng)用場景
15.5 本章小結(jié)
第16章 “Kinect牌”夢境錄音筆
16.1 Kinect音頻采集
16.1.1 使用音頻數(shù)據(jù)流
16.1.2 “波束跟蹤”信心值的另類用法
16.2 音頻錄制
16.2.1 WAV文件
16.2.2 WAVEFORMATEX結(jié)構(gòu)體
16.2.3 夢境錄音筆的實現(xiàn)
16.3 練習(xí)作業(yè)
第六部分 進階篇
第17章 再談姿態(tài)識別和手勢識別
17.1 姿態(tài)和手勢
17.2 動作與算法
17.2.1 如何設(shè)定動作集合
17.2.2 借鑒正則表達式和狀態(tài)機
17.2.3 轉(zhuǎn)換為幾何三角問題
17.3 常見手勢識別
17.3.1 揮手激活
17.3.2 懸停按鈕
17.3.3 磁石懸停
17.3.4 劃動手勢
17.3.5 滑動解鎖
17.3.6 推按鈕
17.3.7 通用暫停
17.4 工具介紹
17.4.1 動作錄制和識別GesturePak
17.4.2 手和手指的“空氣多點觸摸”
17.5 本章小結(jié)
第18章 Kinect在手術(shù)室的應(yīng)用原型
18.1 原型設(shè)計
18.2 交互設(shè)計
18.2.1 “懸停選擇”進行功能導(dǎo)航
18.2.2 “空氣鼠標”的激活和隱藏
18.2.3 通過“劃動”手勢翻閱醫(yī)學(xué)影像
18.2.4 放大、縮小醫(yī)學(xué)影像病灶部位
18.2.5 “垂直擺動”翻閱病歷
18.2.6 體感操作結(jié)合語音控制
18.3 體感操作的實現(xiàn)
18.3.1 基于SwipeGestureRecognizer
18.3.2 基于單個部位運動序列的軌跡分析匹配
18.3.3 基于多個部位姿態(tài)快照的狀態(tài)機匹配
18.4 利用SDK v1.5的新特性
18.4.1 近景模式下的上半身骨骼跟蹤
18.4.2 利用關(guān)節(jié)點朝向信息進行手勢識別和三維操作
18.4.3 人臉識別用于手術(shù)登錄驗證
18.4.4 調(diào)試工具Kinect Studio
18.5 本章小結(jié)
第19章 Hello,Kinect 3D World!
19.1 點、面、云
19.1.1 像素和彩色圖像幀
19.1.2 深度圖像幀和點云
19.1.3 多Kinect設(shè)備的接入
19.2 Kinect體感應(yīng)用開發(fā)工具簡介
19.2.1 軟件開發(fā)平臺XNA
19.2.2 游戲引擎Unity 3D
19.2.3 3D場景重建工具ReconstructMe
19.3 本章小結(jié)
第七部分 展望篇
第20章 奇思妙想—Kinect效應(yīng)
20.1 四旋翼飛行器的“導(dǎo)航雷達”
20.2 寵物看護機器人
20.3 空氣吉他
20.4 倒車雷達系統(tǒng)
20.5 Kinect購物車
20.6 魔術(shù)道具
20.7 本章小結(jié)
第21章 Kinect企業(yè)級應(yīng)用
21.1 思維導(dǎo)圖
21.2 體感操作應(yīng)用
21.2.1 手術(shù)室
21.2.2 體育運動競技研究
21.2.3 動作捕捉、CG動畫制作
21.2.4 虛擬試衣鏡
21.2.5 課堂
21.2.6 虛擬汽車展廳
21.2.7 管理你的銀行賬戶
21.2.8 聾啞人的同聲翻譯
21.3 深度數(shù)據(jù)應(yīng)用
21.3.1 老年人監(jiān)護
21.3.2 康復(fù)訓(xùn)練
21.3.3 家庭監(jiān)控系統(tǒng)
21.3.4 道路交通稽查
21.3.5 冰川消融研究
21.3.6 給宇航員稱體重
21.4 實物3D建模應(yīng)用
21.4.1 實物3D數(shù)字化
21.4.2 文物3D模型“數(shù)字敦煌”計劃
21.4.3 3D掃描和打印
21.5 機器人視覺與控制
21.5.1 地震搜救機器人
21.5.2 深海探測機器人
21.5.3 工程機械臂控制
21.6 本章小結(jié)
第22章 下一代人機交互技術(shù)
22.1 下一代Kinect技術(shù)若干猜想
22.2 未來驚鴻一瞥
第八部分 附錄
附錄A Kinect SDK命名空間速查手冊
附錄B 推薦閱讀及網(wǎng)絡(luò)資源
后記
參考資料
章節(jié)摘錄
版權(quán)頁: 插圖: 3.2.3人臉識別 人臉識別是整個身份識別中最重要的一個組成部分,你的身份證、駕照或是畢業(yè)證上無一不記錄了你的臉部照片。作為傳奇人物,拿破侖在指揮作戰(zhàn)中,不僅能準確地記住他的各個部隊的具體戰(zhàn)斗位置,而且能記住許多士兵的姓名和面容。 Kinect也將擁有如此博聞強識的本領(lǐng),它能區(qū)分不同玩家、快速識別玩家的身份,從而提供更為個性化的體驗,比如記住你上次聽過的歌曲,或者最近玩過的游戲。通過人臉識別實現(xiàn)的個性化體驗已經(jīng)成為游戲體驗的一部分,神奇之處恰恰在于你并沒有做任何事情,你只是站在那里,Kinect通過人臉識別就知道你是誰,如圖3—11所示。 “人臉識別”與“骨骼跟蹤”類似,第一步首先定位人臉的存在,其次基于人的臉部特征,對輸入的人臉圖像或者視頻流進行進一步的分析,包括臉的位置、大小和各個主要面部器官的位置信息,并依據(jù)這些信息,進一步提取每個人臉中所蘊涵的身份特征,并將其與已知的人臉進行對比,從而識別每個人的身份。 由于Kinect攝像頭分辨率僅為640×480,在1.8m及以上距離的情況下,攝像頭所能提供的面部的像素數(shù)據(jù)十分有限,并不適用于進行高維計算。另外,房間內(nèi)光線會變,玩家時而接近時而遠離Kinect,而且當玩家投入游戲時他們的面部表情也會改變,這些都會給人臉識別帶來影響。還有,由于環(huán)境光照、色溫和人表情的這種差異,會給人臉識別帶來噪聲。 目前,Kinect for Xbox的人臉識別采用了抽取人臉中層結(jié)構(gòu)特征的折中方式,但這種方法無法提供100%的準確識別率(大約為85%)。前面我們提到過,這種純二維的圖片識別算法也被應(yīng)用在Windows Live Photo Gallery中。同時,人臉識別還綜合了著裝的色彩以及玩家身高的分析,以幫助提高識別準確率。 抽象臉部特征作為Kinect的人臉識別的關(guān)鍵步驟。如果說Kinect骨骼跟蹤是給每個玩家穿上動作捕捉“Marker”點,那么人臉識別中的臉部特征分解這一環(huán)節(jié),恰恰就類似好萊塢電影面部捕捉的做法,如圖3—12所示。 人臉識別另外一個需要攻克的難點在于同一個人的變化。人的面部在不同照明、表情或姿勢等因素的影響下產(chǎn)生的差異有時讓對同一個人的識別產(chǎn)生不同的結(jié)果。 為了識別不同表情、不同光照條件下的人臉,聯(lián)想推測模型的第一步是構(gòu)建一個“通用”的人臉數(shù)據(jù)庫。
媒體關(guān)注與評論
期待不同領(lǐng)域的讀者會從本書中收獲不同的內(nèi)容:可以是對Kinect的深入了解,可以是很具體的開發(fā)方法,也可以是很前瞻的應(yīng)用模式。期待Kinect技術(shù)早日走向?qū)嵱茫?mdash;— 陰憶青 醫(yī)學(xué)博士/復(fù)旦大學(xué)附屬中山醫(yī)院計算機網(wǎng)絡(luò)中心主任兼普通外科主治醫(yī)師/上海市醫(yī)院協(xié)會信息管理專業(yè)委員會副主任委員Kinect讓人機互動變得簡單易行,從而打開了一扇互動之門?;叵攵嗄昵暗膭勇冻瑫r空要塞》中試衣的一個鏡頭:只要站到指定的位置,就能看到穿上這件衣服的效果。現(xiàn)在這一幕正逐漸走進現(xiàn)實中:足不出戶,就能“試穿”全世界的品牌時裝,甚至訂制尺寸,真正做到“我看見,我穿上”的效果。Kinect技術(shù)也許可以激發(fā)出電子商務(wù)和在線廣告應(yīng)用的新模式,讀完本書你可能會有新的思考。—— 鐵 輪(姚云蛟)淘寶網(wǎng)廣告技術(shù)資深架構(gòu)師
編輯推薦
《Kinect應(yīng)用開發(fā)實戰(zhàn):用最自然的方式與機器對話》由微軟資深企業(yè)架構(gòu)師兼Kinect應(yīng)用開發(fā)專家親自執(zhí)筆,專業(yè)社區(qū)及企業(yè)客戶聯(lián)袂推薦!系統(tǒng)講解Kinect工作原理、Kinect for Windows應(yīng)用開發(fā)、人機交互設(shè)計,以及商業(yè)價值展望,包含大量案例、技巧和最佳實踐。系統(tǒng)講解Kinect工作原理、Kinect 應(yīng)用開發(fā)、人機交互設(shè)計,包含大量案例、技巧和最佳實踐,版權(quán)輸出到臺灣。
圖書封面
圖書標簽Tags
無
評論、評分、閱讀與下載
Kinect應(yīng)用開發(fā)實戰(zhàn) PDF格式下載