蘋果在WWDC2020期間介紹了面向iOS14和macOSBigSur開發者的視覺框架更新，現已支持圖像和視頻中的人體與手部姿勢檢測。

應用程序可借此分析目標人物的姿勢、動作和手勢，為潛在的交互體驗開辟了更多的可能。由官方提供的示例可知，健身應用將可自動追蹤用戶是否有效地完成了鍛煉動作。

手勢檢測有望帶來用戶與App交互的新方式，比如安全培訓App可幫助員工檢查其是否學習到位、媒體編輯軟件亦可基于姿勢的相似性而找到對應的照片或視頻。

此外蘋果官方演示了一個人如何在半空中捏起拇指和食指，然后在不觸碰iPhone屏幕的情況下進行繪制。

App開發者能夠基于新的視覺框架，在比出特定手勢的用戶手上覆蓋顯示相應的圖形或表情符號。

或者在相機應用中引入這一功能，當檢測到用戶比出手勢時自動觸發拍照。

此前蘋果已經在ARKit中提供了類似的功能，但僅限于增強現實會議類應用，并且只能在兼容的iPhone或iPad設備上使用后置攝像頭來實現。

現在，新版視覺框架可在一個場景中檢測多只手或多人的身體動作。但在用戶佩戴了手套、彎腰、倒立、穿著長袍、靠近畫面邊緣、或部分被遮擋的情況下，效果有可能打一定的折扣。