原標題:微軟研究員用HoloLens為視障人士帶來社交可能性 來源:砍柴網(wǎng)
據(jù)估計,全球各個年齡段的視障人士總數(shù)為2.85億,其中3900萬是盲人。為了向所述人群提供幫助,微軟于2016年啟動了由美國、英國、中國、日本和印度研究人員通力合作,并旨在探索可以幫助殘障人士與周圍世界交互的技術的東京計劃(Project Tokyo)。四年后,這個項目結出了又一個果實:微軟HoloLens頭顯的改良版本,其配備了可提供周圍環(huán)境人士信息的算法。
根據(jù)微軟的博文介紹,研究小組首先跟蹤了具有不同視力水平的運動員和觀眾從英國到巴西里約熱內(nèi)盧殘奧會的旅程,觀察所述人員在導航機場,參加運動場館和進行觀光等活動時是如何與他人互動。然后,東京計劃團隊的機器學習專家開發(fā)了上述算法,而這種可提供周圍人士信息的算法由與HoloLens對接的PC中的圖形處理單元執(zhí)行。另外,改良版的HoloLens移除了前端透鏡。
固定在HoloLens攝像帶上方的LED燈帶將追蹤最靠近用戶的人士,并在識別后變綠,從而告知通信伙伴或旁觀者知道他們已被看見或提示他們避讓。計算機視覺模型可以檢測環(huán)境中人員的姿態(tài),從而提供他們位于何處以及相距多遠的感覺。另一個模型則分析攝像頭的片段,從而識別人員并確定是否需要向系統(tǒng)告知其名字。
所有信息都通過音頻提示傳遞給佩戴者。例如,如果改良版HoloLens在用戶左側一米遠的位置檢測到一個人,它會發(fā)出一聲聽起來像是來自左側大致距離的咔嗒聲。如果識別出所述人士的臉部,它將發(fā)出另一種聲音,并且如果確認為已知的人士,系統(tǒng)將告知其姓名。另外,單獨的第二層聲音會將用戶引導面向所述人士的臉部。
當HoloLens的攝像頭對準所述人士的鼻子時,用戶會聽到尖銳的喀噠聲。如果知識所述人士,系統(tǒng)會向用戶告知其名字。用戶同時可以要求獲取概述,并獲取系統(tǒng)已識別人員的姓名的空間讀數(shù),并且當有人直接看著用戶時,系統(tǒng)可以發(fā)出空間警報聲。
微軟表示,他們正在使用縮小版技術來幫助盲人和弱視兒童開發(fā)社交能力。
微軟正在積極地為改善殘障人員的生活而努力。這家科技巨頭早前為相關社區(qū)帶來了旨在幫助弱視用戶導航周圍世界的移動應用Seeing AI,并在最近推出了使用雙耳音頻來幫助視障用戶構建思維導圖并在陌生空間中選擇個人路線的Soundscape。
通過于2018年5月宣布的AI for Accessibility,微軟承諾在未來五年內(nèi)向為殘疾人開發(fā)AI工具的大學,慈善組織以及其他機構開發(fā)提供2500萬美元資金。AI for Accessibility旨在通過每個財政季度的種子撥款和后續(xù)融資來獎勵在工作,生活和人際關系這三個類別中最具前景的候選項目。