- 資策會開發多模態AI技術,將老照片與語音生成個人化影音
- 已於花蓮門諾醫院失智家屋進行概念驗證,應用於懷舊治療
- 失智者佩戴手環感應身分後,投影幕自動播放專屬影片
- 院方監測腦波變化作為內容調整參考,最終需人工審核
- 今年將拓展至其他醫療照護場域,延伸至活動設計與復健輔助
資策會多模態AI技術助失智照護 老照片變影音重現回憶
發展中展開完整內容
(綜合中央社、聯合報等2家媒體報導)
資策會攜手創意金點科技,在數發部數產署支持下,歷時不到半年開發出「多模態即時數位場景生成技術應用服務」,已於花蓮門諾醫院失智家屋進行概念驗證(POC),應用於懷舊治療、認知促進及失智復健。
該技術整合多種形式的資訊與輸出內容,可輸入照片、語音與文字敘事,AI處理端結合語意分析、圖像生成、影音生成及影音口型同步等技術,輸出影像、語音、影音或具脈絡的數位情境內容。資策會人工智慧研究院資深策略總監洪毓良舉例,失智者若有一張與孫子出遊的照片,再提供照片中人物平時的語音、出遊日期與情境等資訊,即可生成一段短影音。
在花蓮門諾醫院失智家屋,失智者佩戴具定位功能的手環,走進視聽室後系統感應身分,投影幕便播放個人專屬影片,內容包括紅葉少棒隊比賽、布袋戲片段等,相關版權均已由院方取得。失智者的個人素材也取得家屬授權,並依目的限定與最小、必要原則使用。
資策會人工智慧研究院副主任黃婉茹分享,失智照護重視個人生命經驗,曾有失智老師傅走進腳踏車修車廠,雖已忘記自己的身分及所在位置,看到熟悉的工作環境後仍開始動手修車。對失智者而言,熟悉的人事物可作為互動起點,照護人員可依當下狀態引導回憶、對話與情緒表達。
洪毓良表示,失智者觀看數位內容時,院方會進行腦波監測,相關反應可作為後續內容製作參考。他強調,生成的內容最後一關仍須人工審核,避免造成失智者情緒低落。目前第一線照護人員回饋,失智者觀看個人化影片後較願意溝通、活動,部分失智者獲得鼓舞後也較願意投入復健。
黃婉茹指出,今年將拓展至其他醫療照護場域,有望將日照中心歌唱、體適能等課程結合生成式AI影音,作為帶領長者活動的輔助工具,讓這套技術不僅用於失智照護,也能延伸至個別化活動設計、復健輔助等。
系統持續蒐集本事件新進文章,資訊充足時將整合至下一份追蹤報導