臺科大研發智慧口語表達系統 幫抓重點、還能分析情緒

臺科大技職賦能研究中心陳素芬教授主持,並由數位學習與教育研究所曾厚強助理教授(右)與資訊工程系陳冠宇副教授(左)合作,結合衆多人工智慧技術,研發臺科大智慧型口語表達輔助系統。(臺科大提供/林縉明臺北傳真)

國立臺灣科技大學技職賦能研究中心團隊研發「智慧型口語表達輔助系統」,針對學生在口語表達上困境,結合衆多人工智慧技術,提供即時且多面向的練習回饋,協助學生從內容到情緒全面提升表達能力,獲得2025未來科技獎肯定。

「智慧型口語表達輔助系統」針對口語報告進行自動分析,並從內容難度、重點缺漏、語速與情緒等面向提供具體建議。只要透過電腦或行動裝置的網頁來進行錄音,系統便能在數秒內生成回饋,幫助他們反思不足並持續改進。操作流程相當直覺,使用者在練習前提供報告資料,系統會自動產生摘要協助掌握重點;接着進行報告時,系統會即時分析並提供回饋,需要改善之處一目瞭然。

臺科大指出,這項研究計劃由臺科大技職賦能研究中心陳素芬教授主持,並由數位學習與教育研究所曾厚強助理教授與資訊工程系陳冠宇副教授合作,結合衆多人工智慧技術,包含語音辨識、自然語言處理、資訊教育等技術專長,爲教育現場帶來創新與改變,研究成果未來可應用於教學現場和職業訓練。

此外,團隊自主研發三個模型,其中,可聽性模型能精準預測中文口語的理解難度,涵蓋學齡前至高中層級;情緒辨識模型則能分析報告過程中的情緒變化,曾在國際大型語音技術模型競賽(Interspeech)中取得佳績;大型語言模型則提供報告的內容是否有缺漏外,亦提供個別化、鼓勵式的回饋,降低學生在練習過程中的挫折感。

陳冠宇指出,過去語音辨識多半集中在一般情境,但學生在報告與面試時會使用更多專業術語,若模型沒有針對性訓練,往往容易辨識錯誤,進而影響後續的文字處理與回饋。「我們特別加強專業名詞的正確率,並蒐集大量語料來訓練,讓系統在專業場域中也能提供精準辨識。」陳冠宇說明,這也是研發上的挑戰之一,但團隊透過模型改良與語料擴增來克服難題。

曾厚強說,自己在求學與指導學生報告的過程中,常常看到「明明很有實力的學生,卻因爲不重視口頭報告、缺乏練習,導致成果大打折扣,真的很可惜」。他擔心這樣的狀況不僅影響學業,更可能阻礙未來的職涯發展與升遷機會。因此希望透過一套智慧系統,協助學生持續練習,提升自己的口語表達能力,更希望AI不是幫學生完成,而是促使學生反思,培養自主修正與調整的能力。

曾厚強表示,未來團隊將持續精進模型效能,並讓系統能夠產生更多樣化的回饋。除了教育領域,也看好此係統在面試訓練、簡報演練與企業培訓等應用潛力,期望協助更多人克服口語表達障礙,提升溝通力與競爭力。