作品名稱：音為手譯——基于加速度傳感器和語音識別技 術的手語翻譯系統
學校名稱：安康學院
參賽隊伍：手語先鋒隊
隊伍編號：199196
參賽學生：耿嘉鈺 徐澤慶 王子新
指導老師：崔智軍
投票日期：2024年10月08日 00:00->2024年12月05日 15:00
請在微信端進行投票。點此掃描二維碼。
聾啞人由于先天或后天的聽覺和言語能力缺失，導致他們與外界的有效交流方式是手語。但是當他們和健全人進行溝通時，會遇到各種各樣的困難。目前，能夠完成聾啞人和健全人之間的雙向交互系統的作用沒有達到理想效果：比如應用肌電信號用于聾啞人與健全人進行交互的設備，僅僅只能片面的反映手臂或者上肢神經肌肉的活動，它的識別率不怎么理想；而基于卷積神經網絡的聾啞人交互設備在復雜的環境下，識別率會受到影響。并且以上設備僅實現了聾啞人向健全人交流的過程，并未實現健全人向聾啞人交流的過程。
因此，本項目采用六軸加速度傳感器、手指彎曲傳感器并結合語音識別技術，設計了一種手語實時翻譯的聾啞人雙向交互系統。當聾啞人向健全人進行交流時，聾啞人做出手語動作，本系統的五個壓力傳感器采集每個手指彎曲的電壓信號，同時手背部的六軸加速度傳感器也會采集此時手部在X軸、Y軸、Z軸的傾角和加速度的變化。然后微處理器將采集到的數據進行預處理、特征提取并與預先建好的手勢庫樣本進行比對，實現手語的分類識別。最后通過語音合成模塊將系統識別到的手語播報出來，完成聾啞人與健全人進行交流的目的。
當健全人與聾啞人進行交流時，健全人對著語音識別模塊發出語音，語音識別模塊成功識別語音后向微控制器發送一個16進制指令，微控制器通過SPI通信協議讀取外部存儲器中與該16進制指令對應的手語動畫數據，最后通過TFT—LCD液晶顯示屏顯示與健全人發出語音相對應的手語動畫。完成健全人與聾啞人進行交流的目的。
最后，通過對手語實時翻譯的聾啞人雙向交互系統進行測試表明，本系統識別效果良好，具有較好的穩定性，有助于聾啞人更好地融入社會生活，提升其生活質量和社交能力。
