📡 WaveControl 隔空手势控制系统

一套融合手势识别与语音控制的非接触式人机交互系统，包含主控制平台、手语学习平台 WaveSign、赛车游戏控制模块三大子系统，致力于打造自然、高效、多场景适配的“举手即控”体验。

项目简介

在厨房、医疗、演讲等“无法触控”或“不便触控”的环境中，传统鼠标/键盘交互模式效率低、操作受限。WaveControl以此为切入点，构建了一个基于摄像头识别的隔空控制系统，融合手势识别与语音识别，实现对系统级输入（键盘/鼠标）、手语教学以及游戏控制等功能。

项目采用模块化架构设计，包含三大子系统：

1. 主控制平台：支持窗口操作、媒体控制、鼠标替代、游戏映射等功能
2. 赛车游戏交互系统：实现与《Rush Rally Origins》等赛车游戏的隔空手柄交互
3. WaveSign 手语通：面向听障人群的手语学习与社区互动平台

项目测试文档

技术架构

层级	技术方案
前端	vue3 + TypeScript +HTML + CSS + Tailwind CSS + JavaScript + PySide2（Qt GUI）
后端	Django 4.x（主平台 + 手语通） + Python 脚本逻辑（游戏控制）
手势识别	MediaPipe Hand Landmarker
虚拟设备控制	键盘鼠标模拟、vgamepad 虚拟手柄（XInput）
数据处理	Kalman Filter（手势抖动滤波）、SQLite3 数据库

模块介绍

1️⃣ 主控制平台（WaveControl）

✌️ 功能特色

• 多种预设手势操作（点击、滚动、后退等）
• 手势范围调节与自定义手势库
• 支持语音识别辅助控制
• 界面直观，状态反馈实时

🎯 应用场景

• 📺 沙发上追剧时，不再找遥控器，用手势暂停/快进
• 👨‍🏫 教学/演讲中，用手势控制 PPT 流畅翻页
• 🧑‍🍳 厨房做饭时，隔空查食谱不怕弄脏设备
• 🏥 医疗/无菌操作室中，非接触式操作电脑界面
• 🕹️ 游戏中挥手即控，沉浸感倍增

🖼️ UI 示例

• 控制主面板（准确率/响应时间/识别窗口）
• 手势管理面板（快捷操作映射设置）

2️⃣ 游戏控制模块

🔗 项目演示：游戏控制项目演示视频

🎮 目标：无需实体手柄，通过摄像头即可玩赛车游戏！

适配游戏：Steam平台《Rush Rally Origins》及支持 Xbox手柄的其他游戏

实现要点：

功能	技术说明
摄像头识别	OpenCV + MediaPipe
手势控制映射	👍右手拇指上扬 = 加速 👍左手 = 刹车 ✋左倾 = 左转，右倾 = 右转
虚拟手柄接口	vgamepad + XInput
抖动滤除	Kalman 滤波器平滑动作
UI反馈	PySide2 构建调试窗口

3️⃣ 手语通子项目：WaveSign

🔗 项目演示：手语通项目演示视频

项目定位：帮助听障人群及其家人朋友学习、练习、交流手语的综合平台

功能模块：

• ✅ 手语教学与评分系统：上传视频或用摄像头练习手语动作，系统打分反馈
• 🗺️ 课程地图与互动练习：任务式学习，配合卡片式巩固练习
• 👥 社区交流：发帖、评论、点赞、关注等功能
• 📅 日程管理：内置待办事项与日历，辅助学习安排
• 🧭 生活服务：
  • 出行导航（结合地图与实时提醒）
  • 辅助器具推荐
  • 就业信息推送
  • 无障碍亲子/技能活动预告

技术实现：

• Django + SQLite 构建用户系统与服务逻辑
• 使用 MediaPipe 实时评分用户手语表现
• 前端页面响应式 + 卡片式交互体验

项目成员

王云岱 朱子玥 杨嘉莉

📌 项目进度

• ✅ 第一轮：系统原型 + UI设计 + 手势识别框架
• ✅ 第二轮：主平台功能实现 + 手势控制实现
• ✅ 第三轮：打通语音识别 + 游戏交互控制 + 手语通平台初步实现
• ✅ 第四轮：赛车游戏交互实现 + 手语通平台完整搭建
• 🧪 第五轮：综合测试 + 用户体验调优 + 结项演示