.gitignore

@@ -1,3 +0,0 @@
-node_modules/
-src-tauri/
-~$项目测试结果.xlsx

.vscode/settings.json

@@ -0,0 +1,5 @@
+{
+    "python-envs.defaultEnvManager": "ms-python.python:conda",
+    "python-envs.defaultPackageManager": "ms-python.python:conda",
+    "python-envs.pythonProjects": []
+}

README.md

@@ -1,149 +1,2 @@
-# 📡 WaveControl 隔空手势控制系统
 
-> 一套融合**手势识别**与**语音控制**的非接触式人机交互系统，包含主控制平台、手语学习平台 WaveSign、赛车游戏控制模块三大子系统，致力于打造自然、高效、多场景适配的“举手即控”体验。
-
-
-
-## 项目简介
-
-在厨房、医疗、演讲等“无法触控”或“不便触控”的环境中，传统鼠标/键盘交互模式效率低、操作受限。**WaveControl**以此为切入点，构建了一个基于摄像头识别的隔空控制系统，融合手势识别与语音识别，实现对系统级输入（键盘/鼠标）、手语教学以及游戏控制等功能。
-
-项目采用模块化架构设计，包含三大子系统：
-
-1. **主控制平台**：支持窗口操作、媒体控制、鼠标替代、游戏映射等功能
-2. **赛车游戏交互系统**：实现与《Rush Rally Origins》等赛车游戏的隔空手柄交互
-3. **WaveSign 手语通**：面向听障人群的手语学习与社区互动平台
-
-
-
-## 测试信息
-
-本项目配套了完整的[测试文档](./项目测试文档.md)，涵盖以下子模块：
-
-- ✅ **主控制系统测试程序**：手势识别 → 键盘鼠标映射 → 交互反馈
-- ✅ **游戏控制测试程序**：手势实时识别 → 虚拟手柄信号发送 → 赛车游戏响应验证
-- ✅ **手语识别与打分测试程序**：摄像头实时捕捉动作 → MediaPipe评分 → UI动画与文本反馈
-- ✅ **用户交互测试**：社区发帖、点赞评论、任务管理、日程提醒等核心功能均有覆盖
-
-测试方式支持浏览器调试 + 控制台运行日志追踪，若遇白屏可通过 Chrome DevTools 检查模块加载或路径引用情况。
-
-
-
-## Git 分支说明
-
-| 分支名               | 描述                                                         | 跳转链接                                                     |
-| -------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
-| `master`             | 主分支，已完成整合，适用于演示与部署                         | [🔗 master 分支](https://gitee.com/wydhhh/software-engineering/tree/master/) |
-| `finalv1`            | 前后端初步融合尝试，手势 → 页面响应逻辑测试阶段              | [🔗 finalv1](https://gitee.com/wydhhh/software-engineering/tree/finalv1/) |
-| `finalv2`            | 完成手势识别与前端事件联动，页面按钮联动测试                 | [🔗 finalv2](https://gitee.com/wydhhh/software-engineering/tree/finalv2/) |
-| `finalv3`            | 增加语音识别、手势控制切换、音乐控制、手语平台接入、各子系统联调优化 | [🔗 finalv3](https://gitee.com/wydhhh/software-engineering/tree/finalv3/) |
-| `gesture`            | 手势识别逻辑独立开发模块                                     | [🔗 gesture](https://gitee.com/wydhhh/software-engineering/tree/gesture/) |
-| `gesture_for_chrome` | 针对 Chrome 插件开发的手势控制方案（PPT翻页）                | [🔗 gesture_for_chrome](https://gitee.com/wydhhh/software-engineering/tree/gesture_for_chrome/) |
-| `gesture-game`       | 初步游戏控制实验，控制小球移动                               | [🔗 gesture-game](https://gitee.com/wydhhh/software-engineering/tree/gesture-game/) |
-| `game_control`       | 控制《Rush Rally Origins》赛车游戏，已支持加速转向等         | [🔗 game_control](https://gitee.com/wydhhh/software-engineering/tree/game_control/) |
-| `wavesign`           | 手语通子系统开发主线，包括教学评分、社区、日程等             | [🔗 wavesign](https://gitee.com/wydhhh/software-engineering/tree/wavesign/) |
-| `web`                | 最初的网页原型设计，UI 静态草稿                              | [🔗 web](https://gitee.com/wydhhh/software-engineering/tree/web/) |
-| `screenshot`         | 手势控制截屏模块，用于快速抓取操作界面                       | [🔗 screenshot](https://gitee.com/wydhhh/software-engineering/tree/screenshot/) |
-| `vosk_inc`           | 接入 VOSK 实现语音识别与实时字幕展示                         | [🔗 vosk_inc](https://gitee.com/wydhhh/software-engineering/tree/vosk_inc/) |
-
-
-
-## 技术架构
-
-| 层级         | 技术方案                                                     |
-| ------------ | ------------------------------------------------------------ |
-| 前端         | vue3 + TypeScript +HTML + CSS + Tailwind CSS + JavaScript + PySide2（Qt GUI） |
-| 后端         | Django 4.x（主平台 + 手语通） + Python 脚本逻辑（游戏控制）  |
-| 手势识别     | MediaPipe Hand Landmarker                                    |
-| 虚拟设备控制 | 键盘鼠标模拟、vgamepad 虚拟手柄（XInput）                    |
-| 数据处理     | Kalman Filter（手势抖动滤波）、SQLite3 数据库                |
-
-
-
-## 模块介绍
-
-### 1️⃣ 主控制平台（WaveControl）
-
-##### ✌️ **功能特色**
-
-- 多种预设手势操作（点击、滚动、后退等）
-- 手势范围调节与自定义手势库
-- 支持语音识别辅助控制
-- 界面直观，状态反馈实时
-
-##### 🎯 应用场景
-
-- 📺 沙发上追剧时，不再找遥控器，用手势暂停/快进
-- 👨‍🏫 教学/演讲中，用手势控制 PPT 流畅翻页
-- 🧑‍🍳 厨房做饭时，隔空查食谱不怕弄脏设备
-- 🏥 医疗/无菌操作室中，非接触式操作电脑界面
-- 🕹️ 游戏中挥手即控，沉浸感倍增
-
-🖼️  **UI 示例**
-
-- 控制主面板（准确率/响应时间/识别窗口）
-- 手势管理面板（快捷操作映射设置）
-
-
-
-
-
-### 2️⃣ 游戏控制模块
-
-🔗 项目演示：[游戏控制项目演示视频](https://www.bilibili.com/video/BV1H5gLzsEn8?vd_source=46a0e2ec60dfb8a247c96905ee47d378)
-
-🎮 目标：**无需实体手柄，通过摄像头即可玩赛车游戏！**
-
-适配游戏：Steam平台《Rush Rally Origins》及支持 Xbox手柄的其他游戏
-
-**实现要点：**
-
-| 功能         | 技术说明                                                    |
-| ------------ | ----------------------------------------------------------- |
-| 摄像头识别   | OpenCV + MediaPipe                                          |
-| 手势控制映射 | 👍右手拇指上扬 = 加速 👍左手 = 刹车 ✋左倾 = 左转，右倾 = 右转 |
-| 虚拟手柄接口 | vgamepad + XInput                                           |
-| 抖动滤除     | Kalman 滤波器平滑动作                                       |
-| UI反馈       | PySide2 构建调试窗口                                        |
-
-
-
-### 3️⃣ 手语通子项目：**WaveSign**
-
-🔗 项目演示：[手语通项目演示视频](https://www.bilibili.com/video/BV1Fig5zHEhq?vd_source=46a0e2ec60dfb8a247c96905ee47d378)
-
-项目定位：帮助听障人群及其家人朋友学习、练习、交流手语的综合平台
-
-**功能模块：**
-
-- ✅ **手语教学与评分系统**：上传视频或用摄像头练习手语动作，系统打分反馈
-- 🗺️ **课程地图与互动练习**：任务式学习，配合卡片式巩固练习
-- 👥 **社区交流**：发帖、评论、点赞、关注等功能
-- 📅 **日程管理**：内置待办事项与日历，辅助学习安排
-- 🧭 **生活服务**：
-  - 出行导航（结合地图与实时提醒）
-  - 辅助器具推荐
-  - 就业信息推送
-  - 无障碍亲子/技能活动预告
-
-**技术实现：**
-
-- Django + SQLite 构建用户系统与服务逻辑
-- 使用 MediaPipe 实时评分用户手语表现
-- 前端页面响应式 + 卡片式交互体验
-
-
-
-## 项目成员
-
-王云岱 朱子玥 杨嘉莉
-
-
-
-## 📌 项目进度
-
-- ✅ 第一轮：系统原型 + UI设计 + 手势识别框架
-- ✅ 第二轮：主平台功能实现 + 手势控制实现
-- ✅ 第三轮：打通语音识别 + 游戏交互控制 + 手语通平台初步实现
-- ✅ 第四轮：赛车游戏交互实现 + 手语通平台完整搭建
-- 🧪 第五轮：综合测试 + 用户体验调优 + 结项演示
+一个基于 Python 的实时语音字幕显示程序，可以将用户的语音实时转换为屏幕上的字幕文本。支持中文和英文识别

requirements.txt

@@ -0,0 +1,3 @@
+vosk
+sounddevice
+numpy

sprint1/sprint1-planning.md

@@ -1,75 +0,0 @@
-### PPT1 标题 时间 组员
-- 标题：隔空手势识别系统Sprint1
-- 时间：[具体时间]
-- 组员：[组员姓名]
-
-### PPT2 motivation
-在当今数字化时代，传统的鼠标键盘操作方式存在一定的局限性，如在某些场景下操作不够便捷、卫生等问题。隔空手势识别系统的出现，能够为用户提供更加自然、便捷的交互方式，填补了市场在非接触式交互领域的空白。它可以广泛应用于智能家居、智能办公、教育演示等多个场景，为用户带来全新的体验。
-
-### PPT3 影响地图
-- why? 
-    - 解决传统交互方式在特殊场景下的不便，如疫情期间减少接触、医疗场景避免交叉感染等。
-    - 满足用户对更加自然、便捷交互方式的需求，提升用户体验。
-    - 助力企业提升产品的科技感和竞争力，开拓新的市场领域。
-- who? 
-    - 普通消费者：用于家庭娱乐、智能家居控制等。
-    - 办公人群：在会议演示、办公操作中提高效率。
-    - 教育工作者：在教学过程中进行更加生动的演示。
-    - 医疗人员：在医疗操作中避免交叉感染。
-- how? 
-    - 核心部分分工：算法团队负责手势识别和语音识别算法的开发；软件团队负责系统的整体架构和交互界面的设计；硬件团队负责传感器等硬件设备的选型和开发。
-    - 采用的技术：计算机视觉技术用于手势识别，语音识别技术用于语音交互，深度学习算法提高识别的准确性和稳定性。
-- what? 
-    - 核心功能：远程操控鼠标指针、点击操作、复杂手势识别与响应、语音识别与指令执行。
-
-### PPT4 头脑风暴
-- 点子1：在游戏中使用手势进行角色控制，增强游戏的沉浸感。
-- 点子2：在商场的自助购物终端上使用手势操作，提高购物效率。
-- 点子3：在汽车驾驶中，通过手势控制车内娱乐系统和导航系统，提高驾驶安全性。
-- 点子4：在智能健身房中，使用手势控制健身设备和课程选择。
-- 点子5：在虚拟现实和增强现实场景中，使用手势进行更加自然的交互。
-
-### PPT5 basic design
-系统采用分层架构设计，包括硬件层、驱动层、算法层和应用层。硬件层负责数据的采集，驱动层负责硬件设备的驱动和数据传输，算法层负责手势和语音的识别，应用层负责与用户的交互和业务逻辑的处理。
-
-### PPT6 用户故事
-- card1 
-    - conversation1：用户在客厅看电视，想要切换频道，但不想起身找遥控器。
-    - confirmation1：用户通过隔空手势轻松切换频道，无需使用遥控器。
-- card2 
-    - conversation2：办公人员在会议中需要展示文档，想要翻页但不想触碰鼠标。
-    - confirmation2：办公人员通过手势实现文档的翻页操作，提高会议效率。
-- card3 
-    - conversation3：教育工作者在教学过程中，想要展示图片但不想走到电脑前操作。
-    - confirmation3：教育工作者通过手势控制图片的切换和缩放，使教学更加生动。
-
-### PPT7 初步开发构想
-- v1（本周四）：完成硬件设备的选型和采购，搭建开发环境，实现基本的手势识别算法。
-- v2（下周一）：完成系统的整体架构设计，实现手势识别与鼠标指针的初步关联。
-- v3（下周四）：完善手势识别的准确性和稳定性，实现语音识别功能，并进行初步的测试。
-- v4（最终）：完成系统的所有功能开发，进行全面的测试和优化，准备上线发布。
-
-### PPT8 初步模块设想
-- 子模块：硬件模块、手势识别模块、语音识别模块、交互界面模块、业务逻辑模块。
-- 工作量对比：硬件模块和算法模块的工作量相对较大，交互界面模块和业务逻辑模块的工作量相对较小。可以用简单的数字比例表示，如硬件模块：30%，手势识别模块：25%，语音识别模块：20%，交互界面模块：15%，业务逻辑模块：10%。
-- 优先级：手势识别模块和硬件模块的优先级较高，需要优先开发；语音识别模块和交互界面模块的优先级次之；业务逻辑模块的优先级相对较低。
-
-### PPT9 future view
-未来，我们将不断优化系统的性能和功能，拓展更多的应用场景。例如，与更多的智能家居设备进行集成，实现更加智能化的家居控制；在工业领域应用，提高生产效率和安全性等。
-
-### PPT10 用户旅程
-- 优化点1：手势识别的准确性和稳定性需要进一步提高，减少误识别的情况。
-- 优化点2：语音识别的灵敏度和准确性需要优化，确保在不同环境下都能准确识别用户的语音指令。
-- 优化点3：交互界面的设计需要更加简洁直观，提高用户的操作体验。
-- 优化点4：系统的响应速度需要加快，减少用户操作的等待时间。
-- 优化点5：增加更多的手势和语音指令，满足用户多样化的需求。
-- 优化点6：提高系统的兼容性，支持更多的操作系统和硬件设备。
-
-### PPT11 在迭代中开发
-- sprint planning：在每个冲刺阶段开始前，制定详细的计划，明确目标和任务。
-- daily scrum：每天进行短会，沟通工作进展和遇到的问题。
-- sprint review：在每个冲刺阶段结束后，进行评审，展示成果并收集反馈。
-- sprint retrospective：对每个冲刺阶段进行回顾和总结，分析问题并提出改进措施。
-
-### PPT12 thanks
-感谢大家的聆听！

sprint1/迭代计划.md

@@ -1,10 +0,0 @@
-# 📈 迭代计划（Sprint Plan）
-
-## 🗓️ 项目时间线
-
-| 时间     | 内容说明                                          |
-| -------- | ------------------------------------------------- |
-| 本周四   | 🧩 第一次迭代演示（系统架构设计 + 原型 + UI 草稿） |
-| 下周一   | 🔁 第二次迭代演示（打通手势识别 → 系统控制的闭环） |
-| 下周四   | 🎙 第三次迭代演示（加入语音控制，初步功能联动）    |
-| 下下周三 | 🚀 第四次迭代汇报（最终系统完整交付 + 场景演示）   |

sprint2/sprint2.md

@@ -1,120 +0,0 @@
-## 一、本轮迭代目标
-
-本 Sprint 主要目标是完成 **基于浏览器端的手势控制系统雏形**，实现如下基础功能：
-
-- 搭建前端 Web 应用结构与 UI 页面
-- 集成 MediaPipe 手势识别模型，完成实时手势检测
-- 映射部分手势为系统控制行为（鼠标移动、点击等）
-- 搭建基础手势处理逻辑与组件封装结构
-- 支持语音识别指令发送流程（准备后端对接）
-
-------
-
-## 二、本轮主要完成内容
-
-| 类别     | 工作内容                                                     |
-| -------- | ------------------------------------------------------------ |
-| 前端搭建 | 基于 Vite + Vue 3 + TypeScript 完成项目结构、模块划分、页面初始化 |
-| 手势识别 | 集成 Google MediaPipe WASM 模型，完成实时检测与渲染          |
-| 控制逻辑 | 封装 `GestureHandler`、`TriggerAction`，实现手势到系统操作的映射 |
-| UI设计   | 完成仪表盘式主界面设计，支持响应式、自定义手势预览等         |
-| 模型结构 | 初步梳理 `Detector` 识别流程，统一封装初始化与推理逻辑       |
-| 后端准备 | 初始化 Python 接口 WebSocket 构建，支持语音识别交互          |
-
-
-
-------
-
-## 三、系统结构设计
-
-```
-[用户摄像头]
-     ↓
-[VideoDetector.vue] → 捕捉视频帧，传入检测器
-     ↓
-[Detector.ts] → 调用 MediaPipe 识别手势
-     ↓
-[GestureHandler.ts] → 映射行为（鼠标/键盘/语音）
-     ↓
-[TriggerAction.ts] → 向后端/系统发出控制指令
-     ↓
-[Python 后端]（语音识别/扩展指令） ← WebSocket 接入
-```
-
-------
-
-## 四、核心技术栈与理由
-
-| 技术             | 用途                 | 原因                                       |
-| ---------------- | -------------------- | ------------------------------------------ |
-| Vue 3 + Vite     | 前端框架 + 构建工具  | 快速开发，热更新快，Composition API 更灵活 |
-| TypeScript       | 增强类型约束         | 减少运行时错误，提升可维护性               |
-| MediaPipe Tasks  | 手势识别模型         | 体积小，支持浏览器部署，准确率高           |
-| WebSocket        | 前后端实时通信       | 保持实时交互流畅                           |
-| Python + FastAPI | 后端扩展接口（语音） | 快速搭建接口，后续支持 Py 模型运行         |
-
-
-
-------
-
-## 五、主要功能点与说明
-
-### 1. Detector 类封装
-
-- 初始化 WASM 模型与识别器
-- 封装 `detect()` 每帧调用逻辑
-- 支持获取 `landmarks`, `gestures`, `handedness`
-
-### 2. 手势识别与映射
-
-- 仅识别食指 → 鼠标移动
-- 食指 + 中指 → 鼠标点击
-- 食指 + 拇指捏合 → 滚动
-- 四指竖起 → 发送快捷键
-- 小指+拇指 → 启动语音识别（前端 WebSocket）
-
-### 3. UI 界面模块
-
-- 实时视频预览窗口
-- 子窗口：手势反馈 / 执行动作提示
-- 配置面板：开关检测 / 配置行为映射
-
-------
-
-## 六、识别代码示例（关键手势）
-
-```ts
-if (gesture === HandGesture.ONLY_INDEX_UP) {
-  this.triggerAction.moveMouse(x, y)
-}
-if (gesture === HandGesture.INDEX_AND_THUMB_UP) {
-  this.triggerAction.scrollUp()
-}
-```
-
-- 每种手势匹配后，调用封装的 WebSocket + 系统接口发送动作
-- `TriggerAction` 支持复用
-
-------
-
-## 七、问题与解决方案
-
-| 问题描述                          | 解决方法                                             |
-| --------------------------------- | ---------------------------------------------------- |
-| WebSocket 连接后反复断开          | 增加连接状态判断 `readyState !== OPEN`，避免提前发送 |
-| Tauri 插件调用 `invoke undefined` | 使用 `npm run tauri dev` 启动，而非普通浏览器启动    |
-| 页面刷新后路由丢失（404）         | Vue Router 改为 `createWebHashHistory()` 模式        |
-| 模型未加载或报错提示              | 增加 loading 控制，捕捉初始化异常                    |
-
-
-
-------
-
-## 八、未来规划（Sprint 2 预告）
-
-| 方向              | 说明                                                |
-| ----------------- | --------------------------------------------------- |
-| 多手势拓展        | 三指滚动、多指触发多功能、多手联合判断              |
-| 自定义 .task 模型 | 支持用户采集数据，自定义模型替换现有 MediaPipe 模型 |
-| 后端语音指令集成  | Vosk 模型识别语音，触发系统控制                     |
-| 设置项管理        | 实现用户自定义快捷键、手势配置界面                  |

sprint3/sprint3.md

@@ -1,146 +0,0 @@
-# Sprint 3 技术文档
-
-**识别到控制闭环打通 + 支持游戏操作**
-
-------
-
-## 一、概述
-
-本阶段实现了一个运行于浏览器端的手势识别系统，结合 MediaPipe 和 WebSocket，打通从摄像头手势识别 → 系统控制（鼠标、滚动、键盘） → 控制小游戏角色的全流程。
-
-新增支持多种系统控制动作和游戏动作，包括：左右移动、跳跃、组合跳跃等。
-
-------
-
-## 二、模块结构概览
-
-模块分工如下：
-
-- **Detector.ts**
-   加载并初始化 MediaPipe 手势模型，检测手部关键点与手势状态，并调用 `GestureHandler`。
-- **GestureHandler.ts**
-   将识别出的手势映射为系统操作（鼠标、滚动、键盘指令等），支持连续确认、平滑处理、动作节流。
-- **TriggerAction.ts**
-   封装 WebSocket 通信，向后端发送 JSON 格式的控制命令。
-
-```
-[摄像头视频流]
-     ↓
-[VideoDetector.vue]
-  - 捕捉视频帧
-  - 显示实时画面
-     ↓
-[Detector.ts]
-  - 使用 MediaPipe Tasks WASM 模型进行手势识别
-  - 返回关键点、手势类型
-     ↓
-[GestureHandler.ts]
-  - 将识别结果转为行为
-  - 识别特定组合，如食指 + 拇指 → 滚动
-     ↓
-[TriggerAction.ts]
-  - 向 WebSocket 发送控制指令
-  - 控制鼠标/键盘/后端动作
-     ↓
-[后端 Python]
-  - WebSocket 接口接收指令
-  - 准备语音接口/控制中枢
-
-```
-
-------
-
-## 三、识别手势说明（扩展后）
-
-每帧识别手指竖起状态（拇指到小指，0 或 1），组合为状态串，查表识别对应手势：
-
-| 状态串      | 手势名              | 动作描述                  |
-| ----------- | ------------------- | ------------------------- |
-| `0,1,0,0,0` | only_index_up       | 鼠标移动                  |
-| `1,1,0,0,0` | index_and_thumb_up  | 鼠标点击                  |
-| `0,0,1,1,1` | scroll_gesture_2    | 页面滚动                  |
-| `1,0,1,1,1` | scroll_gesture_2    | 页面滚动（兼容变体）      |
-| `0,1,1,1,1` | four_fingers_up     | 发送快捷键（如播放/全屏） |
-| `1,1,1,1,1` | stop_gesture        | 暂停/开始识别             |
-| `1,0,0,0,1` | voice_gesture_start | 启动语音识别              |
-| `0,0,0,0,0` | voice_gesture_stop  | 停止语音识别              |
-| `0,1,1,0,0` | jump                | 小人跳跃（上键）          |
-| `1,1,1,0,0` | rightjump           | 小人右跳（右+上组合）     |
-| 自定义判断  | direction_right     | 小人右移（长按右键）      |
-| 自定义判断  | delete_gesture      | 小人左移（长按左键）      |
-
-
-
-------
-
-## 四、控制行为逻辑说明
-
-### 鼠标控制
-
-- **移动**：基于食指指尖位置映射至屏幕坐标，支持平滑处理，减少抖动。
-- **点击**：食指与拇指同时上举，节流处理防止重复点击。
-- **滚动**：捏合（拇指+食指）后上下移动控制滚动方向，带阈值判断。
-
-### 快捷键/系统操作
-
-- 四指上举 → 发送自定义按键（如全屏、暂停、下一集等）。
-- 五指上举 → 暂停/开始识别。支持进度提示。
-- 删除手势（右手拇指伸出，其余收起）→ 连续发送 Backspace/方向键。
-- 自定义 holdKey 方法支持模拟长按。
-
-### 游戏控制扩展（键盘模拟）
-
-| 手势名          | 动作                 |
-| --------------- | -------------------- |
-| delete_gesture  | 向左移动（左键长按） |
-| direction_right | 向右移动（右键长按） |
-| jump            | 向上跳跃（上键）     |
-| rightjump       | 右跳（右后延迟上）   |
-
-
-
-------
-
-## 五、性能与稳定性处理
-
-| 问题               | 解决方案                                               |
-| ------------------ | ------------------------------------------------------ |
-| 手势误判           | 连续帧确认（minGestureCount ≥ 5）                      |
-| 鼠标抖动           | 屏幕坐标引入平滑系数 `smoothening`                     |
-| 动作重复触发       | 节流控制点击/滚动/快捷键/方向键（如 `CLICK_INTERVAL`） |
-| WebSocket 中断重连 | 异常断线后自动重连，带重试时间间隔                     |
-| 滚动误触           | 拇指与食指距离阈值控制是否处于“捏合”状态               |
-| UI 状态提示不同步  | 使用全局 store（如 `app_store.sub_window_info`）更新   |
-
-
-
-------
-
-## 六、技术特性总结
-
-- 支持 MediaPipe WASM 模型在前端本地运行，低延迟识别
-- 所有动作模块化封装，便于未来扩展新手势、新控制指令
-- 手势控制与后端通过 WebSocket 实时交互，接口稳定
-- 支持游戏场景（虚拟角色）控制，具备实际互动展示能力
-- 控制逻辑可配置：如识别区域、快捷键内容、手势灵敏度
-
-------
-
-## 七、后续优化建议（下一阶段）
-
-| 方向                 | 目标                                            |
-| -------------------- | ----------------------------------------------- |
-| 增加左手手势组合识别 | 允许双手协同控制，比如捏合+四指等               |
-| 提升模型识别精度     | 支持定制 MediaPipe .task 文件、自采样训练       |
-| UI 设置面板          | 提供手势→动作自定义、阈值调节、快捷键修改       |
-| 引入语音控制         | Whisper/Vosk 实现语音命令解析，结合手势联动使用 |
-| 多模式切换           | 视频控制、PPT 控制、游戏控制等可切换交互模式    |
-| 场景演示/视频录制    | 准备真实交互展示视频，用于演示或上线宣传        |
-
-
-
-------
-
-## 八、结语
-
-本轮迭代成功实现了从手势识别到控制动作的完整闭环，扩展支持了游戏角色控制（多方向移动与跳跃），并在操作流畅性、准确性与系统解耦方面都取得实质进展。后续可以围绕用户可配置性、语音识别联动与多场景适配进一步扩展系统能力。

src/voice.py

@@ -0,0 +1,220 @@
+import tkinter as tk
+import threading
+import queue
+import time
+import json
+import sounddevice as sd
+import numpy as np
+from vosk import Model, KaldiRecognizer
+import os
+import platform
+
+
+class VoiceSubtitleApp:
+    def __init__(self, root):
+        self.root = root
+        self.root.title("实时语音字幕")
+
+        # 设置窗口属性：始终置顶，无边框，完全透明
+        if platform.system() == 'Darwin':  # macOS
+            self.root.attributes('-topmost', 1)
+            self.root.attributes('-alpha', 1.0)
+            self.root.attributes('-transparent', True)
+            self.root.configure(bg='black')  # 使用黑色背景
+            self.root.wm_attributes('-transparent', True)
+            self.root.update_idletasks()
+            self.root.lift()
+        else:  # Windows 和其他系统
+            self.root.attributes('-topmost', True)
+            self.root.attributes('-alpha', 1.0)
+            self.root.configure(bg='black')
+
+        self.root.overrideredirect(True)  # 无边框模式
+
+        # 设置窗口大小和位置
+        self.window_width = 800
+        self.window_height = 100
+        screen_width = root.winfo_screenwidth()
+        screen_height = root.winfo_screenheight()
+        x = (screen_width - self.window_width) // 2
+        y = screen_height - self.window_height - 100
+        self.root.geometry(f"{self.window_width}x{self.window_height}+{x}+{y}")
+
+        # 创建文字标签
+        self.text_label = tk.Label(
+            root,
+            text="",  # 初始时不显示文字
+            font=("Arial", 24, "bold"),
+            fg="white",
+            bg='black',  # 使用黑色背景
+            wraplength=780,
+            highlightthickness=0,
+            borderwidth=0
+        )
+        self.text_label.pack(expand=True, fill='both', padx=10)
+
+        # 添加拖动功能
+        self.text_label.bind('<Button-1>', self.start_move)
+        self.text_label.bind('<B1-Motion>', self.on_move)
+
+        # 添加右键点击退出功能
+        self.text_label.bind('<Button-3>', lambda e: self.on_closing())
+
+        self.is_running = True
+        self.audio_queue = queue.Queue()
+        self.partial_result = ""
+        self.last_voice_time = time.time()
+
+        try:
+            # 初始化Vosk模型
+            print("正在加载语音识别模型...")
+            model_path = "../vosk-model-cn-0.22"
+            if not os.path.exists(model_path):
+                model_path = "../vosk-model-small-cn-0.22"
+                print("未找到中型模型，使用小型模型")
+
+            if not os.path.exists(model_path):
+                print(f"错误：找不到模型文件夹 {model_path}")
+                self.update_subtitle(f"错误：找不到模型文件夹 {model_path}")
+                return
+
+            print(f"使用模型: {model_path}")
+            self.model = Model(model_path)
+            self.recognizer = KaldiRecognizer(self.model, 16000)
+            self.recognizer.SetMaxAlternatives(0)
+            self.recognizer.SetWords(True)
+            print("模型加载完成")
+
+            # 获取可用的音频设备
+            devices = sd.query_devices()
+            print("可用的音频设备：")
+            for i, device in enumerate(devices):
+                print(f"{i}: {device['name']}")
+
+            # 使用默认输入设备
+            default_input = sd.query_devices(kind='input')
+            print(f"使用默认输入设备: {default_input['name']}")
+
+            # 启动音频处理线程
+            self.audio_thread = threading.Thread(target=self.process_audio)
+            self.audio_thread.daemon = True
+            self.audio_thread.start()
+
+            # 启动识别线程
+            self.recognition_thread = threading.Thread(target=self.recognize_speech)
+            self.recognition_thread.daemon = True
+            self.recognition_thread.start()
+
+        except Exception as e:
+            print(f"初始化错误: {str(e)}")
+            self.update_subtitle(f"初始化失败: {str(e)}")
+            return
+
+    def start_move(self, event):
+        """开始拖动窗口"""
+        self.x = event.x
+        self.y = event.y
+
+    def on_move(self, event):
+        """处理窗口拖动"""
+        deltax = event.x - self.x
+        deltay = event.y - self.y
+        x = self.root.winfo_x() + deltax
+        y = self.root.winfo_y() + deltay
+        self.root.geometry(f"+{x}+{y}")
+
+    def audio_callback(self, indata, frames, time, status):
+        """音频回调函数"""
+        if status:
+            print(status)
+        self.audio_queue.put(bytes(indata))
+
+    def process_audio(self):
+        """处理音频输入"""
+        try:
+            with sd.RawInputStream(samplerate=16000, channels=1, dtype='int16',
+                                   blocksize=4000,
+                                   device=None,
+                                   callback=self.audio_callback):
+                print("开始录音...")
+                while self.is_running:
+                    time.sleep(0.05)
+                    self.root.after(0, self.fade_out_text)
+        except Exception as e:
+            print(f"音频处理错误: {str(e)}")
+            self.root.after(0, self.update_subtitle, f"音频处理错误: {str(e)}")
+
+    def recognize_speech(self):
+        """语音识别处理"""
+        print("开始识别...")
+
+        while self.is_running:
+            try:
+                audio_data = self.audio_queue.get(timeout=0.5)
+                if len(audio_data) == 0:
+                    continue
+
+                if self.recognizer.AcceptWaveform(audio_data):
+                    result = json.loads(self.recognizer.Result())
+                    text = result.get("text", "").strip()
+                    if text:
+                        print(f"最终结果: {text}")
+                        self.last_voice_time = time.time()
+                        self.root.after(0, self.update_subtitle, text)
+                else:
+                    partial = json.loads(self.recognizer.PartialResult())
+                    partial_text = partial.get("partial", "").strip()
+                    if partial_text and partial_text != self.partial_result:
+                        self.partial_result = partial_text
+                        print(f"部分结果: {partial_text}")
+                        self.last_voice_time = time.time()
+                        self.root.after(0, self.update_subtitle, partial_text)
+
+            except queue.Empty:
+                continue
+            except Exception as e:
+                print(f"识别错误: {str(e)}")
+                time.sleep(0.1)
+
+    def fade_out_text(self):
+        """文字淡出效果"""
+        try:
+            if time.time() - self.last_voice_time > 3:  # 3秒无输入后开始淡化
+                current_color = self.text_label.cget('fg')
+                if current_color == 'white':  # 如果是完全不透明
+                    self.text_label.configure(fg='#FFFFFF')  # 设置初始颜色
+                else:
+                    # 提取当前颜色值
+                    color = current_color.lstrip('#')
+                    if len(color) == 6:  # 确保是有效的颜色值
+                        # 降低不透明度
+                        new_alpha = max(0, int(color[0:2], 16) - 15)
+                        if new_alpha > 0:  # 如果还没有完全透明
+                            new_color = f'#{new_alpha:02x}{new_alpha:02x}{new_alpha:02x}'
+                            self.text_label.configure(fg=new_color)
+                            self.root.after(50, self.fade_out_text)  # 继续淡化
+                        else:
+                            # 完全透明时清空文字
+                            self.text_label.config(text="")
+                            self.text_label.update()
+        except Exception as e:
+            print(f"淡化效果错误: {str(e)}")
+
+    def update_subtitle(self, text):
+        """更新字幕文本"""
+        if not text:
+            return
+        self.text_label.config(text=text)
+        self.text_label.configure(fg='white')
+        self.text_label.update()
+        self.last_voice_time = time.time()
+
+    def on_closing(self):
+        self.is_running = False
+        self.root.destroy()
+
+
+if __name__ == "__main__":
+    root = tk.Tk()
+    app = VoiceSubtitleApp(root)
+    root.mainloop()

vosk-model-small-cn-0.22/README

@@ -0,0 +1,6 @@
+Chinese Vosk model for mobile
+
+CER results
+
+23.54% speechio_02
+38.29% speechio_06

vosk-model-small-cn-0.22/conf/mfcc.conf

@@ -0,0 +1,8 @@
+--use-energy=false
+--sample-frequency=16000
+--num-mel-bins=40
+--num-ceps=40
+--low-freq=40
+--high-freq=-200
+--allow-upsample=true
+--allow-downsample=true

vosk-model-small-cn-0.22/conf/model.conf

@@ -0,0 +1,10 @@
+--min-active=200
+--max-active=5000
+--beam=12.0
+--lattice-beam=4.0
+--acoustic-scale=1.0
+--frame-subsampling-factor=3
+--endpoint.silence-phones=1:2:3:4:5:6:7:8:9:10
+--endpoint.rule2.min-trailing-silence=0.5
+--endpoint.rule3.min-trailing-silence=1.0
+--endpoint.rule4.min-trailing-silence=2.0

vosk-model-small-cn-0.22/graph/disambig_tid.int

@@ -0,0 +1,39 @@
+11845
+11846
+11847
+11848
+11849
+11850
+11851
+11852
+11853
+11854
+11855
+11856
+11857
+11858
+11859
+11860
+11861
+11862
+11863
+11864
+11865
+11866
+11867
+11868
+11869
+11870
+11871
+11872
+11873
+11874
+11875
+11876
+11877
+11878
+11879
+11880
+11881
+11882
+11883

vosk-model-small-cn-0.22/graph/phones/word_boundary.int

@@ -0,0 +1,646 @@
+1 nonword
+2 begin
+3 end
+4 internal
+5 singleton
+6 nonword
+7 begin
+8 end
+9 internal
+10 singleton
+11 begin
+12 end
+13 internal
+14 singleton
+15 begin
+16 end
+17 internal
+18 singleton
+19 begin
+20 end
+21 internal
+22 singleton
+23 begin
+24 end
+25 internal
+26 singleton
+27 begin
+28 end
+29 internal
+30 singleton
+31 begin
+32 end
+33 internal
+34 singleton
+35 begin
+36 end
+37 internal
+38 singleton
+39 begin
+40 end
+41 internal
+42 singleton
+43 begin
+44 end
+45 internal
+46 singleton
+47 begin
+48 end
+49 internal
+50 singleton
+51 begin
+52 end
+53 internal
+54 singleton
+55 begin
+56 end
+57 internal
+58 singleton
+59 begin
+60 end
+61 internal
+62 singleton
+63 begin
+64 end
+65 internal
+66 singleton
+67 begin
+68 end
+69 internal
+70 singleton
+71 begin
+72 end
+73 internal
+74 singleton
+75 begin
+76 end
+77 internal
+78 singleton
+79 begin
+80 end
+81 internal
+82 singleton
+83 begin
+84 end
+85 internal
+86 singleton
+87 begin
+88 end
+89 internal
+90 singleton
+91 begin
+92 end
+93 internal
+94 singleton
+95 begin
+96 end
+97 internal
+98 singleton
+99 begin
+100 end
+101 internal
+102 singleton
+103 begin
+104 end
+105 internal
+106 singleton
+107 begin
+108 end
+109 internal
+110 singleton
+111 begin
+112 end
+113 internal
+114 singleton
+115 begin
+116 end
+117 internal
+118 singleton
+119 begin
+120 end
+121 internal
+122 singleton
+123 begin
+124 end
+125 internal
+126 singleton
+127 begin
+128 end
+129 internal
+130 singleton
+131 begin
+132 end
+133 internal
+134 singleton
+135 begin
+136 end
+137 internal
+138 singleton
+139 begin
+140 end
+141 internal
+142 singleton
+143 begin
+144 end
+145 internal
+146 singleton
+147 begin
+148 end
+149 internal
+150 singleton
+151 begin
+152 end
+153 internal
+154 singleton
+155 begin
+156 end
+157 internal
+158 singleton
+159 begin
+160 end
+161 internal
+162 singleton
+163 begin
+164 end
+165 internal
+166 singleton
+167 begin
+168 end
+169 internal
+170 singleton
+171 begin
+172 end
+173 internal
+174 singleton
+175 begin
+176 end
+177 internal
+178 singleton
+179 begin
+180 end
+181 internal
+182 singleton
+183 begin
+184 end
+185 internal
+186 singleton
+187 begin
+188 end
+189 internal
+190 singleton
+191 begin
+192 end
+193 internal
+194 singleton
+195 begin
+196 end
+197 internal
+198 singleton
+199 begin
+200 end
+201 internal
+202 singleton
+203 begin
+204 end
+205 internal
+206 singleton
+207 begin
+208 end
+209 internal
+210 singleton
+211 begin
+212 end
+213 internal
+214 singleton
+215 begin
+216 end
+217 internal
+218 singleton
+219 begin
+220 end
+221 internal
+222 singleton
+223 begin
+224 end
+225 internal
+226 singleton
+227 begin
+228 end
+229 internal
+230 singleton
+231 begin
+232 end
+233 internal
+234 singleton
+235 begin
+236 end
+237 internal
+238 singleton
+239 begin
+240 end
+241 internal
+242 singleton
+243 begin
+244 end
+245 internal
+246 singleton
+247 begin
+248 end
+249 internal
+250 singleton
+251 begin
+252 end
+253 internal
+254 singleton
+255 begin
+256 end
+257 internal
+258 singleton
+259 begin
+260 end
+261 internal
+262 singleton
+263 begin
+264 end
+265 internal
+266 singleton
+267 begin
+268 end
+269 internal
+270 singleton
+271 begin
+272 end
+273 internal
+274 singleton
+275 begin
+276 end
+277 internal
+278 singleton
+279 begin
+280 end
+281 internal
+282 singleton
+283 begin
+284 end
+285 internal
+286 singleton
+287 begin
+288 end
+289 internal
+290 singleton
+291 begin
+292 end
+293 internal
+294 singleton
+295 begin
+296 end
+297 internal
+298 singleton
+299 begin
+300 end
+301 internal
+302 singleton
+303 begin
+304 end
+305 internal
+306 singleton
+307 begin
+308 end
+309 internal
+310 singleton
+311 begin
+312 end
+313 internal
+314 singleton
+315 begin
+316 end
+317 internal
+318 singleton
+319 begin
+320 end
+321 internal
+322 singleton
+323 begin
+324 end
+325 internal
+326 singleton
+327 begin
+328 end
+329 internal
+330 singleton
+331 begin
+332 end
+333 internal
+334 singleton
+335 begin
+336 end
+337 internal
+338 singleton
+339 begin
+340 end
+341 internal
+342 singleton
+343 begin
+344 end
+345 internal
+346 singleton
+347 begin
+348 end
+349 internal
+350 singleton
+351 begin
+352 end
+353 internal
+354 singleton
+355 begin
+356 end
+357 internal
+358 singleton
+359 begin
+360 end
+361 internal
+362 singleton
+363 begin
+364 end
+365 internal
+366 singleton
+367 begin
+368 end
+369 internal
+370 singleton
+371 begin
+372 end
+373 internal
+374 singleton
+375 begin
+376 end
+377 internal
+378 singleton
+379 begin
+380 end
+381 internal
+382 singleton
+383 begin
+384 end
+385 internal
+386 singleton
+387 begin
+388 end
+389 internal
+390 singleton
+391 begin
+392 end
+393 internal
+394 singleton
+395 begin
+396 end
+397 internal
+398 singleton
+399 begin
+400 end
+401 internal
+402 singleton
+403 begin
+404 end
+405 internal
+406 singleton
+407 begin
+408 end
+409 internal
+410 singleton
+411 begin
+412 end
+413 internal
+414 singleton
+415 begin
+416 end
+417 internal
+418 singleton
+419 begin
+420 end
+421 internal
+422 singleton
+423 begin
+424 end
+425 internal
+426 singleton
+427 begin
+428 end
+429 internal
+430 singleton
+431 begin
+432 end
+433 internal
+434 singleton
+435 begin
+436 end
+437 internal
+438 singleton
+439 begin
+440 end
+441 internal
+442 singleton
+443 begin
+444 end
+445 internal
+446 singleton
+447 begin
+448 end
+449 internal
+450 singleton
+451 begin
+452 end
+453 internal
+454 singleton
+455 begin
+456 end
+457 internal
+458 singleton
+459 begin
+460 end
+461 internal
+462 singleton
+463 begin
+464 end
+465 internal
+466 singleton
+467 begin
+468 end
+469 internal
+470 singleton
+471 begin
+472 end
+473 internal
+474 singleton
+475 begin
+476 end
+477 internal
+478 singleton
+479 begin
+480 end
+481 internal
+482 singleton
+483 begin
+484 end
+485 internal
+486 singleton
+487 begin
+488 end
+489 internal
+490 singleton
+491 begin
+492 end
+493 internal
+494 singleton
+495 begin
+496 end
+497 internal
+498 singleton
+499 begin
+500 end
+501 internal
+502 singleton
+503 begin
+504 end
+505 internal
+506 singleton
+507 begin
+508 end
+509 internal
+510 singleton
+511 begin
+512 end
+513 internal
+514 singleton
+515 begin
+516 end
+517 internal
+518 singleton
+519 begin
+520 end
+521 internal
+522 singleton
+523 begin
+524 end
+525 internal
+526 singleton
+527 begin
+528 end
+529 internal
+530 singleton
+531 begin
+532 end
+533 internal
+534 singleton
+535 begin
+536 end
+537 internal
+538 singleton
+539 begin
+540 end
+541 internal
+542 singleton
+543 begin
+544 end
+545 internal
+546 singleton
+547 begin
+548 end
+549 internal
+550 singleton
+551 begin
+552 end
+553 internal
+554 singleton
+555 begin
+556 end
+557 internal
+558 singleton
+559 begin
+560 end
+561 internal
+562 singleton
+563 begin
+564 end
+565 internal
+566 singleton
+567 begin
+568 end
+569 internal
+570 singleton
+571 begin
+572 end
+573 internal
+574 singleton
+575 begin
+576 end
+577 internal
+578 singleton
+579 begin
+580 end
+581 internal
+582 singleton
+583 begin
+584 end
+585 internal
+586 singleton
+587 begin
+588 end
+589 internal
+590 singleton
+591 begin
+592 end
+593 internal
+594 singleton
+595 begin
+596 end
+597 internal
+598 singleton
+599 begin
+600 end
+601 internal
+602 singleton
+603 begin
+604 end
+605 internal
+606 singleton
+607 begin
+608 end
+609 internal
+610 singleton
+611 begin
+612 end
+613 internal
+614 singleton
+615 begin
+616 end
+617 internal
+618 singleton
+619 begin
+620 end
+621 internal
+622 singleton
+623 begin
+624 end
+625 internal
+626 singleton
+627 begin
+628 end
+629 internal
+630 singleton
+631 begin
+632 end
+633 internal
+634 singleton
+635 begin
+636 end
+637 internal
+638 singleton
+639 begin
+640 end
+641 internal
+642 singleton
+643 begin
+644 end
+645 internal
+646 singleton

vosk-model-small-cn-0.22/ivector/global_cmvn.stats

@@ -0,0 +1,3 @@
+ [
+  1.117107e+11 -7.827721e+08 -1.101398e+10 -2.193934e+09 -1.347332e+10 -1.613916e+10 -1.199561e+10 -1.255081e+10 -1.638895e+10 -3.821099e+09 -1.372833e+10 -5.244242e+09 -1.098187e+10 -3.655235e+09 -9.364579e+09 -4.285302e+09 -6.296873e+09 -1.552953e+09 -3.176746e+09 -1.202976e+08 -9.857023e+08 2.316555e+08 -1.61059e+08 -5.891868e+07 3.465849e+08 -1.842054e+08 3.248211e+08 -1.483965e+08 3.739239e+08 -6.672061e+08 4.442288e+08 -9.274889e+08 5.142684e+08 4.292036e+07 2.206386e+08 -4.532715e+08 -2.092499e+08 -3.70488e+08 -8.079404e+07 -8.425977e+07 1.344125e+09 
+  9.982632e+12 1.02635e+12 8.634624e+11 9.06451e+11 9.652096e+11 1.12772e+12 9.468372e+11 9.141218e+11 9.670484e+11 6.936961e+11 8.141006e+11 6.256321e+11 6.087707e+11 4.616898e+11 4.212042e+11 2.862872e+11 2.498089e+11 1.470856e+11 1.099197e+11 5.780894e+10 3.118114e+10 1.060667e+10 1.466199e+09 4.173056e+08 5.257362e+09 1.277714e+10 2.114478e+10 2.974502e+10 3.587691e+10 4.078971e+10 4.247745e+10 4.382608e+10 4.62521e+10 4.575282e+10 3.546206e+10 3.041531e+10 2.838562e+10 2.258604e+10 1.715295e+10 1.303227e+10 0 ]

vosk-model-small-cn-0.22/ivector/splice.conf

@@ -0,0 +1,2 @@
+--left-context=3
+--right-context=3

项目测试文档.md

@@ -1,306 +0,0 @@
-# 📋 WaveControl 隔空手势控制系统 - 测试文档
-
-## 一、测试概述
-
-### 1.1 测试目标
-
-确保系统三个核心子模块功能完整、交互稳定、性能可靠，满足多场景下的非接触式人机交互需求，包括主控制平台、手语通平台、游戏控制模块。
-
-### 1.2 测试对象
-
-- 主控制系统（控制面板 + 手势库管理 + 语音识别）
-- WaveSign 手语通系统（教学、评分、社区）
-- 虚拟赛车手柄系统（游戏中控制响应）
-
-### 1.3 测试类型
-
-| 测试类型     | 说明                                       |
-| ------------ | ------------------------------------------ |
-| 功能测试     | 各模块是否能完成核心功能                   |
-| 集成测试     | 各子模块之间的数据流与交互是否正确         |
-| 性能测试     | 系统是否在高帧率下稳定运行、响应及时       |
-| 边界测试     | 识别模糊手势、断网、摄像头断连等异常情况   |
-| 用户体验测试 | 普通用户是否能流畅使用、易上手、有清晰反馈 |
-
-
-
-## 二、测试环境
-
-| 项目        | 配置                              |
-| ----------- | --------------------------------- |
-| 操作系统    | Windows 10 / 11、MacOS            |
-| Python 版本 | Python 3.8+                       |
-| 浏览器      | Chrome / Edge                     |
-| 识别设备    | USB 外接摄像头 / 笔记本自带摄像头 |
-| 游戏平台    | Steam 平台《Rush Rally Origins》  |
-
-
-
-## 三、测试用例设计
-
-### ✅ 主控制系统
-
-| 序号 | 手势名称     | 手势动作说明                                  | 所属类型 |
-| ---- | ------------ | --------------------------------------------- | -------- |
-| 01   | 光标控制     | 竖起食指滑动控制光标位置                      | 通用控制 |
-| 02   | 鼠标左键点击 | 食指 + 大拇指上举执行点击                     | 通用控制 |
-| 03   | 滚动控制     | okay 手势（食指+拇指捏合），上下移动滚动页面  | 通用控制 |
-| 04   | 全屏控制     | 四指并拢向上 → 触发设定键（默认 f 键）        | 通用控制 |
-| 05   | 退格         | 特定手势触发退格键                            | 通用控制 |
-| 06   | 开始语音识别 | 六指手势触发语音识别启动                      | 通用控制 |
-| 07   | 结束语音识别 | 拳头手势触发语音识别停止                      | 通用控制 |
-| 08   | 暂停/继续    | 单手张开保持 1.5 秒触发暂停/继续识别          | 通用控制 |
-| 09   | 向右移动     | 拇指上抬，其余手指收回 → 控制游戏角色向右移动 | 游戏控制 |
-| 10   | 跳跃         | 食指、中指上举 → 控制跳跃动作                 | 游戏控制 |
-| 11   | 右跳跃       | 拇指 + 食指 + 中指上举 → 控制右跳跃           | 游戏控制 |
-| 12   | 上一首       | 大拇指向左摆动 → 上一首音乐                   | 音乐控制 |
-| 13   | 下一首       | 大拇指向右摆动 → 下一首音乐                   | 音乐控制 |
-| 14   | 暂停/播放    | 比耶手势（✌️ ） → 暂停或播放音乐               | 音乐控制 |
-| 15   | 切换音乐模式 | rock 手势（🤘）→ 切换音乐/普通控制模式         | 模式切换 |
-
-
-
-### 🤟 手语通 WaveSign
-
-#### ✅ 1. **SLClassroom（手语教室）模块**
-
-| 用例编号 | 用例名称           | 测试点                      | 预期结果                    |
-| -------- | ------------------ | --------------------------- | --------------------------- |
-| TC-SL-01 | 摄像头实时识别     | 摄像头接通后手势是否被识别  | 返回手语内容 + 实时评分动画 |
-| TC-SL-02 | 视频上传评分       | 上传手语视频后是否正常评分  | 返回分数、标准建议          |
-| TC-SL-03 | 视频课程学习流程   | 是否能顺序播放、标记已学    | 视频播放正常，课程解锁      |
-| TC-SL-04 | 翻转卡片练习       | 卡片是否翻转 + 显示正确答案 | 点击翻面后显示预设解释      |
-| TC-SL-05 | 任务式课程地图跳转 | 点击课程节点是否正确跳转    | 跳转至对应课程页            |
-
-
-
-#### ✅ 2. **Community（社区系统）模块**
-
-| 用例编号  | 用例名称      | 测试点                     | 预期结果                   |
-| --------- | ------------- | -------------------------- | -------------------------- |
-| TC-COM-01 | 发帖功能      | 输入文字/图片/视频发帖     | 帖子成功展示 + ID 唯一标识 |
-| TC-COM-02 | 评论功能      | 帖子下评论 + 删除          | 评论正常显示/删除          |
-| TC-COM-03 | 点赞机制      | 点赞后数值变化             | 点赞数+1，重复点则取消     |
-| TC-COM-04 | 热门话题显示  | 帖子互动数高时是否上热门区 | 热门区出现帖子             |
-| TC-COM-05 | 内容审核机制  | 敏感词是否被拦截/提示      | 给出“内容不合规”提示       |
-| TC-COM-06 | 标签推荐      | 选择话题是否推荐相关内容   | 推荐结果合理、及时加载     |
-| TC-COM-07 | 关注/取关系统 | 关注后是否成功建立关注关系 | 动态展示更新               |
-
-
-
-#### ✅ 3. **Schedule（日程与任务模块）**
-
-| 用例编号  | 用例名称             | 测试点                     | 预期结果                  |
-| --------- | -------------------- | -------------------------- | ------------------------- |
-| TC-SCH-01 | 添加任务清单         | 是否可设置日期/优先级      | 列表显示任务 + 状态可勾选 |
-| TC-SCH-02 | 事件提醒触发         | 设置提醒是否能按时通知     | 到时弹出提醒/响铃提示     |
-| TC-SCH-03 | 日/周/月视图切换     | 是否能无误切换不同日历视图 | 各视图正常显示            |
-| TC-SCH-04 | 删除任务是否更新视图 | 删除后是否同步更新         | 日历图/列表同步清除       |
-
-
-
-#### ✅ 4. **LifeServing（生活服务）模块**
-
-| 用例编号 | 用例名称         | 测试点                             | 预期结果                     |
-| -------- | ---------------- | ---------------------------------- | ---------------------------- |
-| TC-LS-01 | 发布内容管理     | 发布好物推荐/活动等信息            | 内容展示无误                 |
-| TC-LS-02 | 辅助器具推荐     | 推荐列表是否分类清晰/加载正确      | 分类显示 + 图片正常          |
-| TC-LS-03 | 学习设备推荐     | 展示硬件学习工具列表               | 内容图文加载完整             |
-| TC-LS-04 | 就业信息推送     | 职位内容、公司信息展示是否完整     | 包含岗位名称、描述、联系方式 |
-| TC-LS-05 | 残障友好企业标识 | 是否加V / 标签区分                 | 有“友好企业”提示             |
-| TC-LS-06 | 无障碍路线规划   | 是否能绘制无台阶/电梯路线          | 地图路径合理                 |
-| TC-LS-07 | 实时公交提醒     | 路线是否加载正确/更新是否及时      | 实时展示公交进站时间         |
-| TC-LS-08 | 活动预告展示     | 亲子/文娱/演出分类信息加载是否完整 | 可报名 + 有时间地点说明      |
-
-
-
-#### ✅ 5. **MyPage（个人中心）模块**
-
-| 用例编号 | 用例名称           | 测试点                          | 预期结果                     |
-| -------- | ------------------ | ------------------------------- | ---------------------------- |
-| TC-MY-01 | 修改头像           | 上传头像 + 预览功能是否生效     | 显示新头像                   |
-| TC-MY-02 | 修改资料           | 昵称/简介/联系方式可修改        | 保存后页面同步更新           |
-| TC-MY-03 | 收藏管理           | 收藏帖子/课程后是否能查看       | 我的收藏页显示内容           |
-| TC-MY-04 | 账号注册/登录/登出 | 是否可注册新用户 + 正确跳转状态 | 新用户进入首页，旧账号可退出 |
-| TC-MY-05 | 权限角色识别       | 是否区分普通用户/审核员角色     | 页面显示不同选项             |
-
-
-
-#### ✅ 6. **技术实现相关（稳定性/架构）测试**
-
-| 用例编号   | 用例名称              | 测试点                        | 预期结果                 |
-| ---------- | --------------------- | ----------------------------- | ------------------------ |
-| TC-TECH-01 | SQLite 数据读写测试   | 批量操作课程/帖子是否存取正常 | 数据不丢失，响应时间正常 |
-| TC-TECH-02 | MediaPipe模型崩溃恢复 | 强行关闭摄像头后是否重连      | 显示重连提示/自动恢复    |
-| TC-TECH-03 | Tailwind 前端样式响应 | 各分辨率下页面是否响应式变化  | 不溢出，元素自适应       |
-
-
-
-
-
-### 🏎️ 游戏控制模块
-
-| 用例编号   | 模块     | 用例名称         | 前置条件                 | 测试步骤                         | 预期结果                           | 优先级 |
-| ---------- | -------- | ---------------- | ------------------------ | -------------------------------- | ---------------------------------- | ------ |
-| TC-GAME-01 | 游戏控制 | 加速动作识别     | 摄像头运行正常，程序启动 | 举起右手拇指上扬                 | 车辆开始加速                       | 高     |
-| TC-GAME-02 | 游戏控制 | 刹车动作识别     | 同上                     | 举起左手拇指上扬                 | 车辆开始减速                       | 高     |
-| TC-GAME-03 | 游戏控制 | 左右转向动作识别 | 同上                     | 向左倾手掌                       | 车辆向左转弯                       | 高     |
-| TC-GAME-04 | 游戏控制 | 手势连续识别切换 | 程序运行中               | 快速从加速 → 左转 → 刹车切换手势 | 每步操作都有反馈，游戏响应流畅     | 高     |
-| TC-GAME-05 | 游戏控制 | 识别抖动干扰测试 | 程序运行中，抖动手指     | 快速小幅度摆动手指               | 系统不误触操作，保持稳定           | 中     |
-| TC-GAME-06 | 游戏控制 | 虚拟手柄断连恢复 | 手柄模拟开启中           | 断开 vgamepad 端口 → 重连        | 程序检测中断并尝试自动恢复         | 中     |
-| TC-GAME-07 | 游戏控制 | 低帧率下性能表现 | 模拟20fps摄像头          | 尝试完成左右转、加速等动作       | 出现识别滞后，界面给出低帧警告     | 中     |
-| TC-GAME-08 | 游戏控制 | UI反馈准确性     | 摄像头运行中             | 做出加速动作，观察 UI 面板反馈   | 显示“当前动作：加速”，图像区域标亮 | 中     |
-
-
-
-## 四、测试程序实现与技术支撑
-
-本项目测试除使用主系统 UI 操作外，亦开发了两套独立测试程序用于识别稳定性、输入准确性与边界场景的验证，覆盖核心逻辑路径，支撑高频回归测试与离线分析。
-
-### 4.1 手势识别测试程序（wavecontrol-test 模块）
-
-项目测试脚本集中存放于 `wavecontrol-test/src/` （gesture分支）路径下，采用 TypeScript + Vue3 框架实现，通过 MediaPipe 实时检测与手势逻辑模块协同，实现系统功能验证。
-
-#### 4.1.1 hand_landmark 模块
-
-- **detector.ts**
-   核心手部关键点检测模块，封装对 MediaPipe 的调用逻辑，统一输出手部21个关键点的坐标、置信度等数据。
-  - 功能点：初始化摄像头流、绑定回调、封装模型参数。
-  - 用于：为 `VideoDetector.vue` 和 `gesture_handler.ts` 提供关键点数据源。
-- **gesture_handler.ts**
-   手势解析与事件派发模块，将 landmark 数据解析为具体手势动作（如光标控制、点击、跳跃等）。
-  - 支持自定义手势库扩展。
-  - 与游戏控制模块或系统控制指令绑定。
-- **VideoDetector.vue**
-   Vue 组件封装，展示摄像头实时画面 + 可视化 landmark 点位（调试模式用）。
-  - 提供测试 UI 面板，便于调试每个手势识别过程。
-  - 集成 FPS 状态、实时识别手势结果反馈。
-
-#### 4.1.2 独立运行说明与调试提示
-
-- **模块定位：**
-   `wavecontrol-test` 为独立测试工程，当前未集成至主项目的 UI 页面路由体系，主要用于**手势识别逻辑的单元测试与调试验证**。
-- **运行状态说明：**
-   启动后页面加载为空白（白屏），属**正常表现**，原因如下：
-  - 项目尚未渲染任何主界面组件；
-  - 测试逻辑运行主要依赖控制台输出来验证关键逻辑（如 landmark 检测、手势判断等）。
-- **调试建议：**
-   启动后打开浏览器开发者工具（快捷键 `F12` 或 `Ctrl+Shift+I`），查看：
-  - 控制台（Console）：打印识别结果、错误日志、手势状态；
-  - 网络（Network）：确认模型文件是否成功加载；
-  - 元素（Elements）：手动挂载 `VideoDetector.vue`注入测试组件进行临时渲染调试。
-
-
-
-### 4.2 游戏控制模块测试（`test.py` 等）
-
-### 4.2.1 模块定位与结构
-
-该模块为游戏控制核心动作识别的测试环境，主要用于模拟真实场景下用户的手势输入，评估系统能否准确识别特定动作（如加速、转弯、刹车等），并通过 OpenCV 实时可视化手势状态与角度变化。
-
-- **所在目录：** `wavecontrol/test_py/`（`game_control` 分支）
-- **相关脚本：**
-  - `test.py`：主测试入口，执行实时手势识别与状态展示。
-  - `gesture_detector.py`：封装具体的手势识别逻辑。
-  - `utils.py`：通用工具类，如角度计算、数据格式处理等。
-  - `test_xbox.py`：拟用于连接虚拟 Xbox 控制器，模拟游戏输入。
-  - `test_gui.py`：图形界面测试入口。
-
-
-
-### 4.2.2 核心测试逻辑（基于 `test.py`）
-
-**功能点解析：**
-
-- **手势状态追踪：**
-   通过 `gesture_status` 字典记录五类状态：
-  - `Left Fist`、`Right Fist`：用于映射刹车/加速等动作
-  - `Left Thumb`、`Right Thumb`：映射转向或音量等功能
-  - `Angle`：表示当前手势的偏转角度，用于模拟方向盘行为或特殊动作
-- **视觉反馈：**
-   使用 `OpenCV` (`cv2`) 实时将识别结果叠加在摄像头图像上，显示五种状态的当前值，方便快速人工验证是否识别准确。
-- **模块化调用：**
-   `GestureDetector` 实例通过 `gesture_detector.py` 导入，使得识别逻辑可独立测试、方便集成到主游戏模块。
-
-------
-
-#### 4.2.3 使用说明
-
-- **启动方法：**
-
-  ```
-  python test.py
-  ```
-
-  **运行效果：**
-
-  - 打开摄像头窗口；
-  - 实时显示识别到的五项手势状态；
-  - 开发者可通过手部动作验证识别准确性。
-
-- **测试目标：**
-
-  - 验证关键手势在自然使用状态下的识别准确率；
-  - 评估系统在不同光照/距离/角度条件下对“加速”“刹车”“左右转”的响应稳定性；
-  - 检查 OpenCV 图像反馈是否与真实操作一致，便于回归对比。
-
-
-
-## 五、测试结果分析
-
-#### 项目整体手动测试结果：
-
-[⌛️项目测试结果](./项目测试结果.xlsx)
-
-#### 主平台自动化测试结果： 
-
-全部测试通过，覆盖率达79%
-
-![主平台自动化测试结果](./img/主平台自动化测试结果.png)
-
-#### WaveSign平台自动化测试结果：
-
-全部测试通过，覆盖率达93%
-
-具体测试设计和结果见以下链接：
-
-[WaveSign测试文档](https://gitee.com/wydhhh/software-engineering/blob/wavesign/WaveSign%E6%B5%8B%E8%AF%95%E6%96%87%E6%A1%A3.md)
-
-[WaveSign测试结果html报告](https://gitee.com/wydhhh/software-engineering/tree/wavesign/htmlcov)
-
-
-
-### **5.1 测试通过率**
-
-- **总体通过率：**
-   在所有模块（主控制系统 + WaveSign + 游戏控制模块）共计 **50+ 条用例 × 10次测试 = 500+ 次执行记录**中，约 **88%** 的测试结果为“通过”，**12%** 的测试记录显示“未通过”。
-- **通过率较高的模块：**
-  - **主控制系统：**通过率 **>90%**，大部分基础手势（如光标控制、鼠标点击、滚动控制）表现稳定。
-  - **WaveSign 社区与个人中心模块：**通过率 **约95%**，发帖、评论、关注、资料修改等常规操作无明显问题。
-- **通过率较低的模块：**
-  - **WaveSign SLClassroom（手语教室）：**实时识别和视频上传评分测试中偶尔出现 **识别延迟** 或 **评分不稳定**，通过率约 **80%**。
-  - **游戏控制模块：**“低帧率下性能表现”与“识别抖动干扰测试”未通过率稍高（**20% 左右**），主要原因是低帧率摄像头模拟下识别滞后明显。
-
-------
-
-### **5.2 典型问题分析**
-
-- **（1）识别类问题：**
-  - 当背景复杂或光照不足时，MediaPipe 模型识别准确率下降，个别测试记录显示 **响应时间超过0.7s**，甚至未正确识别手势。
-  - “六指手势启动语音识别”在部分测试中未触发，需要优化手势阈值。
-- **（2）性能问题：**
-  - 游戏模块在模拟 **20fps 低帧率**摄像头时，出现识别滞后，UI延迟反馈。
-  - 部分 UI 动画在高分辨率（4K）设备上存在轻微卡顿，需要进一步优化前端渲染。
-- **（3）社区系统：**
-  - 敏感词拦截逻辑偶尔误报，如普通词语被识别为敏感词。
-- **（4）任务提醒功能：**
-  - **日/周/月视图切换**测试中发现，在多任务快速切换时，少数场景下界面刷新不完全。
-
-------
-
-### **5.3 综合结论**
-
-- WaveControl 系统整体功能 **满足预期目标**，大部分核心功能已稳定实现。
-
-
-