 Pine
|
18d28be943
|
feat: 添加后端部署和API基本检索的Docker Compose配置
- 引入新的`docker-compose.yml`文件，便于后端和MQTT代理（EMQX）的部署。
- 更新多个组件中的API基本检索，使用函数进行动态解析。
- 加强了多个组件中API调用的错误处理和日志记录。
- 优化了AI聊天面板离线场景的回退响应。
- 更新DataScreen和MediaScreen组件中的数据显示和统计，以反映准确的指标。
- 重构MQTT连接逻辑，以支持动态凭证和客户端ID。
|
2026-08-18 06:50:50 +08:00 |
|
|
Pine
|
fbf2eccad2
|
feat: 语音气泡浅蓝 + 页眉图标展示全部视觉状态 + 简化自动问候
- /voice 页右下角气泡文本改浅蓝色（最新 #4cc2ff / 历史 #6fb5ea）
- GlobalVision 广播 dpm:vision-status（status/cameraOn/gesture/faces）
- 页眉图标四态：默认灰(探索) → 识别中浅蓝(摄像头开/检测/面向) → 手势绿(惊喜) → 异常红
- 自动调用语音助手问候语简化为「您好呀，需要我的帮助吗？」
|
2026-08-18 06:24:26 +08:00 |
|
|
Pine
|
0af159a175
|
feat: 数据真实化、企业展示墙、全局手势识别与 3D 模型完善
- 数据大屏改用真实数据（xls 统计表 + 宣传册口径）；TOKEN/工具调用基于真实锚点测算
- 新增企业展示墙页（/wall，39 家全量档案 + MQTT/admin/ESP32 控制文档）
- 新增全局手势识别（GlobalVision 全局挂载 + dpm:gesture 事件分发）
- 3D 模型墙面逐间修复、去除门/过道顶棚/调试标签、房间资产不穿墙、会议室多小桌
- 侧栏企业分布扩展至 39 家完整信息，分区按官方四大孵化区域
- 语音页多轮对话展示优化、去除页脚与检测横条、背景对齐
|
2026-08-18 05:48:56 +08:00 |
|
|
Pine
|
f4067c1f0e
|
refactor(s2s): 语音助手基础提示词迁移到后端统一管理
- 后端 config.py：新增 S2S_INSTRUCTIONS（.env DPM_S2S_INSTRUCTIONS 可覆盖）
- rag.py：build_instructions() 组装 配置提示词 + 园区知识库摘要
- routers.py：GET /api/s2s/instructions 下发（前端连接时拉取）
- 前端 VoiceAssistant：删除硬编码 DEFAULT_INSTRUCTIONS，改拉取后端指令；
仅保留后端不可用时的极简兜底
改提示词只需改后端（.env 或代码），前端零硬编码。
|
2026-08-18 02:28:55 +08:00 |
|
|
Pine
|
4d693e895d
|
feat(mqtt): 集中式 MQTT 调度器（页面级操作 + vision 开关 + 页面上报）
useMqttControl 扩展命令分发（opc/display/command）：
- vision_set：全局人物识别开/关（dpm:vision-control → 语音页 visionEnabled）
- ai_input / ai_preset / ai_company / ai_zone：AI 助手页操作（dpm:ai-action）
- voice_start / voice_stop / voice_refresh：语音对话页操作（dpm:voice-control）
- 页面状态即时上报 opc/frontend/state（路由变化即发，心跳外补充）
页面监听：
- AiChatPanel：输入并发送 / 选择预设问题发送
- ParkSidePanel：切换分区（加速区/国际区/成长区）/ 切换展示企业（next/prev）
- VoiceAssistant：启动/关闭对话 / 刷新页面；vision 全局开关
- MediaScreen：play/pause/next/prev 已有覆盖
切页（navigate/navigate_rel）、心跳上报沿用既有通道。
|
2026-08-18 02:20:37 +08:00 |
|
|
Pine
|
c5a06ac160
|
fix(voice): 修复语音页黑屏（onToolCall TDZ）
onToolCall 依赖数组引用 pushMessage，但被插在 pushMessage 声明之前
→ Cannot access 'pushMessage' before initialization → 渲染崩溃黑屏。
已移到 pushMessage 之后（198→230），与 start/sendGreeting 同类问题一并规避
|
2026-08-18 02:16:46 +08:00 |
|
|
Pine
|
83bf19a3e5
|
feat(agent): 智能体接入工具调用 + 园区知识库（RAG）
后端：
- tools.py：工具注册表（get_park_overview 园区实时数据 / query_companies 企业名录 / control_display 大屏控制 / get_time），POST /api/tools/exec 执行
- rag.py：园区知识库（park.md 分块 → dashscope text-embedding-v3 → numpy 余弦检索），/api/kb/brief 摘要注入 + /api/kb/retrieve 动态检索
- 知识索引 kb_index.json 入库，部署免首次构建
前端（VoiceAssistant）：
- TOOL_DEFS 经 session.update 传给 LLM；toolcall 事件 → 后端执行 → sendToolOutput + requestResponse
- instructions 拼接园区知识摘要；工具调用气泡提示
- 测试通过：4 个工具，检索「入驻政策」正确命中政策段落
|
2026-08-18 02:06:07 +08:00 |
|
|
Pine
|
4e2224e9dc
|
feat(voice): 实时语音对话页（React 完全复刻原版 UI）
- /voice 页面：中间圆球 + 左右按钮 + 状态图标 + 右下角气泡（进场/淡出/阶梯字号/上限8）+ 噪声门弧线电平，结构类名与原版一致
- s2s WebSocket 客户端 + worklet 音频（mic-capture/audio-playback）+ orb 可视化
- 摄像头实时预览（默认开启）+ 视觉识别状态条（后端 YOLO 推理）
- 底部园区概览条（复用 ParkOverviewStrip），orb-wrap 视窗居中
- 页眉复用 ScreenLayout；左右键导航加入 /voice
- 文档：docs/voice-integration-plan.md
|
2026-08-18 01:37:44 +08:00 |
|