 Pine
|
4d693e895d
|
feat(mqtt): 集中式 MQTT 调度器（页面级操作 + vision 开关 + 页面上报）
useMqttControl 扩展命令分发（opc/display/command）：
- vision_set：全局人物识别开/关（dpm:vision-control → 语音页 visionEnabled）
- ai_input / ai_preset / ai_company / ai_zone：AI 助手页操作（dpm:ai-action）
- voice_start / voice_stop / voice_refresh：语音对话页操作（dpm:voice-control）
- 页面状态即时上报 opc/frontend/state（路由变化即发，心跳外补充）
页面监听：
- AiChatPanel：输入并发送 / 选择预设问题发送
- ParkSidePanel：切换分区（加速区/国际区/成长区）/ 切换展示企业（next/prev）
- VoiceAssistant：启动/关闭对话 / 刷新页面；vision 全局开关
- MediaScreen：play/pause/next/prev 已有覆盖
切页（navigate/navigate_rel）、心跳上报沿用既有通道。
|
2026-08-18 02:20:37 +08:00 |
|
|
Pine
|
856ff88440
|
feat: 拆出 FastAPI 独立后端 + MQTT 控制 + 阿里云 AI
后端（backend/，FastAPI :10085）：
- 全部数据 REST 接口：dashboard 快照 / 企业分区 / 播放列表 / 媒体 / 设置
- MQTT 控制通道：opc/display/command（切页/播放/卡片/通知），
管理端 POST /api/display/command → MQTT 广播 → 所有大屏同步响应
- 阿里云 DashScope：通义千问 LLM + 函数调用（工具经 MQTT 广播），
paraformer-realtime-v2 语音识别 /api/ai/asr
- 媒体资源统一由后端存储返回（上传/列表/静态服务）
- SSE /api/events 保留作 MQTT 不可用时的兼容回退
前端：
- config.js + .env.local 配置后端地址与 MQTT 账号（前端 dpm / 服务端 dpmserver）
- mqtt.js 客户端 + useMqttControl（MQTT 驱动切页/媒体/卡片/通知）
- DpmOverlays 全局覆盖层（通知 toast + 企业/分区/总览卡片）
- useParkSim 改为后端 API 数据源（离线回退本地模拟）
- AiChatPanel：对话走后端 LLM（工具调用），语音走本地录音 + 后端 ASR
- MediaScreen：媒体控制走 MQTT（保留 SSE 回退），修复 useEffect TDZ
Rust：lib.rs 移除内嵌 HTTP 服务器，只保留薄壳（窗口/权限/自启/npc 隧道）
安全：backend/.env、.env.local、media、data.json 已 gitignore
|
2026-08-17 21:26:16 +08:00 |
|
|
Pine
|
e59047c4aa
|
feat: AI 助手支持文字/语音双模式
- 头部新增模式切换（文字/语音），文字=对话框，语音=语音交互按钮
- 语音模式：大麦克风按钮 + 聆听波纹动画 + 识别中状态，点击开始/再次点击结束
- 优先使用 Web Speech API 识别（zh-CN），无权限/不支持时自动兜底模拟识别
- 语音提问以文字形式进入同一对话流，气泡带「语音」标记
- 切换模式保留对话历史；聆听中切换/离开自动中止识别
- 新增 microphone/microphone-filled/microphone-off/message-circle 图标
|
2026-08-17 20:34:45 +08:00 |
|
|
Pine
|
7da9749953
|
feat: 新增 AI 智能助手对话页面（/ai）
- 布局沿用数字孪生页接口：左侧 AI 对话区 + 右侧企业分布面板
- 新增共享 ParkSidePanel 组件（分区/企业名录/详情/实时动态），
数字孪生与 AI 助手页右侧完全一致
- 新增 AiChatPanel 对话组件：欢迎语 + 消息流 + 快捷提问 + 输入发送，
内置园区知识库模拟回复（入驻/政策/场地/AI 赋能/分区/企业/融资/就业/导师）
- 路由与导航循环加入 /ai（数据大屏 → 数字孪生 → AI 助手 → 媒体轮播）
- usePageNav 忽略输入框/文本域按键，避免输入方向键误切页面
- 新增 send/eraser/headset/circle-dot 图标，全部遵守 bd- 浅色科技 UI 规范
|
2026-08-17 20:26:16 +08:00 |
|