本项目面向工程实践教学中反馈滞后、认知负荷高、个体差异难适配和工程依据分散等问题，研究基于多模态大模型的智能示教系统。系统以智能温控电风扇组装为统一验证场景，融合摄像头画面、语音提问、对话上下文与工程知识，构建统一对话与推理主链路。主动交互、演化记忆和多模态RAG三类能力协同工作，为学习者提供风险识别、个性化指导和有依据的操作问答，探索面向真实装配任务的人因优化方案。

项目主要目标是形成可落地的多模态工程实践示教方案。第一，建立主动交互机制，判断学习者在操作过程中的风险、停滞、漏检和关键偏差，并通过低打扰门控实现适时提醒。第二，构建演化记忆模块，围绕会话、任务和用户三层状态沉淀学习者卡点与偏好，实现按需注入和个性化交互。第三，设计多模态RAG模块，将现场图像、芯片状态、串口日志和用户问题转化为结构化查询，检索手册、装配说明和排错知识，生成可追溯的工程回答。

项目完成了工程实践示教系统原型及实验验证。系统支持前端会话、任务状态显示、主动提示、文本回答和TTS播报，并配套后端观测看板用于记录会话状态、输入事件、模型调用和系统响应。实验表明，主动交互将风险识别F1由77.4%提升至91.0%，错误纠正成功率由69.2%提升至86.7%；演化记忆整体任务表现由60.0%提升至83.3%；Hybrid+Reranker检索R@3达到0.905，同时多模态RAG显著降低心理需求、时间压力和努力程度。