日前，“兆易创新杯”第十五届中国研究生电子设计竞赛全国总决赛在南京信息工程大学举行，由济南大学信息科学与工程学院冯志全教授指导，董頔、袁杰、郎需婕三位同学组成的SF团队凭借“基于实物交互的虚实融合由能实验的设计与应用”项目，荣获全国一等奖。

中国研究生电子设计竞赛是由教育部学位与研究生教育发展中心指导，中国电子学会、中国学位与研究生教育学会、中国科协青少年科技中心联合主办的研究生竞赛活动，是中国研究生创新实践系列大赛中规模和影响力最大的竞赛之一，自1996年由清华大学和中国电子学会共同发起设立以来，历经24年已经成功举办十四届竞赛活动。大赛自2020 年4月正式开赛以来，共有来自200余所高校及科研院所的3818支队伍成功报名参赛。经过八大分赛区的初赛评审，共有402支队伍晋级全国总决赛。

冯志全教授作为济南大学人机交互与虚拟现实方向学科带头人，主持国家重点研发计划、国家自然科学基金等国家级及省部级重点以上项目10余项，发表SCI/EI论文150多篇，获得省部级奖励2项，取得发明专利30项。该方向在手势、体感交互领域已经成为国内公认的一个研究特色，所在实验室成为国家重点研发计划“云端融合的自然交互设备和工具”项目和“多模态自然交互的虚实融合开放式实验教学环境”项目研究基地，承担我国在中学实验和课堂教学模式领域的重大研究任务，为构建优质教学资源远程教育的共建共享、更好地阐释和展现科学原理提供新理论和新模式，适应国家教学资源严重不平衡、尤其是我国边远山区教学和实验条件严重匮乏的重大战略需求。

项目简介：在现阶段中学生化学实验课堂中，部分化学实验存在着危险性、实验现象不明显甚至无法观察等问题，学生在操作时也往往会出现操作不规范，实验步骤不正确等问题。并且在传统的实验教学中缺少了老师与学生之间的互动，不利于老师掌握每一个学生的学习情况，如果学生出现错误的操作也不能进行及时的提示，很难做到对每个学生逐一进行指导。大部分中学也不可能用大量危险性的试剂让学生进行探索性实验。为此，该团队提出一种具有多模态感知能力的智能烧杯，研究了一个适用于化学实验的多模态融合模型与算法，用于解决现阶段中学大部分的化学实验。一方面通过实验导航与实验结果评分体系解决了教学过程中缺乏老师指导的问题；另一方面该智能烧杯通过多模态融合与意图理解算法解决了用户行为的过程监控、实验场景理解和真实感量化交互方法等问题。在实验过程中采用语音和传感器融合的方式进行交互，通过语音导航完成实验教学和指导，还可以在虚实融合的实验场景中观察到传统实验中不易观察到的现象，使学生轻松记住实验要点，加深实验印象。

（审核：杨佳超）