近日,在首届Amazon Alexa SimBot挑战赛(以下简称“SimBot”)中,来自上海交通大学密西根学院的大四学生潘家怡所在团队获得冠军,与他同一团队的还有密院2021届本科毕业生马子乔。

潘家怡、马子乔在SimBot BootCamp 活动中

Amazon Alexa SimBot挑战赛是由Amazon公司发起的一项全球性比赛,其目的在于推动下一代虚拟助手的发展,帮助人类完成现实中的任务。挑战的重点在于如何在虚拟世界中与用户进行有效交互、并结合导航、物品操纵、机器感知和推理。

SEAGULL团队成员合影

此次挑战赛吸引了来自全球的研究者参与,共十余支世界顶尖研究团队入选比赛,潘家怡所在的密西根大学SEAGULL团队与伊利诺伊大学、卡耐基梅隆大学和赫瑞瓦特大学等团队同场竞技。在公开基准阶段后进入SimBot挑战赛的大学团队将获得研究资金、其他资源以及Alexa团队的支持。

Alexa Arena虚拟环境,用户需用对话的方式和研究者开发的机器人交流以完成任务

SEAGULL团队由九名学生组成,该团队的SimBot能够相对轻松地理解复杂的指令并完成任务,同时还能为用户提供及时有效的建议与帮助,因其出色的用户体验,恰当且相关的反应,以及有效的任务执行能力在竞赛中获得了评委的认可。他们以及其他参赛者的研究成果,现已被整理成一系列的研究论文。

密院成员风采

潘家怡

大四,电子与计算机工程专业,来自四川,高中毕业于四川省成都市树德中学。

队内职务:SEAGULL视觉感知负责人。

工作内容:开发视觉感知模块,沟通协调

获奖感想:

“作为队内唯一一名本科生,我在参与密院双学位项目伊始,就加入了这个项目。我主要承担了SEAGULL的视觉感知模块的开发,需要根据SEAGULL看到的图像(一系列图片)进行各种层次的物体识别和场景关系重建。为了达到出色的性能,我们进行了多次的模块迭代。同时,由于这个模块是SEAGULL后续各个模块功能的基础,我需要频繁与其他队员沟通,确定接口需求,了解他们所需的功能,这也锻炼了我的工程技术和沟通能力。

通过参与SimBot等项目,我逐渐找到了自己真正感兴趣的职业方向。未来,我将继续深造,在加州大学伯克利校区攻读人工智能相关的博士学位。  ”

马子乔

密西根大学计算机科学专业博二,密西根学院2021届本科毕业生,来自四川,高中毕业于四川省成都市外国语学校。

队内职务:SEAGULL自然语言理解负责人。

工作内容:开发语言理解模块,沟通协调

获奖感想:

作为团队的一员,我们专注于开发SEAGULL的语言理解模块,以便它可以准确地理解和回应自然语言输入。SEAGULL需要处理来自用户的语言输入,并进行文本分析、语义理解、意图识别和对话生成等任务。为了提高系统的性能和准确性,我们结合了大语言模型的最新进展。SEAGULL需要确保各个模块之间的接口和交互流畅,以实现整体系统的协调工作。因此在团队的日常工作中,团队成员需要沟通和讨论,以确保我们的开发方向一致,保证工程管理简洁高效。

参与SEAGULL项目让我更加确定了自己对具身人工智能与语言交互智能的兴趣,并对将来人工智能的发展充满期待。通过SimBot项目,我得到了在Alexa AI团队实习的机会,并有机会参与主导视觉语言联合大模型的训练。我计划继续深入研究人工智能领域,完成计算机科学的博士学位,并在语言理解和自然语言处理的研究方向上做出更多的贡献。