微软开源多模态AI Agent基础模型Magma

as22

最近，微软在官网开源了多模态AI Agent基础模型——Magma。

与传统Agent相比，Magma具备跨数字、物理世界的多模态能力，能自动处理图像、视频、文本等不同类型数据.

此外，Magma还能内置了心理预测功能，增强了对未来视频帧中时空动态的理解能力，能够准确推测视频中人物或物体的意图和未来行为。

在实际使用上，用户可以利用Magma来自动下电商订单、查询天气等日常操作，还能够自动操作实体机器人，甚至在下真实象棋时为用户提供有价值的帮助。

根据官方介绍，Magma可以帮助AI驱动的助手或机器人理解周围环境，并采取相应行动。例如，它可以帮助家用机器人学习如何整理以前从未见过的物品，或帮助虚拟助手为不熟悉的任务生成逐步的用户界面导航说明。