EarthMind 开源多模态大模型亮相，攻克卫星图像像素级识别难题

数智朋克讯，由意大利特伦托大学、德国柏林工业大学及慕尼黑工业大学联合研发的EarthMind开源多模态大模型正式亮相，该模型专为解析复杂地球观测数据而设计。其核心突破在于攻克了卫星图像中建筑物、道路及自然地形等多目标场景的像素级识别难题。

模型创新性集成的空间注意力提示（SAP）模块，通过动态计算分割令牌与图像令牌的交叉注意力图谱，实现对关键区域的精准定位。在推理过程中，SAP持续比对真实标注掩码以优化注意力分布，使模型具备复杂场景下的目标捕捉能力。

针对光学影像与合成孔径雷达（SAR）的多模态特性，EarthMind采用两阶段融合机制：首先通过在线对比学习将异构数据映射至统一语义空间，随后运用邻域感知特征提取技术计算跨模态权重，动态调整不同传感器数据的贡献度，显著提升多源数据协同分析的鲁棒性。

模型架构同步实现多粒度任务协同。视觉编码器、区域编码器与分割编码器分别处理图像级场景分类、区域级目标识别及像素级分割任务，三者生成的特征向量均投影至共享语言空间。这种设计使模型在执行灾害监测时，既能宏观把握受灾范围，又可精确定位损毁建筑，同时生成高精度洪涝淹没区矢量图。

目前该开源项目已应用于自然灾害动态监测与城市空间规划决策领域，其多模态融合框架为地球科学数据分析提供了新的技术范式。