学术成果

LuoJiaNet Group

2022年

此刻,LuoJia“双子”向全世界开放!

来源:    时间 : 2022-06-13     阅读:

当遥感图像逐渐成为

生活中必不可少的信息资源

你是否为电脑处理图像

效率太低而烦恼

别急,LuoJia“双子”来啦

LuoJiaNET和LuoJiaSET

让电脑在处理图像的过程中

越来越“聪明”

快和珞珞珈珈一起来了解吧

能解译,能画画

由武汉大学与华为团队联合打造的全球首个遥感影像智能解译专用深度学习框架“LuoJiaNET”和业界最大遥感影像样本库“LuoJiaSET”在华为昇思社区上线啦,LuoJia“双子”可以向全世界用户开源、开放,并接受公众的性能测试、应用开发。

目前,遥感图像渐渐成为人们日常生活中必不可少的信息资源,也越来越依赖电脑对其进行分类、检索、辨识等工作,而电脑完成这些工作需要解译软件。

▲LuoJiaSET、LuoJiaNET图标

LuoJiaNET就是一款遥感影像智能解译软件,通过人工智能深度学习,让电脑处理图像越来越“聪明”。该项目负责人武汉大学遥感信息工程学院胡翔云教授表示:“图像是由像素组成的,遥感解译的一大任务就是要给每一个像素贴标签,这个点到底是什么,是水是树还是草地?就是遥感分类,也是遥感解译中的核心问题。”

而目前通常的做法是,将一张大图裁成碎片,再一张张解析合并成大图。LuoJiaNET从最开始的底层框架设计就走整体大图片的逻辑路线,识别一个点,可以把周围的很多信息关联起来,既见森林,又见树木,以此辨析得更准确。“使用算子等价分解的分布式计算方式,对整张大幅遥感影像进行直接处理。”整个过程如同画一幅《千里江山图》,胸中有丘壑,笔下生风雷,“在解译精度上有了明显提高”,胡翔云教授对此颇为自豪。

▲LuoJiaNET遥感图像解译处理策略对比

500万张藏量的“题库”

LuoJiaSET是一个储藏量非常丰富的遥感影像样本库。LuoJiaNET的特长在于能够深度学习,在学习中逐渐完善,就像一个人学习需要不断刷题,而LuoJiaSET就是LuoJiaNET的“题库”,“题库越大,刷题越勤,考分就越高。”胡翔云解释说,“LuoJiaSET解决了解译软件的数据源问题,遥感影像样本库库容量够大,覆盖的种类够多,才更能发挥软件的优势。”

相比较国外其他遥感影像样本库,LuoJiaSET具有500万张以上(国际上遥感图像样本的大小通常以512×512为一张)的样本量,“预计今年可以升到1000万张以上,翻一倍。就如同一个‘容器’,全世界的人都可以很方便地往里面添加数据、内容。LuoJiaNET作为底层,LuoJiaSET作为样本,所有人都可以在上面贡献数据、模型、算法,这样就可以形成一个生态。我们希望两三年内它们能变成我国遥感业界使用最广泛的系统,并推向全世界。”

▲团队进行开发小组会议

他们,正走向全世界

在武汉大学龚健雅院士的关心和指导下,LuoJiaNET汇集了遥感学院、测绘遥感信息工程国家重点实验室、计算机学院中青年学术骨干的武汉大学团队和华为公司MindSpore框架团队合作研发的,双方共享知识产权,联合申请发明专利。

目前,LuoJiaNET团队约12人,平均年龄27岁,在张觅副研究员带领下,与华为昇腾团队合作,1年半来开发了822兆(约388万行)代码,终于搭建出LuoJiaNET系统。这个系统包含一套新的深度学习框架和遥感场景分类、目标检测、地物分类、变化检测、多视角三维重建等五大类基础遥感应用模型。

▲张觅正在开发LuoJiaNET

LuoJiaNET与LuoJiaSET还只是一个雏形,需要更多领域的人们在其基础上继续应用开发、填充影像样本库。因此,项目团队将软件开源,“我们不仅将它放在了华为的公开社区,也放在了海外网站上,欢迎所有人都来我们这里‘搬砖’,做大朋友圈”,胡翔云教授幽默地告诉珞珞珈珈。

如同电脑里的Windows、手机里的鸿蒙,LuoJiaNET也是一款基础软件,“好比一座房子,LuoJiaNET就是建房子的砖,任何人都可以在其基础之上再开发各种应用软件,拿着我们的砖去盖不同的房子。”胡翔云教授表示,“比如现在热门的自动驾驶,车载相机在行驶中要进行图像辨识、解析,其模型也可以基于它来构建。未来这些‘砖头’搭建在手机上、卫星上,都没有问题。”

而LuoJiaSET相当于一个还未填充满的“题库”,全世界的人们都可以往里面填充数据,“增添题目”,让LuoJiaNET“刷更多的题”,发挥更强大的作用。

胡翔云教授表示,“LuoJiaNET完全是我们自主研发的。它支持主流的CPU、GPU和Windows、Linux操作系统,并对华为的昇腾NPU人工智能软硬件做了优化。遥感是一个战略技术,LuoJiaNET可以实现我国遥感解译领域的自主可控。”

▲武汉大学研发团队,胡翔云(左五),张觅副研究员(左六,负责LuoJiaNET)、姜良存副研究员(左四,负责LuoJiaSET)

388万行代码

500万张以上的样本量

LuoJia”双子“

集结了研发团队日夜辛勤的汗水

自力更生,自主创新

走向世界,造福人类

武大科研人

一直在路上!


上一条:GSIS关注 | 《LuoJiaSET/LuoJiaNET产业应用白皮书》重磅发布(附下载地址)

下一条:武汉大学智能遥感解译LuoJiaNET框架与LuoJiaSET样本库正式上架华为昇思社区