本文围绕群核科技在GTC2025全球大会上开源的空间理解模型SpatialLM展开,介绍了其功能、特点,与其他模型的差异,以及开源后对具身智能领域的影响,还提及了群核科技的上市申请、技术引擎等相关情况。
在科技领域不断发展的当下,杭州“六小龙”之一的群核科技,于近日举办的GTC2025全球大会上,低调地开源了一款极具创新性的空间理解模型——SpatialLM。
SpatialLM是一个基于大语言模型构建的3D场景语义生成框架。它拥有强大的功能,只需输入一段视频,就能精准地认知和理解该视频所对应的空间点云数据。在此基础上,它还能对这些点云数据进行推理,并对场景进行详细描述,最终将提取到的信息以自然语言的形式呈现出来。
从HuggingFace趋势榜中,我们能感受到海外平台用户对SpatialLM的自发分享热情,这足以显示出它的受关注度。
群核科技创始人黄晓煌在接受国际媒体彭博社采访时明确表示:“开源是为了推动具身智能技术奇点的到来。”
与传统大语言模型不同,SpatialLM取得了重大突破,它打破了对物理世界几何与空间关系的理解局限,赋予了机器类人的空间认知和解析能力。目前,SpatialLM已经在HuggingFace、GitHub、魔搭社区等多个平台面向全球开发者开源。
尽管行业中已经存在对图像、视频进行参数化描述的模型,例如Meta此前发布的Scene模型,但SpatialLM有着自己独特的优势:
其一,相比Meta依赖其眼镜的定制化模式,SpatialLM以普通相机、手机拍摄的视频作为输入,具有更强的通用性,能够让更多用户轻松使用。
其二,它与传感器对物理世界的感知方式不同,SpatialLM运用大语言模型,最终输出的是对3D场景的自然语言描述,并且在未来还将支持原生自然语言与场景数据的交互,为用户带来更加便捷和智能的体验。
其三,也是更为重要的一点,SpatialLM支持对物理世界中空间信息的认知理解和结构化描述。群核科技长期专注于物理空间模拟的技术场景,在过去十余年里积累了海量的三维数据和空间认知数据。基于这些数据训练的模型,具备创建物理正确的空间场景的能力。
SpatialLM模型开源后,将为具身智能领域的企业或机构科研团队提供一个空间认知理解的基础训练框架。特别是对于那些不具备模型开发能力的具身智能企业而言,可以基于SpatialLM模型进行微调,大大降低了具身智能训练的门槛。
同时,SpatialLM模型与去年群核科技发布的空间智能解决方案SpatialVerse之间,形成了一个从空间认知理解到空间行动交互的具身智能训练闭环。其中,SpatialLM模型负责空间认知理解上的基础训练,而SpatialVerse则负责机器人在仿真环境中的行动交互训练。
另一方面,SpatialLM模型让SpatialVerse的数据来源更加开放。它通过将视频转化为结构化场景,把现实世界的数据转化为虚拟环境中的丰富场景。而基于SpatialVerse的合成数据引擎,这些基于SpatialLM模型生成的一个个结构化场景又可以泛化生成亿万级新场景。这就相当于形成了一条 “现实 – 虚拟 – 现实” 的闭环路径,让现实世界成为“数字道场”的原料来源。这样不仅使SpatialVerse的数据更加多样化,同时还能缩小仿真与现实之间的“差距”。
据钛媒体App此前报道,这家目前备受关注的空间智能公司,在今年2月向港交所提交了上市申请,联席保荐人为摩根大通、建银国际。招股书显示,群核科技营业收入由2022年的6亿元增加10.5%至2023年的6.64亿元;2024年前9个月经调整净亏损为9361万元。
早在4个月前,群核科技就对外公开了两大技术引擎:群核科技启真(渲染)引擎和群核矩阵(CAD)引擎,并首次介绍了其技术底层核心——基于GPU高性能计算的物理世界模拟器。在现场,群核科技还推出了群核空间智能平台SpatialVerse,面向AIGC、具身智能、AR/VR等企业开放物理正确的3D空间数据资产、空间认知解决方案以及空间智能训练相关服务。
据悉,目前该平台拥有全球最大的室内场景认知深度学习数据集,此前还与英特尔、慕尼黑工业大学推出全球首个高视觉与物理逼真度环境数据合成与训练仿真平台SPEAR SIM。
群核科技联合创始人兼CEO陈航表示,群核科技是一家以GPU集群和AI技术为底座的科技公司。在过去数年的技术沉淀中,构建了一套物理正确的世界模拟器,并将其运用在基于空间的实时设计渲染、工业生产制造,以及虚拟物理世界训练等场景中。据悉,2024年群核科技全平台平均月活跃访客数为8630万名,旗下酷家乐是全球最大的空间设计平台,在十年发展中沉淀了超过3.6亿的3D模型。
群核科技开源的SpatialLM模型,包括其功能、特点和优势,该模型的开源为具身智能领域提供了基础训练框架,降低了训练门槛,并与SpatialVerse形成训练闭环,还丰富了数据来源。此外,还提及了群核科技的上市申请、技术引擎、平台情况等信息,展现了群核科技在空间智能领域的技术实力和发展潜力。