高质量数据集典型案例 | 建筑机器人作业场景感知视觉高质量数据集构建与应用实践

　　推荐单位：住房城乡建设部
　　申报单位：中国建筑第四工程局有限公司、住房和城乡建设部科技与产业化发展中心
　　一、背景
　　建筑机器人作为智能建造的核心载体，其作业效能高度依赖对复杂施工场景的精准感知。针对行业现存数据集规模小、场景覆盖有限、标注精度低等痛点，建立“多源采集－精准标注－动态更新”体系，创新建设与运营模式，突破目标识别、场景感知等难题，构建覆盖环境感知、目标识别、作业评估等全链条的2TB综合性数据集，支撑10余款建筑机器人研发，推动建筑机器人场景感知视觉模型迭代发展。
　　二、方案和成效
　　一是多源协同提升采集效率。通过建立“建筑机器人自带设备+施工现场固定监控+人工补采”三源协同采集模式，并结合数字建造平台图像智能提取技术，采集效率提升80%，采集成本降低40%。
　　二是多级管控提升标注精度。针对环境感知、目标识别、作业评估等核心任务，通过“初标－交叉核验－专家终审”三级质量管控体系，运用“智能算法+人工筛选”双重数据清洗机制，最终形成标准化数据集。
　　三是动态更新扩展场景多样性。针对新施工工艺、新品类建筑机器人和复杂工况，建立“实时采集+定期更新”的动态数据补充机制，日均新增数据量约1.2GB，持续扩展施工场景多样性。
　　四是迭代优化提高建设质量。建立“数据采集-算法优化－机器人迭代”闭环体系，通过机器人传感器实时回传最新作业数据，同步完成标注入库与模型更新，实现数据集与机器人版本的协同进化，提高数据集建设质量。
　　五是搭建平台推动开放共享。中国建筑第四工程局有限公司会同住房和城乡建设部科技与产业化发展中心，搭建多方协同合作平台，联合东南大学、华中科技大学和深圳大学等高校开展10余项科技攻关，共享数据集研发成果与应用经验，促进产学研用深度融合。
　　三、创新点
　　一是创新算法提升检索效率。基于多模态大模型对无标注图片数据进行张量化描述，通过图张量快速匹配算法，实现基于目标对象的视觉数据集快速检索，极大提升目标图像检索效率和视觉数据集的泛化能力。
　　二是融合感知提高感知速度。通过“点云+图像”场景融合感知，将三维点云数据与图像语义分割信息深度融合，实现复杂环境中的障碍物、施工构件位置实时感知，场景感知建模速度较现有方案提升30%。
　　三是多策并举提升感知精度。采用融合点云－像素映射与改进Mask2Former实例分割的两阶段钢筋绑扎点识别算法，索驱钢筋绑扎机器人绑扎点识别精度可达95%，识别定位时间小于35ms。