当前位置:
X-MOL 学术
›
Autom. Constr.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Associative reasoning for engineering drawings using an interactive attention mechanism
Automation in Construction ( IF 9.6 ) Pub Date : 2025-01-02 , DOI: 10.1016/j.autcon.2024.105942
Xu Xuesong, Xiao Gang, Sun Li, Zhang Xia, Wu Peixi, Zhang Yuanming, Cheng Zhenbo
Automation in Construction ( IF 9.6 ) Pub Date : 2025-01-02 , DOI: 10.1016/j.autcon.2024.105942
Xu Xuesong, Xiao Gang, Sun Li, Zhang Xia, Wu Peixi, Zhang Yuanming, Cheng Zhenbo
In infrastructure construction, engineering drawings combine graphic and textual information, with text playing a critical role in retrieving and measuring the similarity of these drawings in practical applications. However, existing research primarily focuses on graphics, neglecting the extraction and semantic representation of text. Existing Optical Character Recognition (OCR)-based methods face challenges in clustering text into coherent semantic modules, frequently dispersing related text across different regions. Therefore, this paper proposes a deep learning framework for the semantic extraction of text from engineering drawings. By integrating textual, positional, and image features, this framework enables semantic extraction and represents engineering drawings as knowledge graphs. An interactive attention-based approach is employed for associative retrieval of engineering drawings via subgraph matching. Evaluation on datasets from a transportation design institute and public sources demonstrates the framework's effectiveness in both semantic extraction and relational reasoning.
中文翻译:
使用交互式注意力机制的工程图纸的关联推理
在基础设施建设中,工程图纸结合了图形和文本信息,其中文本在实际应用中检索和测量这些图纸的相似性方面起着关键作用。然而,现有的研究主要集中在图形上,而忽略了文本的提取和语义表示。现有的基于光学字符识别 (OCR) 的方法在将文本聚类为连贯的语义模块时面临挑战,经常将相关文本分散在不同区域。因此,本文提出了一种深度学习框架,用于从工程图纸中语义提取文本。通过集成文本、位置和图像特征,该框架支持语义提取并将工程图纸表示为知识图谱。采用基于注意力的交互式方法,通过子图匹配对工程图纸进行关联检索。对来自交通设计研究所和公共来源的数据集的评估表明,该框架在语义提取和关系推理方面都有效。
更新日期:2025-01-02
中文翻译:

使用交互式注意力机制的工程图纸的关联推理
在基础设施建设中,工程图纸结合了图形和文本信息,其中文本在实际应用中检索和测量这些图纸的相似性方面起着关键作用。然而,现有的研究主要集中在图形上,而忽略了文本的提取和语义表示。现有的基于光学字符识别 (OCR) 的方法在将文本聚类为连贯的语义模块时面临挑战,经常将相关文本分散在不同区域。因此,本文提出了一种深度学习框架,用于从工程图纸中语义提取文本。通过集成文本、位置和图像特征,该框架支持语义提取并将工程图纸表示为知识图谱。采用基于注意力的交互式方法,通过子图匹配对工程图纸进行关联检索。对来自交通设计研究所和公共来源的数据集的评估表明,该框架在语义提取和关系推理方面都有效。