引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型構(gòu)建技術(shù)研究

Multimodal large model construction technology for intelligent safety supervision of water diversion projects

王立虎，劉雪梅，李海瑞，陳曉楠

.華北水利水電大學(xué)管理與經(jīng)濟(jì)學(xué)院，450046，鄭州；.華北水利水電大學(xué)數(shù)字孿生水利高等研究院，450046，鄭州；3.中國(guó)南水北調(diào)集團(tuán)中線有限公司，100038，北京）

摘要：隨著“天空地水工”一體化感知體系全面建設(shè)，引調(diào)水工程安全感知數(shù)據(jù)呈現(xiàn)出多源異構(gòu)、規(guī)模龐大、動(dòng)態(tài)變化等復(fù)雜特征，傳統(tǒng)的基于單模態(tài)數(shù)據(jù)分析、挖掘方法在工程安全智慧監(jiān)管場(chǎng)景下面臨明顯的局限性。融合多模態(tài)大模型與知識(shí)圖譜技術(shù)，提出一種“感知—認(rèn)知—決策”的智慧監(jiān)管模式。基于標(biāo)準(zhǔn)規(guī)范、風(fēng)險(xiǎn)應(yīng)急管理資料、巡檢文本及圖像、多光譜遙感影像，微調(diào)多模態(tài)大模型并結(jié)合動(dòng)態(tài)提示策略，構(gòu)建面向工程安全的多模態(tài)知識(shí)圖譜；利用檢索增強(qiáng)生成技術(shù)及知識(shí)圖譜的結(jié)構(gòu)化知識(shí)，提升大模型在專業(yè)領(lǐng)域的可靠性及推理能力；提出多智能體協(xié)同的決策鏈構(gòu)建方法，通過動(dòng)態(tài)任務(wù)編排實(shí)現(xiàn)模型能力耦合，賦能工程安全管理中的風(fēng)險(xiǎn)識(shí)別、評(píng)估及預(yù)案生成業(yè)務(wù)。實(shí)驗(yàn)結(jié)果表明，本研究方法的多模態(tài)知識(shí)提取準(zhǔn)確性高，可支撐引調(diào)水工程安全智慧監(jiān)管。

關(guān)鍵詞：多模態(tài)大模型；多模態(tài)知識(shí)圖譜；安全智慧監(jiān)管；引調(diào)水工程

作者簡(jiǎn)介王立虎，博士研究生，主要從事水利大模型研究。

通信作者：劉雪梅，教授，主要從事數(shù)字孿生水利研究。E-mail：liuxuemei@ncwu.edu.cn

基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃（2024YFC3210802）；國(guó)家自然科學(xué)基金項(xiàng)目（72271091）；2022年度水利部重大科技項(xiàng)目（SKS-2022029）；河南省科學(xué)院科技開放合作項(xiàng)目（220901008）；河南省高等教育重點(diǎn)研發(fā)項(xiàng)目（24A520021）。

DOI：10.3969/j.issn.1000-1123.2025.11.002

研究背景

引調(diào)水工程是國(guó)家水網(wǎng)的重要通道，是保障國(guó)家水安全的重要基礎(chǔ)設(shè)施。隨著“天空地水工”一體化感知體系建設(shè)全面推進(jìn)，引調(diào)水工程安全感知數(shù)據(jù)呈現(xiàn)出多源異構(gòu)、規(guī)模龐大、動(dòng)態(tài)變化等復(fù)雜特征。傳統(tǒng)的基于單模態(tài)數(shù)據(jù)分析、挖掘技術(shù)無法有效整合“天空地水工”多源異構(gòu)數(shù)據(jù)的互補(bǔ)優(yōu)勢(shì)，難以滿足工程安全智慧監(jiān)管需求。以大模型為代表的新一代人工智能技術(shù)是發(fā)展水利新質(zhì)生產(chǎn)力、推進(jìn)水利業(yè)務(wù)智能化的突破口和落腳點(diǎn)。2025年全國(guó)水利工作會(huì)議強(qiáng)調(diào)實(shí)施“人工智能+水利”行動(dòng)，構(gòu)建水利大模型建設(shè)應(yīng)用框架，加強(qiáng)與“2+N”業(yè)務(wù)應(yīng)用體系深度集成。

DeepSeek、GPT、GLM等通用大模型具有突出的泛化性、知識(shí)涌現(xiàn)性，已成為學(xué)術(shù)界、產(chǎn)業(yè)界關(guān)注熱點(diǎn)。水利部信息中心組織研發(fā)的“上善”水利大模型具備“擅學(xué)習(xí)、能交互、會(huì)計(jì)算、可展現(xiàn)”特點(diǎn)；中國(guó)長(zhǎng)江三峽集團(tuán)有限公司研發(fā)的“大禹”大模型，實(shí)現(xiàn)了水電領(lǐng)域?qū)I(yè)知識(shí)的復(fù)雜查詢、精準(zhǔn)響應(yīng)，并應(yīng)用于生產(chǎn)運(yùn)行、運(yùn)維檢修、項(xiàng)目管理及安全規(guī)程等方面；浪潮智慧科技有限公司發(fā)布的浪潮安瀾大模型，通過整合水利行業(yè)相關(guān)法律法規(guī)、政策文件、灌區(qū)地理數(shù)據(jù)等，構(gòu)建了都江堰灌區(qū)水利綜合知識(shí)庫(kù)，憑借DeepSeek實(shí)現(xiàn)了灌區(qū)知識(shí)智能檢索與多輪問答；長(zhǎng)江設(shè)計(jì)集團(tuán)有限公司聯(lián)合華中科技大學(xué)發(fā)布的“千手”大模型，實(shí)現(xiàn)了水庫(kù)、大壩監(jiān)測(cè)數(shù)據(jù)的高效處理與智能預(yù)警。

目前，大模型支撐引調(diào)水工程安全相關(guān)業(yè)務(wù)主要存在以下瓶頸：①引調(diào)水工程安全運(yùn)行數(shù)據(jù)涉及圖像、文本等多種類型，現(xiàn)有大模型尚未具備充分整合多模態(tài)數(shù)據(jù)互補(bǔ)優(yōu)勢(shì)的能力；②大模型存在幻覺、黑箱及推理能力弱等問題，導(dǎo)致其在實(shí)際工程應(yīng)用中存在局限性；③引調(diào)水工程風(fēng)險(xiǎn)場(chǎng)景復(fù)雜，大模型在面對(duì)復(fù)雜風(fēng)險(xiǎn)場(chǎng)景時(shí)的決策能力有限。

本研究融合多模態(tài)大模型與知識(shí)圖譜技術(shù)，提出一種“感知—認(rèn)知—決策”的智慧監(jiān)管模式，主要目標(biāo)如下。

①基于標(biāo)準(zhǔn)規(guī)范、風(fēng)險(xiǎn)應(yīng)急管理資料，巡檢文本及圖像、多光譜遙感影像，微調(diào)多模態(tài)大模型，并結(jié)合動(dòng)態(tài)提示策略，構(gòu)建面向工程安全的多模態(tài)知識(shí)圖譜。

②利用檢索增強(qiáng)生成技術(shù)（Retrieval Augmented Generation，RAG）及知識(shí)圖譜的高質(zhì)量結(jié)構(gòu)化知識(shí)，提升大模型在專業(yè)領(lǐng)域的可靠性及推理能力。

③提出多智能體協(xié)同的決策鏈構(gòu)建方法，通過動(dòng)態(tài)任務(wù)編排實(shí)現(xiàn)模型能力的耦合，以及工程安全管理中的風(fēng)險(xiǎn)識(shí)別、評(píng)估和預(yù)案生成業(yè)務(wù)。

工程安全多模態(tài)大模型構(gòu)建

基于標(biāo)準(zhǔn)規(guī)范、風(fēng)險(xiǎn)應(yīng)急管理資料、巡檢文本及圖像、多光譜遙感影像等數(shù)據(jù)，構(gòu)建引調(diào)水工程安全領(lǐng)域的多模態(tài)大模型，支撐工程安全風(fēng)險(xiǎn)的識(shí)別、評(píng)估、預(yù)案生成任務(wù)。引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型技術(shù)架構(gòu)主要包括多模態(tài)數(shù)據(jù)、多模態(tài)大模型平臺(tái)、業(yè)務(wù)應(yīng)用三部分。

引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型技術(shù)架構(gòu)

1.多模態(tài)數(shù)據(jù)

（1）多模態(tài)數(shù)據(jù)收集

多模態(tài)數(shù)據(jù)包括標(biāo)準(zhǔn)規(guī)范、風(fēng)險(xiǎn)應(yīng)急管理資料、巡檢文本及圖像、多光譜遙感影像等。

標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)涵蓋水利工程安全相關(guān)的國(guó)家和行業(yè)標(biāo)準(zhǔn)規(guī)范，例如《水利部關(guān)于開展水利安全風(fēng)險(xiǎn)分級(jí)管控的指導(dǎo)意見》《水利水電工程（調(diào)水工程）運(yùn)行危險(xiǎn)源辨識(shí)與風(fēng)險(xiǎn)評(píng)價(jià)導(dǎo)則（試行）》等。

風(fēng)險(xiǎn)應(yīng)急管理資料包括風(fēng)險(xiǎn)防控手冊(cè)、專項(xiàng)應(yīng)急預(yù)案等，詳細(xì)描述工程安全管理中的風(fēng)險(xiǎn)類型及相應(yīng)的應(yīng)急處置措施。

巡檢文本及圖像來源于每日工程巡檢記錄、風(fēng)險(xiǎn)巡檢周報(bào)，數(shù)據(jù)模態(tài)涉及圖像和文本兩種，記錄工程安全管理過程中的各類風(fēng)險(xiǎn)。

多光譜遙感影像的時(shí)間尺度為5天，數(shù)據(jù)包含13個(gè)波段（如藍(lán)光波段B1、綠光波段B2等），覆蓋從可見光到近紅外的頻譜范圍?；诓煌ǘ蔚挠?jì)算，可獲取建筑物沉降、位移等風(fēng)險(xiǎn)信息，并結(jié)合經(jīng)緯度及遙感測(cè)量時(shí)間，精準(zhǔn)定位風(fēng)險(xiǎn)發(fā)生的地點(diǎn)和時(shí)間。

（2）多模態(tài)數(shù)據(jù)預(yù)處理

多模態(tài)數(shù)據(jù)預(yù)處理旨在為工程安全智慧監(jiān)管任務(wù)提供統(tǒng)一、規(guī)范的輸入數(shù)據(jù)。由于不同模態(tài)數(shù)據(jù)的采集方式、數(shù)據(jù)結(jié)構(gòu)、時(shí)間尺度和語(yǔ)義粒度存在差異，對(duì)不同模態(tài)數(shù)據(jù)采取不同的數(shù)據(jù)預(yù)處理策略。對(duì)于多光譜遙感影像，首先利用插值法進(jìn)行影像數(shù)據(jù)重采樣，然后通過線性變換對(duì)影像數(shù)據(jù)進(jìn)行波段合成，最后進(jìn)行影像數(shù)據(jù)的裁剪和地物標(biāo)注；對(duì)于風(fēng)險(xiǎn)應(yīng)急管理資料、標(biāo)準(zhǔn)規(guī)范及風(fēng)險(xiǎn)巡檢文本，預(yù)處理過程包括分詞、去噪、編碼轉(zhuǎn)換等；對(duì)于風(fēng)險(xiǎn)巡檢圖像，預(yù)處理過程包括圖像增強(qiáng)、尺寸調(diào)整、空間轉(zhuǎn)換操作等。此外，不同模態(tài)數(shù)據(jù)的樣本數(shù)量不均衡、樣本分布差異明顯，影響模型推理效果。為此，引入時(shí)空對(duì)齊與語(yǔ)義匹配機(jī)制，以提升跨模態(tài)數(shù)據(jù)語(yǔ)義空間的一致性。同時(shí)，引入模態(tài)補(bǔ)齊策略，通過相似度計(jì)算的方式補(bǔ)齊缺失數(shù)據(jù)，緩解數(shù)據(jù)缺失帶來的模型性能問題。

（3）微調(diào)數(shù)據(jù)集構(gòu)建

利用多模態(tài)數(shù)據(jù)微調(diào)大模型，提升大模型在引調(diào)水工程安全領(lǐng)域的適用性。在構(gòu)建微調(diào)數(shù)據(jù)集時(shí)，通常將數(shù)據(jù)組織為多輪對(duì)話列表的形式，每輪對(duì)話包含指令、輸入和輸出三部分。其中，指令表示用戶對(duì)模型的請(qǐng)求或任務(wù)描述，輸入是指模型接收到的文本或圖像，輸出表示模型對(duì)用戶的響應(yīng)或解答。構(gòu)建微調(diào)訓(xùn)練數(shù)據(jù)集首先需要對(duì)多模態(tài)數(shù)據(jù)進(jìn)行標(biāo)簽標(biāo)注，本研究采用正則化匹配的方法對(duì)多模態(tài)數(shù)據(jù)中的相關(guān)知識(shí)進(jìn)行標(biāo)注。然后，通過格式轉(zhuǎn)換將其轉(zhuǎn)換為多輪對(duì)話列表，作為大模型的輸入。以多模態(tài)巡檢文本及圖像為例，標(biāo)簽標(biāo)注與格式轉(zhuǎn)換的過程如下圖所示。

巡檢文本及圖像的標(biāo)簽標(biāo)注與格式轉(zhuǎn)換過程示意

2.基礎(chǔ)大模型選取與微調(diào)

（1）基礎(chǔ)大模型選取

引調(diào)水工程安全智慧監(jiān)管涉及風(fēng)險(xiǎn)的識(shí)別、評(píng)估、預(yù)案生成等任務(wù)，要求大模型具備較強(qiáng)的問題推理、多模態(tài)數(shù)據(jù)解析、數(shù)學(xué)計(jì)算、內(nèi)容生成能力。根據(jù)公開評(píng)測(cè)結(jié)果，DeepSeek-R1、ChatGLM4、Qwen3、QWQ、QVQ等國(guó)產(chǎn)大模型在上述方面能力較強(qiáng)。因此，本研究主要采用上述模型作為基礎(chǔ)大模型，各模型的參數(shù)規(guī)模、支持的數(shù)據(jù)模態(tài)如下表所示。

本研究選用的國(guó)產(chǎn)基礎(chǔ)大模型

（2）基礎(chǔ)大模型微調(diào)

LoRA（Low-Rank Adaptation）是一種高效的參數(shù)調(diào)優(yōu)技術(shù)，該技術(shù)能夠保持模型大部分參數(shù)不變的情況下，僅對(duì)兩個(gè)低秩矩陣進(jìn)行優(yōu)化，大幅降低模型微調(diào)的計(jì)算復(fù)雜度。為提升大模型在引調(diào)水工程安全領(lǐng)域的適用性，利用多輪對(duì)話列表微調(diào)基礎(chǔ)大模型，本研究基于LoRA技術(shù)進(jìn)行大模型微調(diào)。對(duì)于語(yǔ)言大模型DeepSeek-R1、QWQ采用自回歸語(yǔ)言建模、多任務(wù)混合學(xué)習(xí)等微調(diào)策略；對(duì)于多模態(tài)大模型ChatGLM4、Qwen3、QVQ，采用圖文對(duì)比學(xué)習(xí)的微調(diào)策略。

3.多模態(tài)工程安全知識(shí)圖譜構(gòu)建

大模型經(jīng)過微調(diào)后，雖具備一定的領(lǐng)域應(yīng)用能力，但在數(shù)據(jù)時(shí)效性、推理的可解釋性、可追溯性方面仍存在不足。為提升大模型可靠性和推理能力，需構(gòu)建多模態(tài)工程安全知識(shí)圖譜，作為大模型的外部知識(shí)庫(kù)。知識(shí)圖譜是一種結(jié)構(gòu)化的語(yǔ)義網(wǎng)絡(luò)，將不同維度的工程安全知識(shí)抽象為實(shí)體和關(guān)系，實(shí)現(xiàn)工程安全知識(shí)的結(jié)構(gòu)化表征。進(jìn)一步，通過RAG技術(shù)從知識(shí)圖譜中檢索動(dòng)態(tài)知識(shí)，可有效提升大模型響應(yīng)的可靠性與推理能力。多模態(tài)工程安全知識(shí)圖譜的構(gòu)建過程包括本體構(gòu)建、實(shí)體和關(guān)系抽取、知識(shí)圖譜三元組存儲(chǔ)三個(gè)階段。

多模態(tài)工程安全知識(shí)圖譜構(gòu)建過程

（1）本體構(gòu)建

構(gòu)建知識(shí)圖譜本體模型，可為知識(shí)圖譜提供一種標(biāo)準(zhǔn)化、一致化的知識(shí)表示形式。從風(fēng)險(xiǎn)防控的目標(biāo)出發(fā)，各類風(fēng)險(xiǎn)信息是識(shí)別、評(píng)估和處置風(fēng)險(xiǎn)的關(guān)鍵；風(fēng)險(xiǎn)的綜合量值與等級(jí)可用于優(yōu)化資源分配、提升決策效率；適用的風(fēng)險(xiǎn)預(yù)防和處置措施可以減少事故發(fā)生。因此，多模態(tài)工程安全知識(shí)圖譜本體模型主要包含3類概念，即工程安全運(yùn)行中的各類風(fēng)險(xiǎn)信息、衡量風(fēng)險(xiǎn)綜合量值與等級(jí)的風(fēng)險(xiǎn)特征、風(fēng)險(xiǎn)的預(yù)防及控制措施。多模態(tài)工程安全知識(shí)圖譜中實(shí)體和關(guān)系的基本定義、本體模型的邏輯關(guān)系如下圖所示。

實(shí)體和關(guān)系的基本定義

多模態(tài)工程安全知識(shí)圖譜本體模型的邏輯關(guān)系

（2）實(shí)體和關(guān)系抽取

根據(jù)本體定義的概念及關(guān)系，利用微調(diào)后的大模型與動(dòng)態(tài)提示策略提取多模態(tài)數(shù)據(jù)中的實(shí)體和關(guān)系。大模型對(duì)于復(fù)雜的推理任務(wù)通常存在可靠性差、準(zhǔn)確性不足等問題。動(dòng)態(tài)提示策略旨在大模型推理過程中實(shí)時(shí)調(diào)整輸入指令或上下文信息，有效提升模型在復(fù)雜場(chǎng)景下的適應(yīng)能力。融合大模型與動(dòng)態(tài)提取策略的實(shí)體和關(guān)系抽取方法如下。

①動(dòng)態(tài)提示模板構(gòu)建。多模態(tài)工程安全知識(shí)圖譜構(gòu)建的動(dòng)態(tài)提示模板主要包含角色、上下文、約束、輸出格式4個(gè)部分。其中，角色是為了明確大模型的任務(wù)身份，增強(qiáng)指令的遵循性；上下文是指與任務(wù)相關(guān)的背景或細(xì)節(jié)描述；約束是給出推理任務(wù)的硬性要求，以保證大模型輸出的規(guī)范性、可用性；輸出格式明確了輸出規(guī)范，便于后續(xù)的自動(dòng)處理或解析。

多模態(tài)工程安全知識(shí)圖譜構(gòu)建的動(dòng)態(tài)提示模板

②實(shí)體和關(guān)系抽取。根據(jù)本體定義的概念及關(guān)系，抽取多模態(tài)數(shù)據(jù)中的16種實(shí)體、13種關(guān)系。本研究融合大模型與動(dòng)態(tài)提示策略，將實(shí)體和關(guān)系抽取任務(wù)拆分為通用提取、實(shí)體提取、關(guān)系提取共3個(gè)模塊。通用提取模塊是根據(jù)輸入數(shù)據(jù)的來源，將該數(shù)據(jù)中可能出現(xiàn)的實(shí)體類型作為上下文，使用[CLS]與[SEP]分隔符將提示與問題合成指令輸入大模型，獲取輸入數(shù)據(jù)中的實(shí)體類型；實(shí)體提取模塊是根據(jù)要提取的實(shí)體類型，將可能的實(shí)例作為大模型的上下文，獲取輸入數(shù)據(jù)中的各類實(shí)體；關(guān)系提取模塊是根據(jù)獲取到的各類實(shí)體，將實(shí)體間的潛在關(guān)系作為上下文，進(jìn)而獲取輸入數(shù)據(jù)中的實(shí)體關(guān)系三元組。融合大模型與動(dòng)態(tài)提示策略的風(fēng)險(xiǎn)實(shí)體及關(guān)系提取過程如下圖所示。

融合大模型與動(dòng)態(tài)提示策略提取巡檢數(shù)據(jù)中的風(fēng)險(xiǎn)實(shí)體及關(guān)系

（3）知識(shí)圖譜三元組存儲(chǔ)

本研究采用Neo4j圖數(shù)據(jù)庫(kù)存儲(chǔ)知識(shí)圖譜三元組。對(duì)于知識(shí)圖譜中的風(fēng)險(xiǎn)實(shí)體e，構(gòu)造一個(gè)圖節(jié)點(diǎn)ne，以實(shí)體名作為ne的標(biāo)簽，每個(gè)圖節(jié)點(diǎn)由唯一的標(biāo)識(shí)符（如ID或URI）來標(biāo)識(shí)。對(duì)于兩個(gè)實(shí)體之間的關(guān)系r，構(gòu)造一個(gè)有向邊nr，以兩實(shí)體間的關(guān)系類型作為nr邊標(biāo)簽，以關(guān)系權(quán)重作為nr的屬性。所有的知識(shí)圖譜三元組都可以表示為＜實(shí)體，關(guān)系，實(shí)體/屬性值>。

4.基于多模態(tài)知識(shí)圖譜的檢索增強(qiáng)生成

利用RAG技術(shù)從多模態(tài)知識(shí)圖譜檢索結(jié)構(gòu)化動(dòng)態(tài)知識(shí)，可以提升大模型的可靠性及推理能力。下圖給出了基于多模態(tài)知識(shí)圖譜的檢索增強(qiáng)生成過程，主要包含知識(shí)庫(kù)構(gòu)建、知識(shí)檢索與生成兩個(gè)部分。

基于多模態(tài)知識(shí)圖譜的檢索增強(qiáng)生成

（1）知識(shí)庫(kù)構(gòu)建

將多模態(tài)知識(shí)圖譜三元組向量化，構(gòu)建為大模型的外部知識(shí)庫(kù)。本研究采用“實(shí)體-子圖”的雙層嵌入策略，實(shí)現(xiàn)知識(shí)圖譜的向量化。雙層嵌入策略是結(jié)合實(shí)體和子圖兩個(gè)層面，在子圖層面保持較大的知識(shí)單元，提供豐富的上下文信息，在實(shí)體層面確保精準(zhǔn)的語(yǔ)義匹配，旨在平衡精準(zhǔn)匹配與全面的上下文信息。

（2）知識(shí)檢索與生成

檢索外部知識(shí)庫(kù)并將檢索結(jié)果作為大模型的上下文，提升大模型推理的可靠性。給定用戶問題，首先通過“實(shí)體-子圖”的雙層分片結(jié)構(gòu)，進(jìn)行實(shí)體層面的語(yǔ)義相似性計(jì)算，并根據(jù)計(jì)算結(jié)果獲取對(duì)應(yīng)的上下文信息；然后，將檢索的前5項(xiàng)結(jié)果作為提示信息，與用戶問題結(jié)合共同作為大模型的輸入；最后，大模型根據(jù)輸入數(shù)據(jù)進(jìn)行推理，實(shí)現(xiàn)問題響應(yīng)與內(nèi)容生成。

5.多智能體協(xié)同的智能決策鏈構(gòu)建

為提升大模型對(duì)復(fù)雜業(yè)務(wù)的處理能力，需構(gòu)建多智能體協(xié)同的智能決策鏈。多智能體協(xié)同是指通過多個(gè)具備感知、決策、執(zhí)行能力智能體的動(dòng)態(tài)交互與組耦合以完成各項(xiàng)復(fù)雜任務(wù)。當(dāng)面對(duì)引調(diào)水工程安全監(jiān)管中復(fù)雜、多階段的應(yīng)急決策場(chǎng)景時(shí)，大模型需要靈活接入各類外部服務(wù)。本研究提出面向引調(diào)水工程安全的智能決策鏈構(gòu)建技術(shù)，通過目標(biāo)規(guī)劃、任務(wù)拆解、模型編排、流程迭代等關(guān)鍵步驟，有效提升大模型的應(yīng)急決策能力。

多智能體協(xié)同的智能決策鏈構(gòu)建過程

（1）智能體構(gòu)建

構(gòu)建面向引調(diào)水工程安全的智能體，首先需要明確智能體的角色類型。本研究所構(gòu)建的智能體包含場(chǎng)景判定、資源調(diào)度、人機(jī)交互、反饋優(yōu)化4種通用角色，以及風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、預(yù)案生成3種特定角色。其次，需明確各智能體之間的通信及調(diào)度機(jī)制，保障智能體的高效協(xié)作能力。本研究采用提示工程與共享空間相結(jié)合的方式，實(shí)現(xiàn)智能體的通信與調(diào)度。其中，提示工程通過設(shè)計(jì)規(guī)范化的提示模板，使上游智能體以自然語(yǔ)言/結(jié)構(gòu)化方式生成調(diào)用請(qǐng)求，傳遞給下游智能體；共享空間通過建立外部獨(dú)立、內(nèi)部共享的讀寫空間，使所有內(nèi)部智能體均可讀取歷史任務(wù)狀態(tài)、指令、上下游輸入輸出等。

（2）決策鏈設(shè)計(jì)

設(shè)計(jì)多智能體協(xié)同的智能決策鏈需要明確業(yè)務(wù)目標(biāo)、流程、數(shù)據(jù)資源等。本研究利用風(fēng)險(xiǎn)應(yīng)急決策方案、標(biāo)準(zhǔn)規(guī)范、工程巡檢數(shù)據(jù)，按照風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、預(yù)案生成等步驟，實(shí)現(xiàn)工程安全智慧監(jiān)管。進(jìn)一步，通過建立反饋機(jī)制實(shí)時(shí)評(píng)估各智能體的決策過程，優(yōu)化決策鏈的正反算邏輯，本研究采用人工與自動(dòng)化相結(jié)合的實(shí)現(xiàn)方式。一方面，設(shè)定模型的預(yù)期輸出結(jié)果，將實(shí)際輸出與預(yù)期結(jié)果作比較，給出評(píng)價(jià)反饋，用于反向調(diào)優(yōu)決策鏈；另一方面，在應(yīng)急方案生成等關(guān)鍵決策環(huán)節(jié)，采用專家打分、排序等方式進(jìn)行人工審閱和確認(rèn)。

6.支撐業(yè)務(wù)應(yīng)用

為實(shí)現(xiàn)大模型驅(qū)動(dòng)的工程安全智慧監(jiān)管，本研究構(gòu)建風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、預(yù)案生成的智能決策鏈。風(fēng)險(xiǎn)識(shí)別決策鏈分析多模態(tài)工程安全數(shù)據(jù)，識(shí)別其中的各類風(fēng)險(xiǎn)，并結(jié)合多模態(tài)知識(shí)圖譜分析當(dāng)前風(fēng)險(xiǎn)引發(fā)的潛在風(fēng)險(xiǎn)；風(fēng)險(xiǎn)評(píng)估決策鏈分析不同風(fēng)險(xiǎn)的概率性、嚴(yán)重性，并根據(jù)行業(yè)標(biāo)準(zhǔn)確定風(fēng)險(xiǎn)的綜合量值與等級(jí)；預(yù)案生成決策鏈分析不同風(fēng)險(xiǎn)的應(yīng)急處置措施，并生成應(yīng)急預(yù)案。風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估和預(yù)案生成的模型編排與流程設(shè)計(jì)邏輯見下圖。

模型編排與流程設(shè)計(jì)邏輯

（1）風(fēng)險(xiǎn)識(shí)別

記錄工程安全風(fēng)險(xiǎn)的多模態(tài)數(shù)據(jù)主要包括圖像、文本。對(duì)于圖像數(shù)據(jù)，智能決策鏈?zhǔn)紫日{(diào)用圖像分析模型，獲取與當(dāng)前圖像相似度較高的歷史圖像，并提取其風(fēng)險(xiǎn)描述信息；然后，基于提示工程將描述信息作為視覺大模型的上下文，辨識(shí)圖像中的風(fēng)險(xiǎn)信息。對(duì)于文本數(shù)據(jù)，結(jié)合思維鏈策略與文本大模型，逐步識(shí)別文本中的風(fēng)險(xiǎn)信息。在此基礎(chǔ)上，對(duì)多模態(tài)知識(shí)圖譜進(jìn)行檢索，獲取圖譜中風(fēng)險(xiǎn)因子、風(fēng)險(xiǎn)事件、風(fēng)險(xiǎn)后果間的關(guān)聯(lián)關(guān)系，分析當(dāng)前風(fēng)險(xiǎn)的潛在驅(qū)動(dòng)因素或可能引發(fā)的相關(guān)風(fēng)險(xiǎn)。

（2）風(fēng)險(xiǎn)評(píng)估

基于引調(diào)水工程安全行業(yè)標(biāo)準(zhǔn)，設(shè)計(jì)面向工程安全風(fēng)險(xiǎn)評(píng)估的智能決策鏈。首先，智能決策鏈執(zhí)行知識(shí)檢索，獲取存儲(chǔ)在多模態(tài)知識(shí)圖譜中的風(fēng)險(xiǎn)嚴(yán)重度；其次，調(diào)用概率統(tǒng)計(jì)模型，通過計(jì)算不同風(fēng)險(xiǎn)的發(fā)生次數(shù)與樣本總數(shù)比值，確定不同風(fēng)險(xiǎn)的發(fā)生概率；最后，調(diào)用風(fēng)險(xiǎn)矩陣模型，計(jì)算風(fēng)險(xiǎn)嚴(yán)重度與發(fā)生概率的乘積，獲取風(fēng)險(xiǎn)的綜合量值，并根據(jù)多模態(tài)知識(shí)圖譜中風(fēng)險(xiǎn)量值區(qū)間與風(fēng)險(xiǎn)等級(jí)的對(duì)應(yīng)關(guān)系，確定風(fēng)險(xiǎn)等級(jí)。

（3）預(yù)案生成

對(duì)于預(yù)案生成，智能決策鏈需針對(duì)不同風(fēng)險(xiǎn)，生成不同的應(yīng)急預(yù)案。首先，根據(jù)不同的風(fēng)險(xiǎn)事件，檢索與該風(fēng)險(xiǎn)相關(guān)的歷史案例以及風(fēng)險(xiǎn)處置的行業(yè)標(biāo)準(zhǔn)、業(yè)務(wù)規(guī)則，形成大模型的上下文信息；然后，文本大模型結(jié)合問題信息與上下文信息，生成符合當(dāng)前場(chǎng)景的應(yīng)急響應(yīng)方案；最后，結(jié)合風(fēng)險(xiǎn)響應(yīng)方案與應(yīng)急預(yù)案模板，通過預(yù)案生成模型完成應(yīng)急預(yù)案的構(gòu)建與生成。

模型驗(yàn)證與分析

1.評(píng)估指標(biāo)

本研究利用精確率（）、召回率（）和作為評(píng)估指標(biāo)，對(duì)本文模型進(jìn)行有效性評(píng)估。其中，精確率衡量模型的分析結(jié)果中有多少是正確的，召回率衡量模型正確分析結(jié)果的樣本覆蓋度，值為精確率、召回率的調(diào)和平均值，用于評(píng)估模型的綜合性能。精確率、召回率和的值越大，表示模型性能越好。精確率、召回率和分別定義如下：

式中，表示分析結(jié)果正確的正樣本數(shù)量，表示分析結(jié)果錯(cuò)誤的正樣本數(shù)量，表示分析結(jié)果錯(cuò)誤的負(fù)樣本數(shù)量。

2.結(jié)果與討論

（1）知識(shí)抽取結(jié)果分析

知識(shí)抽取是一種檢驗(yàn)大模型掌握和運(yùn)用領(lǐng)域知識(shí)能力的方式。本研究構(gòu)建的多模態(tài)大模型不僅能夠利用圖像、文本等工程安全管理數(shù)據(jù)抽取實(shí)體和關(guān)系，還通過“微調(diào)+動(dòng)態(tài)提示”的方式進(jìn)一步提升知識(shí)抽取準(zhǔn)確率和計(jì)算效率，下表給出了不同模型在多模態(tài)數(shù)據(jù)上進(jìn)行知識(shí)抽取的結(jié)果。在模型準(zhǔn)確性方面，可以發(fā)現(xiàn)DeepSeek-R1結(jié)合微調(diào)與動(dòng)態(tài)提示策略，識(shí)別精確率、召回率、均值分別達(dá)到0.832、0.826、0.827，識(shí)別準(zhǔn)確性最優(yōu)。實(shí)驗(yàn)結(jié)果說明，利用領(lǐng)域數(shù)據(jù)微調(diào)后的DeepSeek-R1更加理解工程安全風(fēng)險(xiǎn)的相關(guān)概念和邏輯，在微調(diào)的基礎(chǔ)上結(jié)合動(dòng)態(tài)提示策略，通過實(shí)時(shí)調(diào)整輸入指令或上下文信息，進(jìn)一步提升了模型在復(fù)雜場(chǎng)景下的適應(yīng)能力。在模型效率方面，可以發(fā)現(xiàn)推理模型DeepSeek-R1、QWQ、Qwen3的總體效率低于ChatGLM4模型。這是由于推理模型采用了混合專家、長(zhǎng)鏈思維等策略，使推理過程更加復(fù)雜，模型的計(jì)算效率更低。本研究基于微調(diào)與動(dòng)態(tài)提示策略，通過輸入上下文信息引導(dǎo)模型快速聚焦當(dāng)前任務(wù)的語(yǔ)義空間，使其能夠在保持復(fù)雜推理能力的同時(shí)，實(shí)現(xiàn)更具針對(duì)性的快速響應(yīng)。

不同模型在風(fēng)險(xiǎn)識(shí)別任務(wù)上的實(shí)驗(yàn)結(jié)果

（2）知識(shí)圖譜構(gòu)建結(jié)果分析

本研究利用多模態(tài)數(shù)據(jù)構(gòu)建了引調(diào)水工程安全知識(shí)圖譜。工程安全知識(shí)圖譜主要包含風(fēng)險(xiǎn)事件、風(fēng)險(xiǎn)類型、風(fēng)險(xiǎn)點(diǎn)、控制措施、處置措施等實(shí)體。其中，某風(fēng)險(xiǎn)點(diǎn)（見下圖）輸水渠道面臨襯砌板隆起、渠道滲漏、渠坡失穩(wěn)等風(fēng)險(xiǎn)事件，襯砌板隆起可誘發(fā)渠道滲漏，而渠道滲漏可能導(dǎo)致渠坡失穩(wěn)，呈現(xiàn)出明顯的鏈?zhǔn)絺鞑リP(guān)系。此外，針對(duì)渠坡失穩(wěn)的控制措施包括：采用塊石、編織袋等對(duì)渠堤外坡進(jìn)行防護(hù)，配合調(diào)度運(yùn)行降低上游渠道的運(yùn)行水位，在一級(jí)馬道外側(cè)植入鋼管樁，以及采用防水膜覆蓋變形體外露區(qū)域等。在工程安全監(jiān)管過程中，上述知識(shí)可用于辨識(shí)潛在隱患，評(píng)估風(fēng)險(xiǎn)的綜合量值水平，生成不同風(fēng)險(xiǎn)的應(yīng)急處置措施。

引調(diào)水工程安全知識(shí)圖譜某風(fēng)險(xiǎn)點(diǎn)分析

（3）風(fēng)險(xiǎn)識(shí)別結(jié)果分析

對(duì)工程安全運(yùn)行過程中的各類風(fēng)險(xiǎn)進(jìn)行識(shí)別，并結(jié)合知識(shí)圖譜的拓?fù)浣Y(jié)構(gòu)辨識(shí)潛在風(fēng)險(xiǎn)，4類風(fēng)險(xiǎn)的識(shí)別精確率、召回率和值如下表所示。可以看到，4類風(fēng)險(xiǎn)的識(shí)別精確率、召回率和的平均值分別為0.893、0.724和0.838。其中，人為風(fēng)險(xiǎn)的識(shí)別效果最差，管理風(fēng)險(xiǎn)的識(shí)別效果最優(yōu)。不同風(fēng)險(xiǎn)的關(guān)聯(lián)關(guān)系如下圖所示，圖中節(jié)點(diǎn)的大小表示節(jié)點(diǎn)度，即與該節(jié)點(diǎn)相連的邊數(shù)量，兩節(jié)點(diǎn)間的邊寬度表示關(guān)系權(quán)重?？梢钥吹剑L(fēng)險(xiǎn)節(jié)點(diǎn)“襯砌板裂縫”“襯砌板下滑、隆起”“一級(jí)馬道產(chǎn)生縱向裂縫”的節(jié)點(diǎn)度較高，表明與這些風(fēng)險(xiǎn)節(jié)點(diǎn)相連的節(jié)點(diǎn)較多，即由該風(fēng)險(xiǎn)引發(fā)的其他風(fēng)險(xiǎn)或?qū)υ擄L(fēng)險(xiǎn)產(chǎn)生影響的風(fēng)險(xiǎn)較多。通過對(duì)比可以發(fā)現(xiàn)，“襯砌板裂縫”與“襯砌板下滑、隆起”之間的關(guān)系權(quán)重高于“襯砌板裂縫”與“一級(jí)馬道產(chǎn)生縱向裂縫”之間的關(guān)系權(quán)重，這表明當(dāng)“襯砌板裂縫”事件發(fā)生時(shí)，“襯砌板下滑、隆起”的事件發(fā)生概率要高于“一級(jí)馬道產(chǎn)生縱向裂縫”。在工程安全監(jiān)管過程中，應(yīng)加強(qiáng)關(guān)注節(jié)點(diǎn)度較大的風(fēng)險(xiǎn)事件，以減少潛在隱患。考慮到不同風(fēng)險(xiǎn)之間的關(guān)聯(lián)強(qiáng)度不同，應(yīng)建立差異化管理機(jī)制，提升管理效率與能力。

四類風(fēng)險(xiǎn)事件實(shí)體知識(shí)融合的準(zhǔn)確率水平

知識(shí)圖譜中風(fēng)險(xiǎn)事件的關(guān)聯(lián)關(guān)系

（4）應(yīng)急預(yù)案生成結(jié)果分析

多模態(tài)工程安全大模型根據(jù)風(fēng)險(xiǎn)識(shí)別和分析結(jié)果，針對(duì)可能發(fā)生的事故生成專門的應(yīng)急預(yù)案?？紤]到風(fēng)險(xiǎn)情景的不確定性，用戶可以要求大模型推薦多個(gè)方案供參考，并根據(jù)方案的適用性進(jìn)行排序，生成應(yīng)急預(yù)案集合。使用歷史風(fēng)險(xiǎn)處置案例進(jìn)行測(cè)試，觀察在不同集合大小的設(shè)定下，應(yīng)急預(yù)案集合是否包含正確的處置方案，對(duì)大模型的預(yù)案生成能力進(jìn)行定量評(píng)價(jià)。下表給出了推薦集合的前1、3、5個(gè)方案命中正確方案的精確率、召回率和值?？芍?，本研究方法生成風(fēng)險(xiǎn)應(yīng)急預(yù)案的精確率、召回率和總體高于0.7。其中，正確方案位于推薦方案集合首位的準(zhǔn)確率為0.723，位于前3的準(zhǔn)確率為0.743，位于前5的準(zhǔn)確率為0.754。在工程安全監(jiān)管過程中，可根據(jù)現(xiàn)場(chǎng)資源與響應(yīng)需求動(dòng)態(tài)設(shè)定“僅采納首選方案”或“多方案并行”策略，實(shí)現(xiàn)“快速預(yù)案+人工審定”的人機(jī)混合決策流程，既可以保證推理效率，又兼顧安全與合規(guī)。

推薦集的前個(gè)方案為正確方案的評(píng)估指標(biāo)值

（5）面向工程安全的多模態(tài)大模型平臺(tái)

本研究利用Ollama平臺(tái)發(fā)布引調(diào)水工程安全智慧監(jiān)管大模型，并基于Dify平臺(tái)將多模態(tài)大模型集成至業(yè)務(wù)工作流。以風(fēng)險(xiǎn)事件“邊坡開裂、垮塌”為例進(jìn)行多輪問答，大模型響應(yīng)結(jié)果如下圖所示?？梢钥吹?，本文所構(gòu)建的多模態(tài)大模型可以準(zhǔn)確識(shí)別巡檢文本中的風(fēng)險(xiǎn)地點(diǎn)“截流溝”和風(fēng)險(xiǎn)事件“邊坡開裂、垮塌”。同時(shí)，也識(shí)別到了巡檢圖像描繪的風(fēng)險(xiǎn)信息，提取了風(fēng)險(xiǎn)事件。在此基礎(chǔ)上，評(píng)估了該風(fēng)險(xiǎn)影響的多個(gè)渠段，以及對(duì)應(yīng)的風(fēng)險(xiǎn)等級(jí)。最后，多模態(tài)大模型根據(jù)檢索到的知識(shí)庫(kù)內(nèi)容，生成了“邊坡開裂、垮塌”的風(fēng)險(xiǎn)基本特征、風(fēng)險(xiǎn)量值、風(fēng)險(xiǎn)控制措施等。

風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、預(yù)案生成的模型響應(yīng)結(jié)果

結(jié)論

本研究融合多模態(tài)大模型與知識(shí)圖譜技術(shù)，提出一種“感知—認(rèn)知—決策”的工程安全智慧監(jiān)管模式。案例研究結(jié)果表明，本研究方法可以有效支撐引調(diào)水工程安全智慧監(jiān)管，主要結(jié)論如下。

①利用標(biāo)準(zhǔn)規(guī)范、風(fēng)險(xiǎn)應(yīng)急管理資料、巡檢文本及圖像、多光譜遙感影像對(duì)多模態(tài)大模型進(jìn)行微調(diào)，提高了模型在工程安全領(lǐng)域的適用性。融合多模態(tài)大模型與動(dòng)態(tài)提示策略，實(shí)現(xiàn)了實(shí)體和關(guān)系的聯(lián)合提取，構(gòu)建了面向引調(diào)水工程安全的多模態(tài)知識(shí)圖譜。

②利用多模態(tài)知識(shí)圖譜為大模型提供結(jié)構(gòu)化知識(shí)，解決了大模型在問題響應(yīng)過程中的數(shù)據(jù)時(shí)效性、推理可解釋性、可追溯性問題，提升了大模型的可靠性及推理能力。

③構(gòu)建了多智能體協(xié)同的智能決策鏈，提升了大模型對(duì)復(fù)雜業(yè)務(wù)的處理能力，有效支撐了工程安全監(jiān)管中的風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、預(yù)案生成業(yè)務(wù)。

受案例數(shù)量和知識(shí)覆蓋度的限制，大模型采用了基于風(fēng)險(xiǎn)矩陣的風(fēng)險(xiǎn)評(píng)估方式，通過風(fēng)險(xiǎn)事件的概率性和嚴(yán)重性確定風(fēng)險(xiǎn)等級(jí)，因而風(fēng)險(xiǎn)評(píng)估的精細(xì)化水平有待提高。未來研究將考慮引入結(jié)構(gòu)穩(wěn)定性計(jì)算智能體，通過調(diào)用有限元計(jì)算進(jìn)行結(jié)構(gòu)穩(wěn)定性分析，提高風(fēng)險(xiǎn)評(píng)估的精細(xì)化水平。

Abstract: With the comprehensive development of the “sky-space-earth-water-project” integrated monitoring system, safety management data of water diversion projects exhibit characteristics of multi-source heterogeneity, large volume, and dynamic complexity. Traditional analysis and mining methods based on single-modality data face significant limitations in the context of intelligent safety supervision. By integrating multimodal large models with knowledge graph technology, an intelligent supervision paradigm of “perception–cognition–decision” is proposed. Based on standards and specifications, risk and emergency management materials, inspection texts and images, and multispectral remote sensing imagery, a multimodal large model is fine-tuned and combined with a dynamic prompting strategy to construct a multimodal knowledge graph for engineering safety. Retrieval augmented generation (RAG) and the structured knowledge within the knowledge graph are employed to enhance the model’s reliability and reasoning capability in specialized domains. A collaborative multi-agent decision chain construction method is introduced, enabling the coupling of model capabilities through dynamic task orchestration to support risk identification, assessment, and contingency planning in safety management. Experimental results show that the proposed method achieves high accuracy in multimodal knowledge extraction, providing effective support for intelligent safety supervision of water diversion projects.

Keywords: multimodal large model; multimodal knowledge graph; intelligent safety supervision; water diversion projects

本文引用格式：

王立虎劉雪梅李海瑞等.引調(diào)水工程安全智慧監(jiān)管多模態(tài)大模型構(gòu)建技術(shù)研究[J].中國(guó)水利，2025（11：8-19.

責(zé)編呂彩霞

校對(duì)｜劉磊寧

審核王慧

監(jiān)制軒瑋

---

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請(qǐng)讀者僅作參考，并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問或質(zhì)疑，請(qǐng)立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應(yīng)并做處理，再次感謝您的閱讀與關(guān)注。