摘要

復(fù)眼全景視頻融合系統(tǒng)采用全景億像素陣列攝像機+低點位攝像機、人工智能算法和全景監(jiān)控平臺的結(jié)合，實現(xiàn)了人員、車輛的多點監(jiān)控、多細節(jié)放大、立體化聯(lián)動等功能，滿足露天礦的大場景應(yīng)用。勝利東二號露天煤礦采場是復(fù)眼全景視頻融合系統(tǒng)應(yīng)用的典型案例，表明在露天煤礦大場景下安全管理應(yīng)用的可行性，貼合露天礦安全管控的實際需求，推動了傳統(tǒng)露天礦現(xiàn)場管理模式的改變，全面助力安全生產(chǎn)及監(jiān)管智能化，促進露天煤礦行業(yè)向安全、智能、高效的方向發(fā)展。

文章來源：《智能礦山》2025年第4期“數(shù)智露天礦技術(shù)與應(yīng)用專題”

第一作者：李英俊，教授級高級工程師，現(xiàn)任中國大唐集團能源投資有限責(zé)任公司董事、總經(jīng)理、黨委副書記，主要從事企業(yè)管理、采礦工程的相關(guān)研究工作。E-mail：931145647@qq.com

作者單位：中國大唐集團能源投資有限責(zé)任公司；內(nèi)蒙古大唐國際錫林浩特礦業(yè)有限公司

引用格式：李英俊，張軍，郭虹兵.復(fù)眼全景視頻融合系統(tǒng)在露天煤礦大場景多目標(biāo)監(jiān)管的應(yīng)用[J].智能礦山，2025，6(4)：47-53.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

隨著AI、物聯(lián)網(wǎng)、數(shù)字孿生等技術(shù)與露天煤礦開采管理的逐步融合，國內(nèi)露天煤礦的開采管理模式正由機械化、自動化向數(shù)字化、智能化快速發(fā)展。國家對露天煤礦采場的監(jiān)控和管理提出了更高要求，為適應(yīng)露天煤礦采場的大場景，提出了復(fù)眼全景視頻融合技術(shù)的應(yīng)用，為露天煤礦采場等大場景及多類型移動設(shè)備全方位安全監(jiān)管，提供可靠的技術(shù)支撐。

復(fù)眼全景視頻融合系統(tǒng)功能及架構(gòu)

復(fù)眼全景視頻融合系統(tǒng)是由復(fù)眼全景視頻感知系統(tǒng)和爆破面監(jiān)控監(jiān)管子系統(tǒng)組成，復(fù)眼全景視頻感知系統(tǒng)由部署在前端的復(fù)眼感知器（含細節(jié)甄別球機）和部署在模塊化機房的復(fù)眼視頻重建存儲一體化服務(wù)器及復(fù)眼全景可視化綜合管理平臺組成；爆破面監(jiān)控監(jiān)管子系統(tǒng)是由部署在模塊化機房的爆破面監(jiān)控監(jiān)管業(yè)務(wù)可視化管理端服務(wù)器及數(shù)據(jù)分析處理平臺部分組成。復(fù)眼全景視頻融合系統(tǒng)組成如圖1所示。

圖1 復(fù)眼全景視頻融合系統(tǒng)組成

1.1 復(fù)眼全景視頻融合系統(tǒng)功能

（1）復(fù)眼感知器是基于仿生學(xué)原理，仿造蜻蜓復(fù)眼結(jié)構(gòu)，通過圖像處理和機器學(xué)習(xí)算法，實現(xiàn)對視頻的實時分析。復(fù)眼感知器將具有鷹眼視力的長短焦光學(xué)鏡頭組成成像陣列，通過復(fù)眼重建算法，重建出具有廣角和特寫兼?zhèn)涞某呖臻g分辨率的圖像。

（2）復(fù)眼視頻存儲重建一體化服務(wù)器包含視頻重建及存儲軟硬件，是復(fù)眼全景視頻感知系統(tǒng)全景視頻重建、像素級融合、視頻存儲的重要處理服務(wù)器。完成對來自復(fù)眼感知器的多路視頻的編碼、視頻重建、像素點級融合工作，并可同步完成復(fù)眼感知器（含細節(jié)甄別球機）及高、低聯(lián)動視頻監(jiān)控等設(shè)備的視頻數(shù)據(jù)的同步存儲、循環(huán)覆蓋、數(shù)據(jù)冗余備份、事件圖片歸檔存儲等，實現(xiàn)歷史記錄數(shù)據(jù)的查詢調(diào)取。

（3）爆破面監(jiān)控監(jiān)管子系統(tǒng)從復(fù)眼視頻重建存儲一體化服務(wù)器獲取視頻流后，對視頻流進行AI分析處理，輸出完整的露天礦生產(chǎn)現(xiàn)場全景視頻監(jiān)控圖像，具備電子圍欄、車輛跟蹤、攝像機聯(lián)動、危險行為預(yù)警等監(jiān)控監(jiān)管功能。全景視頻監(jiān)控圖像具有超大范圍、超高分辨率、基本無畸變等特點，并具備整體性、連續(xù)性等屬性。拼接輸出的視頻監(jiān)控圖像可覆蓋5 km2作業(yè)區(qū)域，水平視場角可達100°，畫面放大后視頻圖清晰顯示細節(jié)?？啥嗳送瑫r動態(tài)縮放全景視頻監(jiān)控圖像，實現(xiàn)對整個生產(chǎn)現(xiàn)場安全生產(chǎn)情況的實時掌握及對安全生產(chǎn)態(tài)勢的宏觀掌控。

1.2 復(fù)眼全景視頻融合系統(tǒng)架構(gòu)

（1）基于非結(jié)構(gòu)陣列感知原理，構(gòu)建非結(jié)構(gòu)陣列像感器多模態(tài)多尺度陣列感知架構(gòu)，建立環(huán)境自適應(yīng)感知模型，根據(jù)感知目標(biāo)、觀測距離、環(huán)境光和天氣的情況，智能調(diào)整每個感知模態(tài)，實現(xiàn)復(fù)雜環(huán)境大視場多對象的魯棒高通量感知，非結(jié)構(gòu)動態(tài)光場感知技術(shù)如圖2所示。

圖2 非結(jié)構(gòu)動態(tài)光場感知技術(shù)

（2）多模態(tài)陣列智能融合方法，刻畫多模態(tài)多尺度圖像之間的關(guān)聯(lián)關(guān)系，通過跨模態(tài)跨尺度映射融合方法，實現(xiàn)多模態(tài)信息的有機融合與高保真重建。

（3）跨尺度場景內(nèi)容映射包括全局尺度映射、特征點池化、局部尺度分塊映射3步。通過全局及局部分尺度特征匹配技術(shù)，通過全局尺度映射找到得到精度高魯棒的匹配點，再通過局部尺度分塊映射優(yōu)化匹配點精度，解決跨尺度匹配中分辨率差距過大造成的匹配難問題；特征點池化技術(shù)提高了映射參數(shù)估計的魯棒性和效率，跨尺度場景內(nèi)容映射如圖3所示。

圖3 跨尺度場景內(nèi)容映射

（4）跨異構(gòu)像感器多尺度高頻遷移融合，跨尺度場景內(nèi)容映射實現(xiàn)了局部到全局的映射，但受限于分塊大小，無法處理細小物體造成的視差。提出跨異構(gòu)像感器多尺度高頻遷移融合網(wǎng)絡(luò)CrossNet，將跨尺度映射的局部圖像與全局圖像進一步對齊并融合。CrossNet包括2級對齊模塊、圖像編碼器、解碼器模塊，多尺度融合網(wǎng)絡(luò)CrossNet如圖4所示。

圖4 多尺度融合網(wǎng)絡(luò)CrossNet

（5）跨異構(gòu)像感器RGB-深度高頻遷移融合，通過多尺度高頻遷移融合提高空間分辨率，跨異構(gòu)像感器多尺度融合應(yīng)用在不同維度數(shù)據(jù)上，通過RGB-深度高頻遷移融合實現(xiàn)高分辨深度感知。輸入全局多視角深度信息和局部高分辨細節(jié)圖像，RGB-深度高頻遷移融合網(wǎng)絡(luò)將高分辨細節(jié)圖像信息和低分辨全局深度信息融合，得到高分辨局部深度圖，跨異構(gòu)像感器RGB-深度高頻遷移融合如圖5所示。

圖5 跨異構(gòu)像感器RGB-深度高頻遷移融合

（6）大場景空間-視角隱式編碼重建，刻畫大場景多對象光場的空間-視角冗余特性，建立非結(jié)構(gòu)層內(nèi)-層間大場景多對象的映射關(guān)系，研究光場空間-視角隱式編碼方法，實現(xiàn)大場景多對象光場的高效高分辨重建。場景空間-視角隱式編碼光場重建方法如圖6所示。

圖6 大場景空間-視角隱式編碼光場重建方法

復(fù)眼全景視頻融合系統(tǒng)特點

復(fù)眼全景視頻融合技術(shù)具有全景相機視頻畫面漫游、多細節(jié)框放大、設(shè)備部署簡單等特點，更好地適應(yīng)像露天采場大場景。在全景相機視頻畫面漫游中對礦場區(qū)域全景監(jiān)控視頻進行畫布漫游操作，通過鼠標(biāo)滾輪放大或縮小全景畫面中的任意區(qū)域，通過框選可放大任何區(qū)域細節(jié)并支持拖動畫面進行位置選擇，全景視頻畫面如圖7所示。

圖7 全景視頻畫面

復(fù)眼全景視頻融合系統(tǒng)最多可支持3個細節(jié)窗口放大功能，多人同時預(yù)覽不同細節(jié)畫面，根據(jù)不同需求實現(xiàn)對作業(yè)現(xiàn)場的全面管控而互不干擾，滿足同時監(jiān)控多個重點區(qū)域的需求。多細節(jié)重點區(qū)域展示如圖8所示。設(shè)備部署包含前端視頻采集終端和后端數(shù)據(jù)分析服務(wù)器2部分，前端設(shè)備可因地制宜部署于已有建筑物或水泥桿體上，后端設(shè)備部署于機房內(nèi)，前后端設(shè)備通過光纖或微波網(wǎng)絡(luò)完成連接，可根據(jù)實際需求實現(xiàn)快速安裝、快速應(yīng)用，設(shè)備現(xiàn)場部署情況如圖9所示。

圖8 多細節(jié)重點區(qū)域展示

圖9 設(shè)備現(xiàn)場部署情況

復(fù)眼全景視頻融合系統(tǒng)解決的問題

露天煤礦覆蓋范圍廣、設(shè)備機動性強、人員活動靈活，隨著開采規(guī)模和產(chǎn)量的不斷擴大，車輛和人員數(shù)量也在不斷增加，對車輛和人員實時定位跟蹤管理十分重要。傳統(tǒng)視頻監(jiān)控系統(tǒng)和技術(shù)對目標(biāo)的跟蹤畫面清晰度較低且對目標(biāo)的識別精度低，無法快速確認目標(biāo)，復(fù)眼全景視頻融合系統(tǒng)通過復(fù)眼全景相機，以及多目標(biāo)識別深度學(xué)習(xí)算法，有效解決了車輛跟蹤速度慢及定位準(zhǔn)確率低的問題。

勝利東二號露天煤礦應(yīng)用情況

勝利東二號露天煤礦（簡稱勝利東二礦）露天煤礦安全管理系統(tǒng)集成了復(fù)眼全景可視化綜合管理平臺。實現(xiàn)了采場精細化、可視化安全生產(chǎn)管理，在采場北側(cè)非工作幫固定點位布設(shè)2臺復(fù)眼全景視頻融合技術(shù)的億像素陣列計算攝像機，陣列攝像機正對主采區(qū)工作面，主要監(jiān)測作業(yè)區(qū)域內(nèi)的人、車活動情況。采集到的視頻數(shù)據(jù)經(jīng)微波基站接入礦山萬兆環(huán)網(wǎng)，經(jīng)視頻存儲重建一體化服務(wù)器，推出耦合后的視頻到視頻界面，并通過AI分析實現(xiàn)智能感知和預(yù)警。

4.1 實現(xiàn)多目標(biāo)高精度識別和感知

勝利東二礦采用的全景超高清視頻流由36個細節(jié)鏡頭通過融合算法拼接，視頻拼接后畫面水平視場角達到90°，整體畫面超過3億像素，可同時清晰觀察1.5 km范圍內(nèi)所有設(shè)備動作及人員活動情況，框選任意區(qū)域均可預(yù)覽4 K清晰畫質(zhì)。目前全景相機點位位于北側(cè)非工作帶，覆蓋區(qū)域如圖10所示。

圖10 全景相機點位覆蓋區(qū)域

復(fù)眼全景視頻融合技術(shù)實現(xiàn)的全景監(jiān)控使得目標(biāo)在空間中的相對位置關(guān)系明顯，便于多目標(biāo)查找。對采場中不同人員和車輛等監(jiān)控目標(biāo)識別精度低的問題，部署對應(yīng)的多目標(biāo)識別深度學(xué)習(xí)算法來解決，實現(xiàn)了在露天采場復(fù)雜環(huán)境下目標(biāo)的高精度識別和感知，多目標(biāo)實時識別如圖11所示。

圖11 多目標(biāo)實時識別

4.2 實現(xiàn)車輛在可控范圍內(nèi)快速跟蹤定位

勝利東二礦各類車輛型號多，傳統(tǒng)車輛設(shè)備終端的跟蹤定位需GIS地圖的圖層展示，再結(jié)合視頻監(jiān)控實時顯示移動車輛等設(shè)備的分布情況。復(fù)眼全景可視化綜合管理平臺依靠部署的車輛跟蹤算法和全景相機聯(lián)合球機的坐標(biāo)轉(zhuǎn)換技術(shù)，實現(xiàn)了對框定車輛的實時跟蹤，解決了對車輛跟蹤速度慢的問題，滿足車輛作業(yè)情況的動態(tài)實時監(jiān)控需求，車輛在可控范圍的跟蹤如圖12所示。

圖12 車輛在可控范圍跟蹤

車輛跟蹤使用改進DeepSORT算法，使用全尺度網(wǎng)絡(luò)（OSNet）替換Deep SORT中的淺層殘差網(wǎng)絡(luò)進行全方位特征學(xué)習(xí)，更好地實現(xiàn)車輛重識別，提高目標(biāo)跟蹤定位準(zhǔn)確性。在全景相機聯(lián)合球機的坐標(biāo)轉(zhuǎn)換技術(shù)中全景系統(tǒng)支持多路低點位接入，實現(xiàn)全景相機與低點位相機聯(lián)動。在全景系統(tǒng)中框選區(qū)域后，球機快速定位至選定區(qū)域，解決了傳統(tǒng)球機無法快速定位的問題。在億像素陣列計算攝像機的全景畫面上發(fā)現(xiàn)目標(biāo)后，自動聯(lián)動低點位相機對局部區(qū)域或具體目標(biāo)進一步特寫放大，以實現(xiàn)對動態(tài)目標(biāo)的快速跟蹤定位，滿足對違章或高風(fēng)險作業(yè)行為的快速確認。全景相機與球機聯(lián)動如圖13所示。

圖13 全景相機與球機聯(lián)動

4.3 實現(xiàn)管控區(qū)域車輛闖入報警

復(fù)眼全景可視化綜合管理平臺依托全景算法實現(xiàn)區(qū)域防控。在有滑坡風(fēng)險或人員墜落風(fēng)險的區(qū)域劃設(shè)電子圍欄，當(dāng)系統(tǒng)檢測到人員或車輛進入管控區(qū)域后會形成報警數(shù)據(jù)，管理人員第一時間發(fā)現(xiàn)異常情況并予以管控。在現(xiàn)場爆破作業(yè)時，為防止人員、車輛誤入爆破區(qū)域造成重大安全事故，在采場全景視頻中劃定爆破面警戒區(qū)，平臺實時監(jiān)控爆破全過程全區(qū)域全細節(jié)，發(fā)現(xiàn)人員或設(shè)備進入警戒區(qū)域，系統(tǒng)快速彈出預(yù)警界面并進行聲光警示，實現(xiàn)現(xiàn)場安全管控。管控區(qū)域車輛闖入報警如圖14所示。

圖14 管控區(qū)域車輛闖入報警

通過復(fù)眼全景視頻融合系統(tǒng)對礦場危險區(qū)域統(tǒng)一管理，減少人工現(xiàn)場監(jiān)管、檢查頻次，降低人員管理成本，提高監(jiān)管效率；及時將監(jiān)控區(qū)域內(nèi)的違規(guī)信息存儲到數(shù)據(jù)庫中，包括時間、地點、快照、視頻等，方便事后查詢?；贏I智能檢測分析、平臺視頻處理等方法，使得復(fù)眼全景視頻融合技術(shù)可以監(jiān)測和預(yù)警車輛是否闖入，減少礦場的安全事故發(fā)生，重點管控區(qū)域電子圍欄如圖15所示。

圖15 重點管控區(qū)域電子圍欄

4.4 實現(xiàn)管控區(qū)域人員違規(guī)下車預(yù)警

復(fù)眼全景可視化綜合管理平臺的檢測算法可自動檢索監(jiān)控畫面內(nèi)是否有人員違規(guī)下車，若發(fā)現(xiàn)有人員出現(xiàn)在監(jiān)控畫面內(nèi)，以紅色線框?qū)θ藛T加以標(biāo)注，并在平臺主界面上彈出預(yù)警信息，管理人員第一時間發(fā)現(xiàn)人員下車并采取管控措施。管控區(qū)域人員闖違規(guī)下車預(yù)警如圖16所示。

圖16 管控區(qū)域人員闖違規(guī)下車預(yù)警

結(jié) 語

復(fù)眼全景視頻融合系統(tǒng)解決了露天礦采場復(fù)雜場景中對目標(biāo)識別精度低、無法快速確認目標(biāo)、對車輛跟蹤響應(yīng)慢和定位準(zhǔn)確率低等問題。在未來的煤礦智能化發(fā)展中，復(fù)眼全景視頻融合系統(tǒng)應(yīng)用到煤礦的其他大場景中，輔助大型復(fù)雜露天環(huán)境、多類型移動設(shè)備的安全監(jiān)控監(jiān)管。復(fù)眼全景視頻融合技術(shù)全面助力安全生產(chǎn)及監(jiān)管智能化，促進煤礦行業(yè)向安全、智能、高效的方向發(fā)展，并對推動整個煤炭行業(yè)持續(xù)蓬勃發(fā)展具有重要的意義。

END

編輯丨李莎

審核丨趙瑞

煤炭科學(xué)研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地，也是行業(yè)最大最權(quán)威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進展的綜合性技術(shù)刊物。

主編：王國法院士

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

聯(lián)系人：李編輯 010-87986441

往期薦讀

• 重磅通知┃關(guān)于召開2024年煤炭清潔高效利用智能化成果發(fā)布暨選煤廠智能化建設(shè)論壇的通知

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2025年訂閱開始了！

• 行業(yè)聚焦┃2024年煤礦智能化重大進展發(fā)布會成功召開

• 《智能礦山》創(chuàng)刊4周年回顧

• 王國法院士煤礦智能化觀點集錦

• 新書訂閱 ┃《中國煤礦智能化發(fā)展報告（2024年）》（王國法，劉峰 主編）

往期特刊

中國煤科特刊

陜煤集團特刊

神東專欄

重大進展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術(shù)特刊

創(chuàng)刊號

版權(quán)聲明

本刊對已出版文章持有電子版、網(wǎng)絡(luò)版及進行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫合作的權(quán)利，稿酬一次性付清，版權(quán)歸本刊與作者共同所有，如不同意，請在投稿時聲明。

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請讀者僅作參考，并自行核實相關(guān)內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑，請立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應(yīng)并做處理，再次感謝您的閱讀與關(guān)注。