北部灣位于中國大陸海岸帶西南端、南海西北部,毗鄰東盟和粵港澳大灣區(qū),也是西部陸海新通道平陸運河入海地,戰(zhàn)略地位十分突出。然而,北部灣海域自然災(zāi)害凸顯,熱帶氣旋活動與藻華頻發(fā),給海洋生物帶來了不容小覷的損害,而且廣西貝類支柱產(chǎn)業(yè)的欽州大蠔春季死亡災(zāi)害的發(fā)生與環(huán)境鹽度長期過高有關(guān)。因此,亟需打造融合監(jiān)測、預(yù)警、溯源、防災(zāi)、生態(tài)休閑和線上交易的全產(chǎn)業(yè)鏈智慧海洋牧場服務(wù)平臺 ,為北部灣海洋牧場生態(tài)環(huán)境監(jiān)測和海洋漁業(yè)發(fā)展提供技術(shù)支撐。
1平臺系統(tǒng)設(shè)計與開發(fā)
隨著海洋環(huán)境感知和信息傳輸技術(shù)水平的提升,海洋時空數(shù)據(jù)資源得到了極大豐富,這對海洋數(shù)據(jù)組織管理方法提出了更高的要求,基于網(wǎng)格模型的時空數(shù)據(jù)組織方法為海量、多源異構(gòu)和動態(tài)的海洋大規(guī)模時空數(shù)據(jù)的高效管理提供了途徑。而根據(jù)北斗網(wǎng)格位置碼(GB/T39409-2020),萬世萬物的區(qū)域時間和位置均可在國家地球剖分型域時空框架下賦值、定義,建立融合時空數(shù)據(jù)的北斗網(wǎng)格碼索引將大幅提高海洋空間信息的查詢、組織與管理效率。
1.1 平臺系統(tǒng)設(shè)計技術(shù)原理
本服務(wù)平臺的技術(shù)原理主要包括通訊機制設(shè)計、時空大數(shù)據(jù)預(yù)處理和服務(wù)平臺開發(fā)3部分,保障海洋牧場示范區(qū)數(shù)據(jù)的采集、傳輸、融合、銜接與展示。
服務(wù)平臺不但要求實現(xiàn)海洋地理時空網(wǎng)格化數(shù)據(jù)的自動采集、遠(yuǎn)程傳輸、處理入庫,滿足應(yīng)用示范的要求,而且在此基礎(chǔ)上還需要實現(xiàn)遠(yuǎn)程修改遙測站運行的參數(shù)和通訊參數(shù)。通訊機制總體設(shè)計為:(1)建立了以控制中心為核心的一體化信息系統(tǒng);(2)提供了各分中心自動控制本轄區(qū)海上海下采集的操作平臺,通過通信監(jiān)控前置機,自動采集所有遙測站的數(shù)據(jù)并按照設(shè)定的工作方式發(fā)送到中心;(3)可以對所有運行遙測站進(jìn)行運行參數(shù)設(shè)置,控制采集站的運行;(4)通過移動技術(shù)信道(4G)遠(yuǎn)程自動同時提取所有遙測站的歷史固態(tài)數(shù)據(jù)?;谝苿?G技術(shù)的遠(yuǎn)程數(shù)據(jù)采集技術(shù),實現(xiàn)對遠(yuǎn)程海洋生態(tài)傳感器實施實時監(jiān)控與數(shù)據(jù)采集。
時空大數(shù)據(jù)的管理過程具備一系列的標(biāo)準(zhǔn)約束,以現(xiàn)有大數(shù)據(jù)行業(yè)標(biāo)準(zhǔn)為基礎(chǔ),經(jīng)過一系列對比與分析,篩選出適合海洋牧場大數(shù)據(jù)處理的行業(yè)標(biāo)準(zhǔn),并通過參考現(xiàn)行國際通用標(biāo)準(zhǔn)編制海洋牧場數(shù)據(jù)處理新標(biāo)準(zhǔn),以補充完善海洋大數(shù)據(jù)管理標(biāo)準(zhǔn)體系。依照標(biāo)準(zhǔn),結(jié)構(gòu)化數(shù)據(jù)(關(guān)系數(shù)據(jù)庫)存入Hbase數(shù)據(jù)庫,半結(jié)構(gòu)化數(shù)據(jù)(JSON日志)和二進(jìn)制數(shù)據(jù)(視頻、音頻)等存入HDFS文件。
平臺數(shù)據(jù)主要包含2類: (1)即測數(shù)據(jù)與存儲 ,包括北斗時空網(wǎng)格化數(shù)據(jù),海洋(水上/水下)高精度導(dǎo)航定位數(shù)據(jù),布設(shè)示范區(qū)域海洋大地測量基準(zhǔn)(信標(biāo))與應(yīng)答感知設(shè)備數(shù)據(jù),海上/海下位置服務(wù)原型系統(tǒng)數(shù)據(jù),數(shù)字海洋綜合業(yè)務(wù)系統(tǒng)運行數(shù)據(jù)等;(2)歷史調(diào)查數(shù)據(jù) ,包括“908專項”中國近海海洋綜合調(diào)查與評價資料,其中包含近岸海域、海岸帶、海島、沿海地區(qū)社會經(jīng)濟(jì)等基礎(chǔ)調(diào)查數(shù)據(jù)信息。對數(shù)據(jù)跨越數(shù)據(jù)庫、格式、應(yīng)用等多層次差異的融合管理,將提高數(shù)據(jù)信息的整合與管理水平。
1.2服務(wù)平臺的開發(fā)
數(shù)據(jù)庫、視頻、音頻和日志等海洋多源異構(gòu)數(shù)據(jù)經(jīng)數(shù)據(jù)清洗、轉(zhuǎn)換、質(zhì)檢等步驟按照HDFS、Hcatalog、Hbase、Redis等目標(biāo)存儲庫進(jìn)行分類寫入儲存,以web或日志模塊進(jìn)行數(shù)據(jù)抽取與展示。運用ETL工具進(jìn)行數(shù)據(jù)的清洗與整合,使離散、凌亂的數(shù)據(jù)得以有序入庫。
基于海洋數(shù)據(jù)信息來源廣泛、形式復(fù)雜多樣等特點,本研究引入Hadoop2.2.0框架應(yīng)用于海洋多源異構(gòu)數(shù)據(jù)的存儲、提取、整合與分析等方面。在該集群環(huán)境下,海洋環(huán)境感知系統(tǒng)與數(shù)據(jù)庫通過JBoss服務(wù)器并結(jié)合MapReduce編程模型,將符合查詢條件的數(shù)據(jù)映射給可視化展示平臺。同時,平臺采用J2EE架構(gòu),基于restapi設(shè)計風(fēng)格,持久層采用hibernate、mybatis等相關(guān)框架設(shè)計,主要使用Java編程語言和服務(wù)器端Java技術(shù),通信數(shù)據(jù)包采用輕量級的JSON格式,業(yè)務(wù)應(yīng)用系統(tǒng)和數(shù)據(jù)集成平臺均基于Hadoop2.2.0及oracle11g(或以上)大型數(shù)據(jù)庫上,平臺至少集成HBase、Hive、Im-pala、Sqoop、Phoenix組件?;贖tml5體系和開源ECharts、webGL展現(xiàn)海洋大數(shù)據(jù)。北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺的總體開發(fā)框架如圖1所示。
■北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺
為了提高信息服務(wù)質(zhì)量,平臺運用了WebService客戶端和服務(wù)器使異地用戶自由HTTP通信;引入控制反轉(zhuǎn)和依賴注入消除組件或者模塊間的直接依賴,使得軟件系統(tǒng)的開發(fā)更具擴展性;提升數(shù)據(jù)檢索技術(shù),保證檢索性能和檢索速度,從海量數(shù)據(jù)中提取信息依然流暢。
2平臺功能與應(yīng)用
2.1 平臺主頁面
本研究搭建的北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺web主頁面(圖2)以深藍(lán)色色調(diào)為主,查詢登錄網(wǎng)站為:http://47.92.145.187:8081/front/index,現(xiàn)已免費開放給科研工作者和養(yǎng)殖戶,為北部灣海洋牧場提供海洋生態(tài)數(shù)據(jù)與災(zāi)害預(yù)警信息。
■北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺web主頁面
2.2 平臺主要模塊
(1)海洋牧場高精度位置服務(wù)。 依托海洋大地測量基準(zhǔn)信標(biāo)與應(yīng)答感知設(shè)備,為水面船舶、觀光垂釣平臺、網(wǎng)箱、筏架、蠔排、水下魚礁、AUV、ROV等海洋牧場生產(chǎn)設(shè)施設(shè)備提供高精度的位置信息服務(wù)。
(2)鄰近海域大地水準(zhǔn)面模型分析。 依托海洋大地測量基準(zhǔn)信標(biāo)與應(yīng)答感知設(shè)備,通過解算,在平臺上顯示海洋牧場鄰近海域網(wǎng)格化的大地水準(zhǔn)面數(shù)值。
(3)示范區(qū)水動力數(shù)值模型分析。 顯示水動力要素的網(wǎng)格化空間分布和時間變化,形象生動地表達(dá)計算結(jié)果,為研究近海區(qū)域波浪、潮流、泥沙運動規(guī)律提供科學(xué)決策依據(jù)。
(4)海洋科學(xué)數(shù)據(jù)智能查詢。 通過北部灣經(jīng)濟(jì)區(qū)科學(xué)數(shù)據(jù)智能查詢系統(tǒng)和北部灣經(jīng)濟(jì)區(qū)科學(xué)數(shù)據(jù)輔助分析決策系統(tǒng),進(jìn)行氣候資源、地質(zhì)信息、水文信息等數(shù)據(jù)的可視化、瀏覽、查看、統(tǒng)計展示。
(5)浮標(biāo)信息監(jiān)測與分析。 通過浮標(biāo)采集風(fēng)向、風(fēng)速、表層流速、表層流向、平均波高、波數(shù)、氣溫等海洋物理監(jiān)測數(shù)據(jù)以及水溫、電導(dǎo)率、鹽度、溶解氧、葉綠素濃度、pH等海洋理化監(jiān)測數(shù)據(jù),豐富海洋牧場環(huán)境信息要素。
(6)北部灣海洋牧場雷達(dá)監(jiān)控系統(tǒng)。 通過雷達(dá)遠(yuǎn)距離探知北部灣海域民用船舶航行路線,對危害海洋牧場的偷竊作案船只或肇事船只進(jìn)行追蹤,保障安全生產(chǎn)。
(7)精細(xì)化管理與快速監(jiān)測預(yù)警。 實現(xiàn)示范區(qū)內(nèi)海洋產(chǎn)業(yè)的精細(xì)化管理,為水面船舶、觀光垂釣平臺、網(wǎng)箱、筏架、蠔排、水下魚礁、AUV、ROV等海洋牧場生產(chǎn)設(shè)施設(shè)備提供高精度的位置信息服務(wù)和屬性管理,實現(xiàn)管理者心中有數(shù)、智能決策。同時,實現(xiàn)動態(tài)監(jiān)測預(yù)警,通過計劃模塊和監(jiān)測模塊提供的數(shù)據(jù)進(jìn)行對比分析計算和評分,快速判斷是否進(jìn)行超標(biāo)預(yù)警,并以不同的方式展示計劃與監(jiān)測的現(xiàn)狀數(shù)據(jù)用于輔助決策。
(8)大蠔交易系統(tǒng)與趨勢分析。 通過交易系統(tǒng),統(tǒng)計查詢存放、展示、銷售的大蠔產(chǎn)品,記錄存放的貨物信息,由于需要充分利用存放空間,把不同農(nóng)戶的商品存放在同一區(qū)域,需要精確查找識別不同農(nóng)戶存放的貨品。對所有電商的在庫商品進(jìn)行統(tǒng)計分析,對有保質(zhì)期的商品進(jìn)行有效期檢查,如有發(fā)現(xiàn)即將到期的商品,系統(tǒng)將有提示,電商還可以查詢到商品出貨情況。
3討論
北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺在開發(fā)了示范區(qū)全域時空北斗網(wǎng)格碼的網(wǎng)格化算法基礎(chǔ)上融合了環(huán)境數(shù)據(jù)時空演變、北斗抗干擾多功能數(shù)據(jù)采集、海洋承災(zāi)體脆弱性調(diào)查與評價模型、陸海綜合體核心數(shù)據(jù)庫及入庫標(biāo)準(zhǔn)、水動力數(shù)值模擬模型、海洋大地測量基準(zhǔn)(信標(biāo))與應(yīng)答感知設(shè)備等多項關(guān)鍵數(shù)據(jù)信息與軟硬件內(nèi)容,同時通過優(yōu)化檢索算法增加了網(wǎng)格數(shù)據(jù)索引效率,提升了對海洋牧場生態(tài)環(huán)境、生物資源、氣象、水動力等多源異構(gòu)數(shù)據(jù)的感知與管理水平 ,可為業(yè)內(nèi)從業(yè)者提供借鑒。該平臺示范區(qū)位于欽州茅尾海欽州大蠔主產(chǎn)區(qū),平臺由海洋生態(tài)環(huán)境監(jiān)測、浮標(biāo)信息監(jiān)測與分析、北部灣海洋牧場雷達(dá)監(jiān)控等多元系統(tǒng)組成 ,通過連入相應(yīng)系統(tǒng),可立體監(jiān)測海洋牧場蠔排生產(chǎn)運營狀況與潛在生態(tài)安全威脅。
在當(dāng)今科技高速發(fā)展的形勢下,海洋數(shù)據(jù)感知與傳輸能力不斷提升,海洋數(shù)據(jù)呈現(xiàn)爆炸式增長,但海洋數(shù)據(jù)來源眾多、處理分析復(fù)雜,海洋牧場數(shù)據(jù)管理的信息化水平有待提升?;诤Q蟠髷?shù)據(jù)強時空關(guān)聯(lián)、高耦合等特點,引入基于北斗網(wǎng)格碼的地理時空數(shù)據(jù)組織方法,為海洋大數(shù)據(jù)的高效管理提供助力,同時可為實現(xiàn)現(xiàn)代海洋牧場廣域生態(tài)環(huán)境多維信息化監(jiān)控、發(fā)展現(xiàn)代化海洋牧場甚至全域型海洋生態(tài)牧場奠定基礎(chǔ)。隨著我國海洋牧場戰(zhàn)略空間不斷擴大,在“生態(tài)、精準(zhǔn)、智能、融合”的海洋牧場新階段戰(zhàn)略構(gòu)想理念指導(dǎo)下,通過科學(xué)選址、資源修養(yǎng)護(hù)、安全保障等手段構(gòu)建現(xiàn)代海洋牧場多維動態(tài)立體監(jiān)測體系,打造融合監(jiān)測、預(yù)警、溯源、防災(zāi)、生態(tài)休閑和線上交易的全產(chǎn)業(yè)鏈現(xiàn)代化海洋牧場信息管理平臺,從而達(dá)到“提品牌、增效益、止損失”目標(biāo),促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型升級。
4 結(jié)論
(1)構(gòu)建了集海洋科學(xué)數(shù)據(jù)在線采集分析、海洋災(zāi)害監(jiān)測預(yù)警、海產(chǎn)品全域溯源線上交易功能的智慧服務(wù)平臺。 實現(xiàn)對海洋牧場及其周邊區(qū)域地理時空網(wǎng)格化數(shù)據(jù)轉(zhuǎn)換、存儲與展示,形成一套對應(yīng)的生態(tài)、產(chǎn)業(yè)和生活復(fù)雜陸海監(jiān)管信息采集與分析系統(tǒng),對海洋牧場進(jìn)行精細(xì)化管理以及監(jiān)測預(yù)警。
(2)服務(wù)平臺引入了北斗網(wǎng)格碼算法和北斗/GPS信號水下盲區(qū)的海洋牧場水下高精度位置服務(wù),是該服務(wù)平臺的重要特點。 依托全球剖分網(wǎng)格,將傳統(tǒng)的多邊形空間求交檢索算法轉(zhuǎn)化為網(wǎng)格編碼數(shù)值匹配檢索算法,大幅降低空間檢索的計算復(fù)雜度并提升了空間數(shù)據(jù)的檢索效率。依托水下的海洋大地測量基準(zhǔn)信標(biāo)與應(yīng)答感知設(shè)備,通過海上海下一體化高精度定位算法的解算,建立區(qū)域海洋大地測量基準(zhǔn)與海上/海下綜合位置服務(wù)系統(tǒng),為區(qū)域內(nèi)用戶提供高精度的位置服務(wù)。
(3)服務(wù)平臺促進(jìn)了產(chǎn)業(yè)融合。 平臺主要服務(wù)于欽州“龍門蠔灣”養(yǎng)殖產(chǎn)業(yè)示范區(qū),產(chǎn)業(yè)融合上從海上漁業(yè)向多產(chǎn)業(yè)融合轉(zhuǎn)變,覆蓋廣西欽州本地優(yōu)勢天然蠔苗的繁殖、大蠔養(yǎng)殖與交易,促進(jìn)了產(chǎn)業(yè)增值和生態(tài)保護(hù)的結(jié)合。在傳統(tǒng)海洋數(shù)據(jù)管理信息系統(tǒng)基礎(chǔ)上,利用網(wǎng)絡(luò)數(shù)據(jù)庫、數(shù)據(jù)快速檢索、數(shù)據(jù)網(wǎng)絡(luò)分析、北斗網(wǎng)格碼、可視化等技術(shù)手段與方法構(gòu)建了北部灣海洋牧場地理時空數(shù)據(jù)網(wǎng)格化智慧服務(wù)平臺(查詢登錄網(wǎng)站為http://47.92.145.187:8081/front/index)。該服務(wù)平臺具有界面友好美觀、分辨率高、檢索速度快等特點,可為北部灣海洋牧場提供切實有效的信息服務(wù)與決策支持,促進(jìn)北部灣海洋經(jīng)濟(jì)健康發(fā)展。
來源 | 本文原刊于南寧師范大學(xué)學(xué)報(自然科學(xué)版)2023年第2期