高偉達軟件股份有限公司基于對金融風險業(yè)務的深刻理解,結(jié)合公司專業(yè)團隊豐富的金融軟件建設經(jīng)驗與深厚的技術沉淀,研發(fā)推出了外部數(shù)據(jù)整合平臺。
外部數(shù)據(jù)接入整合平臺分四個部分:系統(tǒng)前置、接入層、服務層、接口層。
系統(tǒng)前置主要負責對接外部系統(tǒng)。
接入層負責采集過程中的服務監(jiān)控、源數(shù)據(jù)解析入庫功能。
服務層基于工商、匯法、公安、稅務、萬得、易寶支付等各類業(yè)務數(shù)據(jù)進行數(shù)據(jù)支持和查詢服務支持。包含:通用接口、專用接口、特征指標、決策支持、全景視圖、模型計算。
接口層以WebService、URL、批量形式提供數(shù)據(jù)給業(yè)務系統(tǒng)。為了能對多臺應用服務器資源進行統(tǒng)一調(diào)配、同時實現(xiàn)網(wǎng)絡的負載均衡,引入“總控”。業(yè)務系統(tǒng)所有數(shù)據(jù)查詢請求均通過總控服務器,并通過總控分發(fā)至相應的數(shù)據(jù)查詢應用服務器處理。主要實現(xiàn)并發(fā)控制、同步通訊、異步通訊、同步轉(zhuǎn)異步、負載均衡、異常管理、訪問管理、重試容錯功能。
由于外部源數(shù)據(jù)的分散獨立、平臺異構、標準不統(tǒng)一、模型差別大、冗余度高等狀況,在將其提煉、抽取到外部數(shù)據(jù)管理平臺時必須要進行必要的轉(zhuǎn)換與整合、存儲,設計開放的、可擴展的數(shù)據(jù)模型,利于今后的外部數(shù)據(jù)整合與應用需求,做到外部數(shù)據(jù)統(tǒng)一接入、集中存儲、服務共享。
基于公司成熟的企業(yè)級應用平臺IFS實現(xiàn),采用當前業(yè)界主流技術,基于開放平臺,切合金融業(yè)未來信息技術架構要求,以決策驅(qū)動的框架設計,使本產(chǎn)品具備良好的適用性,高度的靈活性和擴展性。
采用國際先進的數(shù)據(jù)源解析器,針對不同格式的數(shù)據(jù)源采用不同的解析器,如XML文件使用SAX解析、PULL解析和DOM解析,JSON可以使用緩沖區(qū)數(shù)據(jù)解析后入庫。
網(wǎng)絡爬蟲(Web crawler)是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本,它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站,可以自動采集所有其能夠訪問到的頁面內(nèi)容,以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。
設計上應用松耦合的層次結(jié)構,分為接入層,服務層,接口層。采用業(yè)務組件細分重組方式,耦合度低,可根據(jù)業(yè)務的不同細分要求進行組件重組,實現(xiàn)插件化的管理,可即插即用。
借鑒商業(yè)規(guī)則引擎的成熟體系,從業(yè)務角度建模,使用富客戶端技術操作流暢、遵循友好的人機操作體驗為設計原則。通過可視化建模的方式,大幅度降低了操作門檻。
提供用戶身份認證、訪問權限控制等手段保證高安全性,并具備完善的安全管理體系包括技術管理體系、業(yè)務管理體系和內(nèi)控管理體系,能有效保證客戶信息及資料的保密和安全。
在互聯(lián)網(wǎng)大數(shù)據(jù)背景下各類營銷及風險分析模型對于外部數(shù)據(jù)的需求也越來越強烈,因此某商業(yè)銀行組建了全行級的外部數(shù)據(jù)整合平臺,主要內(nèi)容包括1.接入控制、優(yōu)先級控制等服務質(zhì)量保證組件2.外部數(shù)據(jù)接入3.數(shù)據(jù)整合4. 單筆、批量查詢服務5.原單獨業(yè)務條線接入的外部數(shù)據(jù)進行遷移和整合。