定 ?位

金蝶Apusic大數據(ju)融(rong)合套件(jian)(以下(xia)簡稱套件(jian))高性(xing)yue)芎Aliang)數據(ju)集成、交換、傳輸的(de)專業軟件(jian),通(tong)過強大的(de)數據(ju)處(chu)理能力,可(ke)以便(bian)捷地將大數據(ju)環境下(xia)的(de)各種數據(ju)資源和各個異構系(xi)統存儲的(de)大量(liang)的(de)數據(ju)整合成完整的(de)、一致(zhi)的(de)、準確的(de)、可(ke)集中存取(qu)的(de)高質量(liang)數據(ju),協助用戶實(shi)現數據(ju)資源整合和數據(ju)價值挖(wa)掘(jue),有xing)?俳ju)資源的(de)開發(fa)利用。

用戶面臨的(de)挑戰

近些年來(lai),我國的(de)信息化進程大大加快,大量(liang)的(de)基礎業務系(xi)統在不斷xi)de)被(bei)搭建(jian)起來(lai)。新老業務系(xi)統不斷融(rong)合,支撐著(zhou)整個業務系(xi)統的(de)運轉。隨(sui)著(zhou)業務規模逐年擴大,應用系(xi)統之間數據(ju)交換的(de)需求(qiu)越來(lai)越強烈。數據(ju)集成業務的(de)數據(ju)量(liang)、交換頻度qu) 叢佣榷莢謁sui)業務規模成倍的(de)增(zeng)長(chang),導致(zhi)數據(ju)交換暴露(lu)出的(de)問題也越來(lai)越多(duo)。這對現有的(de)集成業務建(jian)設與(yu)管理帶來(lai)的(de)巨(ju)大的(de)挑戰。

接(jie)入系(xi)統越來(lai)越多(duo),接(jie)入難(nan)度越來(lai)越大,接(jie)入速(su)度越來(lai)越慢

由于業務系(xi)統種類繁多(duo),必然出現不同(tong)的(de)技術(shu)實(shi)現,導致(zhi)組(zu)織內存在多(duo)個完全異構業務系(xi)統。上級部門和下(xia)級部門采用不同(tong)的(de)管理軟件(jian),部門和部門各自采用適合本身業務特(te)點的(de)信息系(xi)統等情況隨(sui)處(chu)可(ke)見,使獲取(qu)不同(tong)業務系(xi)統數據(ju)的(de)工作(zuo)變得困難(nan)和復雜。

大數據(ju)環境下(xia)集成技術(shu)多(duo)樣性(xing)與(yu)復雜性(xing)

業務系(xi)統數據(ju)交換與(yu)集成需求(qiu)的(de)特(te)點是復雜且具(ju)有多(duo)樣性(xing)。
集成方式(shi)︰面臨數據(ju)集成,文件(jian)交換,服務集成多(duo)種集成方式(shi);
資源形態(tai)多(duo)樣性(xing)︰需要支持關系(xi)數據(ju)庫表、NoSQL、結構化半結構化文件(jian)、HDFS、流(liu)式(shi)數據(ju)、Web服務,特(te)定應用適配器(qi)等多(duo)種數據(ju)介質存儲和數據(ju)管道;
數據(ju)抽取(qu)方式(shi)︰支持全量(liang)數據(ju)和變化增(zeng)量(liang)數據(ju)抽取(qu)捕獲;
交換時效(xiao)性(xing)︰支持間隔調度qu) ㄊ比撾瘛?shi)時交換、消息事件(jian)觸發(fa)、手(shou)工執行(xing)多(duo)種;
數據(ju)轉換的(de)復雜性(xing)︰需要對異構數據(ju)轉換處(chu)理、清洗過濾(lv)、腳本處(chu)理。

數據(ju)集成交換規模逐步擴大,性(xing)yue)苡yu)可(ke)靠性(xing)無法保(bao)障

隨(sui)著(zhou)集成工作(zuo)的(de)開展,交換規模逐步擴大。小範(fan)圍、單(dan)業務系(xi)統之間的(de)數據(ju)交換,越來(lai)越少,而跨(kua)地域(yu)、跨(kua)業務領域(yu)、跨(kua)部門的(de)大量(liang)數據(ju)共(gong)享與(yu)交換逐步則成為常態(tai)。之前針(zhen)對于點對點或小規模數據(ju)交換的(de)產品在功能與(yu)性(xing)yue)芊矯婢nan)以滿足這樣的(de)變化。

業務對交換管理提出了更高的(de)要求(qiu),但現有的(de)運維管理工具(ju)無法支撐

業務要求(qiu)運維與(yu)管理人員同(tong)時監管數十種業務並(bing)行(xing)運行(xing)的(de)情況,上百個節(jie)點的(de)運行(xing)狀態(tai),以保(bao)證系(xi)統運行(xing)的(de)穩(wen)定性(xing)與(yu)可(ke)靠性(xing)。但由于現有的(de)支撐工具(ju)對大規模數據(ju)交換業務的(de)監控能力非(fei)常薄(bo)弱,系(xi)統中出現的(de)數據(ju)交換問題難(nan)以被(bei)即時發(fa)現、評估以及(ji)處(chu)理,給業務運行(xing)帶來(lai)了很大的(de)不確fan)ㄒ蛩亍/p>

產品的(de)核心(xin)價值

豐富(fu)的(de)數據(ju)適配能力

  • 套件(jian)包含強大的(de)數據(ju)適配能力,提供上百種適配器(qi)能適配連(lian)接(jie)各種數據(ju)源和數據(ju)格式(shi);
  • 支持大數據(ju)平台(tai)適配,提供Hive,Hbase,Hdfs,Kafka,MongoDB適配組(zu)件(jian);
  • 支持關系(xi)數據(ju)庫,平文件(jian)、Web服務、以及(ji)主流(liu)應用協議如JMS\TCP&UDP\HTTP\FTP的(de)接(jie)入適配。

高性(xing)yue)艽chu)理復雜數據(ju)轉換

  • 提供大量(liang)可(ke)視化組(zu)件(jian),包括數據(ju)校驗(yan)、連(lian)接(jie)、查詢、分(fen)割、合並(bing)(聚集)、映(ying)射、排序、過濾(lv)、去重、替換、條件(jian)分(fen)發(fa)、行(xing)列(lie)轉換等功能完成復雜轉換操作(zuo);
  • 基于流(liu)程和轉換組(zu)件(jian)的(de)多(duo)線程並(bing)發(fa)處(chu)理架構,可(ke)在單(dan)位時間內進行(xing)大批量(liang)級數據(ju)轉換處(chu)理,性(xing)yue)蘢吭健/li>

API服務集成和治理

  • 隨(sui)著(zhou)微(wei)服務架構的(de)普及(ji),越來(lai)越多(duo)的(de)應用之間輕量(liang)級的(de)業務協同(tong)采用Rest服務集成方式(shi)實(shi)現數據(ju)傳輸和交換。ADI大數據(ju)集成套件(jian)實(shi)現對各種數據(ju)源封裝(zhuang)為標準API服務,並(bing)實(shi)現發(fa)布、代理、編排等功能實(shi)現跨(kua)系(xi)統的(de)數據(ju)流(liu)轉;同(tong)時提供API服務目錄、發(fa)布訂閱(yue)、流(liu)量(liang)限(xian)制、安(an)全管控、服務水平等服務治理功能,實(shi)現平台(tai)API服務的(de)統一精細fu) 芸亍/li>

穩(wen)定可(ke)靠的(de)數據(ju)交換傳輸

  • 針(zhen)對跨(kua)區(qu)域(yu)、跨(kua)層級、跨(kua)部門的(de)網絡環境下(xia)的(de)數據(ju)集成,需要提供高性(xing)yue)艿de)傳輸通(tong)道以實(shi)現數據(ju)的(de)跨(kua)網傳輸交換。大數據(ju)套件(jian)提供高性(xing)yue)艿de)分(fen)布式(shi)消息隊列(lie)作(zuo)為底層傳輸管道,提供穩(wen)定可(ke)靠的(de)數據(ju)和文件(jian)傳輸服務,有xing)??徘 蚣侗硎ju)記錄和TB級文件(jian)交換傳輸。

資源統一管理和業務集中配置

  • 套件(jian)提供完整的(de)資源目錄功能,幫助用戶編制信息資源目錄實(shi)現共(gong)享信息資源的(de)管理,方便(bian)各部門用戶及(ji)時完整的(de)了解部門所(suo)有的(de)可(ke)集成共(gong)享的(de)信息資源,為數據(ju)集成和交換共(gong)享提供依據(ju);
  • 同(tong)時提供數據(ju)交換集成的(de)業務集中配置管理功能,提供向導式(shi)幫助用戶快件(jian)配置集成交換任務流(liu)程並(bing)自動部署到(dao)遠程交換節(jie)點,有xing) 岣咭滴衽渲煤圖 泄芸匭xiao)率。

統一資源監控管理

  • 大數據(ju)集成套件(jian)的(de)管控平台(tai)可(ke)實(shi)現分(fen)布式(shi)多(duo)個運行(xing)服務器(qi)的(de)統一監控和管理。用戶只需要將運行(xing)服務器(qi)注冊到(dao)監控平台(tai),即可(ke)實(shi)現轉換和作(zuo)業流(liu)程資源的(de)部署,調度,並(bing)實(shi)時監控各個服務器(qi)節(jie)點的(de)運行(xing)狀態(tai)信息,以及(ji)部署在運行(xing)服務器(qi)節(jie)點上xi)de)流(liu)程的(de)運行(xing)狀態(tai)以及(ji)數據(ju)處(chu)理效(xiao)率和處(chu)理細節(jie),包括處(chu)理成功數,失敗數等等,同(tong)時提供各種可(ke)視化圖表展現運行(xing)狀況。

產品架構及(ji)特(te)點

典型案例

在國家(jia)統計局企業一套表項目中,通(tong)過大數據(ju)集成平台(tai)實(shi)現北(bei)京雲(yun)萬峰和清華同(tong)方兩套統計聯網直bei)ㄆ教tai)32個省的(de)月報,季報,年報等數據(ju)雙向同(tong)步。數據(ju)同(tong)步涉及(ji)交換處(chu)理流(liu)程500多(duo)條,年數據(ju)同(tong)步量(liang)千萬級,同(tong)步效(xiao)率達1萬條/秒(miao)。
平台(tai)采用全表同(tong)步和基于日(ri)志的(de)異步CDC增(zeng)量(liang)高效(xiao)及(ji)時同(tong)步整合數據(ju),有xing)??帕教字北(bei)ㄆ教tai)數據(ju)的(de)一致(zhi)性(xing)和完整性(xing),為數據(ju)分(fen)析和數據(ju)比對提供高質量(liang)高精準的(de)數據(ju)內容。

證監會數據(ju)交換系(xi)統是為了建(jian)立(li)證券(quan)期貨行(xing)業統一的(de)數據(ju)共(gong)享機(ji)制,支持中央監管信息平台(tai)與(yu)其(qi)他部委或監管機(ji)構的(de)數據(ju)交換。主要是完成互聯網、證聯網、涉密內網之間的(de)文件(jian)交換,具(ju)備數據(ju)交換、數據(ju)共(gong)享、文件(jian)交換、統計監控、系(xi)統管理等功能。

甦州(zhou)工業園區(qu)政務信息資源共(gong)享交換平台(tai)是為滿足人口庫的(de)建(jian)立(li)過程中的(de)數據(ju)交換而設置的(de)專項項目,在滿足人口庫建(jian)設需求(qiu)的(de)基礎上,為園區(qu)提供面向三大庫(企業法人庫、空間地理信息庫、人口庫)的(de)資源共(gong)享交換服務,為園區(qu)電子政務建(jian)設提供穩(wen)定、可(ke)靠的(de)資源共(gong)享交換服務。