巨龍信息大數(shù)據(jù)集成系統(tǒng)是一款基于分布式并行計(jì)算架構(gòu)開發(fā)的ETL數(shù)據(jù)集成系統(tǒng)。具備高吞吐、高可用、高擴(kuò)展特性，可以為海量數(shù)據(jù)的超大規(guī)模數(shù)據(jù)倉庫建設(shè)提供抽取、整合、清洗、入庫等集成業(yè)務(wù)。

產(chǎn)品特征

■高吞吐處理能力：采用多線程處理算法，高效的內(nèi)存利用率；任務(wù)運(yùn)行過程無需本地磁盤IO操作，提升整體單位時(shí)間的大批量處理能力；支持TB/h級(jí)的大數(shù)據(jù)集成業(yè)務(wù)性能。

■高擴(kuò)展、高可靠：并行架構(gòu)提升單機(jī)處理能力的線性擴(kuò)展；新增執(zhí)行引擎的快速部署和自動(dòng)識(shí)別，分布式架構(gòu)提升多機(jī)處理能力的線性擴(kuò)展；執(zhí)行引擎宕機(jī)的自動(dòng)識(shí)別和任務(wù)轉(zhuǎn)移，保證任務(wù)的順利執(zhí)行。

■可視化流程配置：通過簡(jiǎn)單的圖形拖拽配置數(shù)據(jù)集成流程，簡(jiǎn)單易用的專業(yè)化配置。

■集成業(yè)務(wù)全流程監(jiān)控：可對(duì)處理過程的每個(gè)步驟，每個(gè)子流程處理進(jìn)行實(shí)時(shí)監(jiān)控，簡(jiǎn)單快速發(fā)現(xiàn)處理過程遇到的漏數(shù)據(jù)，錯(cuò)處理等問題。

■統(tǒng)一的元數(shù)據(jù)模型：基于統(tǒng)一公共倉庫元模型，可與公司產(chǎn)品線其他產(chǎn)品無縫對(duì)接，簡(jiǎn)化整體解決方案的實(shí)施運(yùn)維。

■大數(shù)據(jù)技術(shù)支持：支持主流的關(guān)系型數(shù)據(jù)庫，NOSQL數(shù)據(jù)庫,全文庫處理等主流大數(shù)據(jù)產(chǎn)品的抽取入庫，以及異構(gòu)庫之間的抽取入庫。

■低廉的硬件成本：使用x86架構(gòu)的PCServer，無需昂貴的unix服務(wù)器。

技術(shù)亮點(diǎn)

高性能

■任務(wù)的水平切分

一個(gè)分布式ETL任務(wù)會(huì)根據(jù)分區(qū)自動(dòng)被分片到多臺(tái)ETL-執(zhí)行引擎中，每個(gè)執(zhí)行引擎的執(zhí)行容器使用多線程并發(fā)的對(duì)數(shù)據(jù)進(jìn)行加工處理后加載到數(shù)據(jù)倉庫中。當(dāng)源頭庫單表數(shù)據(jù)量巨大時(shí)，可極大提升整體的數(shù)據(jù)集成效率和性能

■任務(wù)拓?fù)淝蟹?/strong>