大(dà)數(shù)據
業務痛點及需求
 數(shù)據采集
數(shù)據采集是數(shù)據倉庫建設中最基礎的工作(zuò)，負責将散落在各個(gè)數(shù)據孤島的數(shù)據整合到統一數(shù)據倉庫平台中。數(shù)據采集不隻需要能夠從多(duō)種不同類型的數(shù)據系統采集數(shù)據，還(hái)要考慮數(shù)據采集的效率，通(tōng)過全量和(hé)增量采集相結合的手段完成采集工作(zuò)。在采集的過程中，還(hái)不能對在線系統産生(shēng)影(yǐng)響。
|
 數(shù)據生(shēng)産鏈路監控
就像工業流水(shuǐ)線一樣，數(shù)據倉庫的數(shù)據加工過程是一個(gè)數(shù)據生(shēng)産的有(yǒu)向無環圖。如何讓數(shù)據有(yǒu)序的按照數(shù)據模型設計(jì)的邏輯一步一步被加工出來(lái)，保障數(shù)據上(shàng)下遊依賴的正确性，在發現問題時(shí)能夠提醒開(kāi)發人(rén)員及時(shí)處理(lǐ)，是一個(gè)艱苦而細緻的工作(zuò)，也是數(shù)據倉庫建設過程中最主要的工作(zuò)。
|
 數(shù)據質量管理(lǐ)
數(shù)據質量是數(shù)據倉庫的生(shēng)命線，是數(shù)據倉庫建設中的重中之重。在數(shù)據生(shēng)産的整個(gè)鏈條中，需要能夠根據數(shù)據特征制(zhì)定不同的數(shù)據質量監控規則，随時(shí)監控數(shù)據的産出質量，并制(zhì)定出相應的控制(zhì)手段，保障不讓有(yǒu)質量問題的數(shù)據影(yǐng)響業務的決策。
|
業務痛點及需求
|
數(shù)據采集
數(shù)據采集是數(shù)據倉庫建設中最基礎的工作(zuò)，負責将散落在各個(gè)數(shù)據孤島的數(shù)據整合到統一數(shù)據倉庫平台中。數(shù)據采集不隻需要能夠從多(duō)種不同類型的數(shù)據系統采集數(shù)據，還(hái)要考慮數(shù)據采集的效率，通(tōng)過全量和(hé)增量采集相結合的手段完成采集工作(zuò)。在采集的過程中，還(hái)不能對在線系統産生(shēng)影(yǐng)響。
|
數(shù)據生(shēng)産鏈路監控
就像工業流水(shuǐ)線一樣，數(shù)據倉庫的數(shù)據加工過程是一個(gè)數(shù)據生(shēng)産的有(yǒu)向無環圖。如何讓數(shù)據有(yǒu)序的按照數(shù)據模型設計(jì)的邏輯一步一步被加工出來(lái)，保障數(shù)據上(shàng)下遊依賴的正确性，在發現問題時(shí)能夠提醒開(kāi)發人(rén)員及時(shí)處理(lǐ)，是一個(gè)艱苦而細緻的工作(zuò)，也是數(shù)據倉庫建設過程中最主要的工作(zuò)。
|
數(shù)據質量管理(lǐ)
數(shù)據質量是數(shù)據倉庫的生(shēng)命線，是數(shù)據倉庫建設中的重中之重。在數(shù)據生(shēng)産的整個(gè)鏈條中，需要能夠根據數(shù)據特征制(zhì)定不同的數(shù)據質量監控規則，随時(shí)監控數(shù)據的産出質量，并制(zhì)定出相應的控制(zhì)手段，保障不讓有(yǒu)質量問題的數(shù)據影(yǐng)響業務的決策。
|
應用系列産品
在數(shù)據倉庫的建設中需要從各種源頭業務系統中把數(shù)據統一采集到數(shù)據倉庫中，在統一的基礎平台上(shàng)對數(shù)據進行(xíng)加工。在數(shù)
據生(shēng)産的鏈條中，保障數(shù)據産出的穩定性和(hé)數(shù)據産出的質量是數(shù)據倉庫建設中的重要內(nèi)容。
據生(shēng)産的鏈條中，保障數(shù)據産出的穩定性和(hé)數(shù)據産出的質量是數(shù)據倉庫建設中的重要內(nèi)容。
大(dà)數(shù)據集成
通(tōng)過穩定高(gāo)效、彈性伸縮的大(dà)數(shù)據集成服務，将分散在不同物理(lǐ)環境下 的數(shù)據統一采集到大(dà)數(shù)據計(jì)算(suàn)服務中。可(kě)以實時(shí)、增量或全量的方式進行(xíng)數(shù)據同步。
大(dà)數(shù)據計(jì)算(suàn)服務
在大(dà)數(shù)據計(jì)算(suàn)服務中，存儲采集到的業務數(shù)據，利用服務提供的多(duō)種經典分布式計(jì)算(suàn)模型，按照數(shù)據倉庫設計(jì)的數(shù)據模型，對數(shù)據進行(xíng)實際加工計(jì)算(suàn)。
大(dà)數(shù)據開(kāi)發
在大(dà)數(shù)據計(jì)算(suàn)服務中，存儲采集到的業務數(shù)據，利用服務提供的多(duō)種經典分布式計(jì)算(suàn)模型，按照數(shù)據倉庫設計(jì)的數(shù)據模型，對數(shù)據進行(xíng)實際加工計(jì)算(suàn)。
大(dà)數(shù)據管理(lǐ)
通(tōng)過大(dà)數(shù)據管理(lǐ)工具，進行(xíng)數(shù)據資産管理(lǐ)、數(shù)據生(shēng)命周期管理(lǐ)、元數(shù)據查詢和(hé)管理(lǐ)、數(shù)據血緣查詢等工作(zuò)。并可(kě)以制(zhì)定數(shù)據質量報警規則。
新聞動态
智慧校(xiào)園
江蘇鴻圖信息集團有限公司官網