主數據管理解讀

#以下內容為自己在學習的過程中歸納總結得出。什麼是主數據?主數據是企業內能夠跨業務重復使用的高價值的數據。不是企業內所有的業務數據,隻是有必要在各個系統間共享的數據才是主數據。例如:客戶、供應商、帳戶、項目、分期、樓棟、產品、房間信息等特點共享性、高價值、權威性主數據管理的背景:業務系統越來越多,不同業務上使用的數據標準不一樣,導致業務系統之間難以關聯,數據質量差。企業不能統一一個主數據源。例如項目信息在不同系統的定義不同,導致想聚合查詢都難以對應。這個時候就需要主數據管理瞭,統一主數據定義。市面上對主數據管理其實也是分場景的。

  1. 數據轉換映射,通過數據映射去維護
  2. 有應用系統自己維護主數據,這種是因為產品線關聯性不大,沒必要統一維護主數據,他們自己產品線有自己的主數據管理
  3. 混合模式,1+2
  4. 集中管控,產品形態相對單一,企業快速發展的企業

主數據管理定義:對主數據的全生命周期進行管理、制定數據規范標準的機制

31b8b6da72fc72f5441c293b9c2f6030

怎麼做主數據管理建設?

  1. 戰略:說明現狀、背景、目的、願景、圍繞什麼方針去執行
  2. 治理:制定制度去管理,有組織架構的支持。

成立數據治理小組,小組職責:

  • 確認治理范圍,明確治理流程和職責
  • 明確治理的功能、角色
  • 負責培訓業務人員
  • 維護數據治理工具
  • 負責制定評估指標、方法

3.立標準和流程規范:對主數據流程進行規范化、對主數據進行標準化約束,保障數據的唯一性、準確性,不會出現二義性。

  • 立標準,通過數據標準化建設,使各信息系統遵循一套統一的數據標準。
    • 主數據的標準,定義公共字段的標準定義。確保數據的唯一性,對字段進行標準控制。
    • 分為業務屬性、技術屬性、管理屬性
      • 業務屬性,這個表或字段是屬於哪個主題,標準中文、英文名稱定義、業務定義,規則定義,還有數據來源和依據
      • 技術屬性,字段的數據類型、長度、數據格式、代碼編碼規范、取值范圍等
      • 管理屬性,誰創建的、誰來管理、誰來用、用在什麼領域、有什麼人在用?
  • 主數據識別(確認工作范圍):首先我們要根據自身行業性質,確認哪些屬性是我們的基礎數據。接下來我們確認涉及到的相關方,進而確認工作計劃,工作計劃需要通過定期會議同步進展。
  • 將數據統一定義:會存在當前不同部門對某個字段的定義不一的情況,需要進行統一。拉通各業務進行討論統一字段,說明價值,有必要需要領導介入。
  • 數據檢查:完整性檢查、正確性檢查、唯一性檢查

4.技術方案確定:數倉建設方案,怎麼集成、怎麼處理、怎麼共享;用什麼組件等等5.平臺建設6.平臺運營:推廣、推動業務修改、提供運營體系、日常支持7.數據質檢:檢查報告輸出主數據管理實施的重點

  1. 管理問題,主數據是超越業務、部門的數據;要把主數據做好,需要各個部門各層的領導足夠重視、全員參與。同時,構建主數據管理的基礎能力,包括:組織、流程、標準、工具等。

2.持續運營與優化,主數據管理是和數據相關的,數據是不斷增加的,在這個過程中肯定會遇到新的問題,要持續對方案進行完善、對存量數據進行修正、對增量數據進行清洗。企業要保持高質量的數據,必須持續的運營和不斷的優化。

主數據管理架構圖

92c9fa2bb3f6b79bf0fb17b6e56e7e27

84068f1e4289335b0b6858e83c4e5fb3

主數據管理工具是用來定義、管理、和共享主數據的,保證主數據在各個信息系統間的準確性、一致性、完整性。主數據管理平臺功能點:其包括以下功能:1.主數據采集集成能力:將主數據的信息集成在一個地方統一。功能如下:人工錄入,在這裡平臺提供錄入的入口,以及錄入過程中的審批能力導入導出,支持用表格的方式將主數據進行導入導出數據整合,利用數據采集轉換加工的方式將各部門的系統的主數據信息集成起來自動采集,提供api接口自動采集系統的主數據,自動化執行2.主數據業務管理:主數據模型,基於主數據標準的規范化約束,提供可視化建模功能,定義主數據對象、編碼規則、屬性值等基礎要素主數據編碼,通過代碼的形式配置主數據數據管理,支持對主數據進行查詢、查看主數據關聯系統的信息、屬性信息、數據備份等集成管理,通過接口可集成數據3.主數據治理:主數據標準:定義主數據的標準、實現錄入時數據滿足統一標準,保證主數據的準確性、唯一性、權威性。主數據質量:通過質量檢測工具對存量數據進行檢測,輸出質檢報告,提升質量4.主數據維護提供主數據的創建、審批、發佈、修改、和失效的生命周期管理的還有數據字典的管理維護,確保數據一致性、準確性、實時性、權威性主數據申請:申請獲取主數據信息主數據變更:對主數據進行變更主數據凍結:進行凍結,凍結後不能用主數據解凍:進行解凍,又可以繼續用主數據失效:失效後永遠不能用工作流:審批流程維護關系圖譜:展示不同類型主數據間關系5.主數據共享:可實現第三方系統對主數據的消費通過openapi對接,那麼我們就要維護openapi監控,對主數據分發進行監控瞭解誰用瞭,用瞭多少等數據,維護分發6.系統管理:對主數據權限、日志、備份恢復、消息等進行管理7.主數據管控:組織架構:建立主數據管理團隊,維護主數據項目系統監控:通過資源訪問、功能操作耗時、系統占用監控、錯誤問題統計、pvuv等監控系統運營狀態標準管控:通過統計監控報表來瞭解主數據標準的實施進程流程管控:提供創建工作流的能力產品目標:

  1. 能夠識別出哪些是主數據
  2. 對主數據進行集成,統一平臺管理
  3. 建立主數據的數據標準定義、並整合主數據的元數據展示出來
  4. 建立流程管理主數據,形成管理制度,流程規范化
  5. 各系統間的主數據能和企業的主數據進行同步
  6. 對主數據的質量進行監控,能實時解決主數據質量問題
  7. 制度各部門的主數據的考核體系
  8. 定期生成對應的主數據管理的考核報告
  9. 建立最佳實踐庫,並進行推廣

主數據管理的存在的問題:

  1. 主數據的搭建肯定是後於業務的,目前業務就是存在主數據標準不一的情況,需要去拉通業務進行整改,怎麼拉通?告知價值、還有通過上層領導的支持?
  2. 我們在定義規范的時候是不是每一個業務都符合我們所定義的規范?業務自身是否有特殊性?我們是否優先考慮業務,還是做精細化管理。
  3. 每一次對數據的變更,都需要面臨,存量數據如何維護?變更數據的準確性復核?報表接口同步調整的問題。

如何評估數據的質量?

  1. 完整性,指的是數據信息是否存在缺失的狀況,數據缺失的情況可能是整個數據記錄缺失,也可能是數據中某個字段信息的記錄缺失。——一般可采用完整性對賬的方式去對比,對比大小、條數等方式
  2. 一致性,隻數據是否遵循瞭統一的規范,主要是數據是否符合規范和邏輯
    1. 規范,數據他存在特定的格式,例如手機號碼有13位,不是13位就有問題
    2. 邏輯,多項數據間存在固定的邏輯關系,例如pv一定大於uv等

——一般數據都有標準的編碼規則,符合這個規則即可。

  1. 準確性,指數據記錄的信息是否存在異常或錯誤,觀測值和真實值之間的接近程度,也叫做誤差值,誤差越大,準確度越低。例如這個人應該是男的,但是數據是nv的。昨天真實pv是100,但是統計的是80。——這種是最難看出來的,需要你很懂業務,可通過以往的規則去判斷,例如一致pv都100,也沒做什麼東西,今天是20,那麼我們就可以懷疑是數據準確性有問題。
  2. 及時性,數據從產生到使用的時間間隔,及時性對實時分析的業務還是有影響的——通過時長去評估
  3. 全面性,業務需要的獲取字段是否完整。——找業務方判斷
  4. 關聯性,隻數據集和數據集之間的關聯性。——有數據不關聯那麼就是關聯性有問題瞭,自己在做數據孤島
  5. 真實性,就是數據是不是符合真實情況。——對鏈路進行監控可溯源。

主數據建設主數據項目建設從方法上,分為以下四部,簡單歸結為12個字:“摸傢底、建體系、接數據、抓運營”!一、摸傢底需要全面調研和瞭解企業的數據管理現狀,以便做出客觀切實的數據管理評估!1.對業務進行調研,分為兩個方法,自頂向下和自底向上。自頂向下:對公司所有的職能域和業務域進行定義,收集各類數據,讓企業對現有資源有個全面的人數,瞭解企業數據的來龍去脈。自底向上:在確認好職能域等前提條件下,從企業信息系統入手,對當前系統的數據進行梳理,理清數據來源去向,標準和質量情況。2.主數據識別分為4個步驟:確認主數據識別的指標基於主數據識別指標,構建評分體系,確定指標權重根據業務調研和數據普查的結果,確認主數據參評范圍依據評分標準,識別出企業主數據有哪些確認主數據識別的指標,首先需要整理出主數據具備哪些特征:1.高價值,主數據其實是企業的核心數據,他是最具有價值的數據資產2.共享性,主數據需要在多個系統中共享,不然他不具有主數據的資格3.獨立性,主數據是不可拆分的數據實體,如產品、客戶表等4.唯一性,主數據會具有唯一的識別標志,如客戶號等等5.穩定性,主數據的變化相對穩定,變化頻率較低6.長期有效性,主數據具有較長的生命周期,需要長期保存建立評分體系:

3.建立數據管理能力評估體系需要有自己的一套評估體系,去評估做的事情。這種在行業上會有一套標準規范評估體系可做參考,例如DCMM中就有一套標準。二、建體系在事項落地之前需要建立各種體系去保障這個事情能順利落地。1.組織體系:在組織體系中,明確組織的分工和職責,主數據管理涉及到各個業務部門,需要橫向成立一個主數據管理組織去統籌這個事項。建立主數據管理組織的目標是:統籌規劃企業的數據戰略,建立主數據標準規范體系、數據管理制度、流程體系、運營體系、維護體系;然後依托主數據管理平臺,實現主數據標準化落地、推廣、運營。然後對主數據的管理還需要明確虛擬角色,例如主數據管理員、審批人、負責人、開發人等等2.標準體系:分為三個部分,

  • 主數據分類標準化:就是對數據進行分類,根據數據的屬性和特征,按一定的原則和方法進行區分和歸類
  • 主數據編碼標準化:在信息分類的基礎上,將信息對象賦予有一定規律性的、易於計算機和人識別處理的符號
  • 主數據模型標準化:對主數據的屬性組成、字段類型、長度等制定標準化。推薦方式是抽取多系統、部門間的共性屬性和核心屬性去做標準

3.制度和流程體系:制度章程是確保對主數據管理進行有效實施的認責制度。建立主數據管理制度和流程體系是需要明確主數據的歸口部門和崗位,明確崗位職責,明確每個主數據的申請、審批、變更、共享的流程。主數據相關的流程要怎麼進行都要制定對應的流程標準。並且制定一些制度去保障4.技術體系:主數據管理技術體系的建設應從應用層面和技術層面兩個方面考慮。應用層面主數據管理平臺需具備元數據(數據模型管理)、數據管理、數據清洗、數據質量、數據集成、權限控制、數據關聯分析,以及數據的映射(mapping)/轉換(Transforming)/裝載(loading)的能力。技術層面,重點考慮系統架構、接口規范、技術標準。5.安全體系:主要有4個方面

  • 網絡安全,數據流通時的網絡安全保障
  • 接口安全,在對外提供接口的安全保障
  • 應用安全,對主數據平臺的身份認證、訪問控制、權限控制、安全審計等等
  • 數據安全,對數據的加密存儲、加密傳輸、脫敏脫密等等

三、接數據主數據接入是將主數據從數據源系統匯集到主數據平臺的過程。該過程需要對接入的數據進行清洗、轉換、映射、去重、合並、加載……,通過一系列的數據加工和處理形成標準統一的主數據。主數據的接出,是將標準化的主數據分發共享給下遊業務系統使用的過程。在主數據接出的過程中使用的技術與數據匯集技術基本一致。在企業實施主數據過程中,需要根據不同場景選擇不同的集成方式。四、抓運營主數據運營管理,包括:主數據管理,主數據推廣、主數據質量、主數據變現等。主數據管理:數據標準和管理規范的常態化貫徹。主數據管理主要是對主數據的新增、變更、使用等過程的規范,需要配合企業主數據管理的相關制度和流程,做到定崗定責、責任到人,從源頭上控制好數據的質量,保證數據的唯一數據源和統一數據視圖。主數據推廣:主數據推廣是逐步將主數據推廣到企業的各個業務中,包括線上、線下的業務。主數據的應用不僅需要推廣各個相關的業務中,保證各業務系統的主數據一致性。對於線下的業務也應當與主數據保持一致。主數據推廣對於單組織企業比較容易,對於集團型企業尤其是多業態集團是有一定難度的,企業應做好相應的推廣策略和計劃表。主數據質量:主數據作為“黃金數據”是企業的核心數據資產,主數據質量的好壞決定瞭數據價值的高低。整個主數據運營過程,最核心的目標就是持續提升數據質量。主數據質量管理包括:主數據質量指標定義,主數據質量模型/算法,主數據質量核查,主數據質量整改,主數據質量報告,主數據質量考評等。主數據變現:① 整合協同、降本增效。各系統主數據的標準統一,解決數據重復、不一致、不正確、不準確、不完整的問題,打通企業的采購、生產、制造、營銷、財務管理等各個環節,大大提升業務之間協作的效率,減低由於數據不一致引起的溝通成本。② 增加收入、提升盈利。建立360°客戶主數據視圖,建立客戶關系模型,支撐企業精準營銷,提升盈利水平、增加銷售收入。③ 數據驅動、智能決策。相比基於本能,假設,或認知偏見而做出的決策,基於證據的決策更可靠。通過數據驅動的方法,你將能夠判斷趨勢,從而展開有效行動,幫助自己發現問題,推動創新或解決方案出現。④ 數據 即服務 即資產。一方面,可以通過主數據優化內部運營管理和客戶服務水平;另一方面,通過對主數據進行匿名化和整合,結合各種不同的用戶場景提供給客戶或供應商,從而實現整個產業鏈的打通。

*以上是自己在平時學習時的總結,有的內容是從其他文章匯總轉摘過來的,若侵權瞭,麻煩聯系下我,我進行修改~

发表回复

相关推荐

狂野徐锦江,演三级片走红,如今一幅画150万不愿卖,自砸5000万建艺术中心,原来你是这样的鳌拜!

▲杨善深作品一个人的心里山山水水越多,越容易对一草一木动情,也越无情——奇崛的个性总会有自己参不透的时候。”

· 38秒前

手機短信婚禮邀請函 手機婚禮請柬

結婚邀請是婚前準備之一,至於這邀請方式,現在有電子版和手寫版紙質請柬,後者就不多說啦,電子版的話,短信啦,微信啦,等...

· 42秒前

人民黃河期刊

《人民黃河》是月刊,創刊於1949年,是由水利部主管、黃河水利委員會主辦的水利科技專業學術刊物,自1992年起連續6次入選全國...

· 6分钟前

不看後悔系列:韓劇《浪漫的體質》

為什麼寫韓劇,嗯,答主是學韓語的,又是個文案,所以韓劇真的是再適合不過瞭。但是,這不是我今天寫這篇文的原因。《慶餘年...

· 7分钟前

菜字头食品搭载业务增长新引擎,构建集团完整供应链生态

应用案例概述 铱云供应链 公司名称:菜字头食品‍‍‍‍‍‍‍‍‍‍‍‍‍ 业务简介:成功孵化饭戒、韦小堡、喜赞等品牌,拥有线下门店超 ...

· 13分钟前