在數據平臺構建之前,公司中每個業務系統中都存在分散數據和報表,容易形成數據孤島,也缺乏統一的數據監控平臺,對於跨系統的報表制作和數據分析,仍然需要靠傳統的Excel來處理,人工維護成本是相當高的,而且業務報表隻能實現基本數據匯總和展示,不能直觀、豐富的查詢和展示分析數據,也不利益整個集團的全面管理決策。
對於各個業務口在制作報表時也存在以下幾個痛點:
1.數據導出速度慢:由於直接從業務系統導出。一旦數據量過大或者大並發導出,速度非常慢,有時候導一份數據需要等幾分鐘才出來。2.指標口徑不統一:同樣一個指標,在多個報表裡面出現,但各個業務口指標口徑卻不一致,導致計算出來的結果不一樣;經常造成業務部門直接打架(比如違約率、交車量的定義)。3.指標詳細定義無處可查:系統裡除瞭表頭的浮窗解釋,沒法知道指標的定義具體是什麼。老員工一走,新員工就很難知道指標的具體定義;沒有一致的數據需求文檔沉淀。4.臨時取數非常困難:如果報表上沒有的數據,業務人員就得提臨時數據需求給到開發,開發對於臨時取數需要走一整套數倉開發流程,提取過程繁瑣。
針對公司不斷變化的數據需求,我們提出的方案是通過數據倉庫+數據看板+數據運營平臺(羅盤),快速響應業務口需求,解決目前集團PBC指標考核、運營指標呈現、報表查詢、圖表分析、數據鉆取等。提供統一的報表訪問和管理平臺,實現精細的權限控制。
1.數據底層架構的構建 針對數據運營平臺搭建,由於數據量未達到需要大數據級別的量級,所以采用偏傳統數據倉庫的架構。如下圖所示,可以滿足公司日常T+1的報表以及部分實時報表的開發。
1) 通過同步工具DataX每晚定時全量/增量抽取業務數據表到數據倉庫ODS層,保留每一天業務表的快照數據,並根據需求進行數據清洗、加工、並轉換到DWD層,然後進行匯總到DWS層,最後再進行邏輯加工到ADS應用層。2)對於固化的報表數據以及指標監測,我們在DWS層進行邏輯計算,然後將計算結果寫到ADS層,最終用第三方工具FineBI、DataV進行報表呈現及數據可視化。3)對於臨時的取數需求,通過數據倉庫中的ADS層寬表以及配套瞭數據字典,供數據分析師直接取數使用。
2.業務報表開發 數據運營崗剛成立的時候,初衷就是通過數據去驅動公司業務發展,我們的第一件事不是去建底層數倉,而是做業務報表及管理看板,這樣不僅能夠熟悉到公司的各個業務,而且也能最快體現部門的價值。得到公司的及各個業務口子的支持認可。報表需求與規劃中的需要註意的點:
1)報表的使用場景
2)報表的使用頻率
3) 數據報表PRD如何寫;
c0d2204d72a1388aede976ffe282b0c8
4)報表的配置
通過BI工具進行數據配置及儀表板配置。
3.數據看板建設 數據看板一般用作後臺系統的首頁,主要呈現公司當前業務相關或運營關鍵指標和圖表,方便公司內部人員實時瞭解公司內情,掌握業務發展情況,並能夠對數據變化做出業務決策。
管理看板指標數據需求文檔
通過DataV進行UI設計佈局及數據配置
4.權限配置
權限管理就是指系統設置的安全規則或安全策略,用戶可以且僅能訪問被授予權限的內容。管理員在管理系統下的權限管理中對各用戶的權限范圍進行管理。權限受體就是指將權限分配給誰,羅盤數據運營平臺的權限受體不僅包括部門、角色,還為特殊權限分配的需求提供瞭基於單個用戶的權限設置功能,而管理看板的訪問權限是通過Token驗證的方式,輸入Token驗證密碼才能訪問。
四、數據運營監測、管理看板建設解決方案
cd282bf6ddb396b70c607d39f4f8d39d66cc27bcc8f3380918b528d33826e2eb
上一篇
下一篇