數據監測、運營平臺搭建

一、項目背景

在數據平臺構建之前,公司中每個業務系統中都存在分散數據和報表,容易形成數據孤島,也缺乏統一的數據監控平臺,對於跨系統的報表制作和數據分析,仍然需要靠傳統的Excel來處理,人工維護成本是相當高的,而且業務報表隻能實現基本數據匯總和展示,不能直觀、豐富的查詢和展示分析數據,也不利益整個集團的全面管理決策。

二、業務痛點

對於各個業務口在制作報表時也存在以下幾個痛點:

1.數據導出速度慢:由於直接從業務系統導出。一旦數據量過大或者大並發導出,速度非常慢,有時候導一份數據需要等幾分鐘才出來。2.指標口徑不統一:同樣一個指標,在多個報表裡面出現,但各個業務口指標口徑卻不一致,導致計算出來的結果不一樣;經常造成業務部門直接打架(比如違約率、交車量的定義)。3.指標詳細定義無處可查:系統裡除瞭表頭的浮窗解釋,沒法知道指標的定義具體是什麼。老員工一走,新員工就很難知道指標的具體定義;沒有一致的數據需求文檔沉淀。4.臨時取數非常困難:如果報表上沒有的數據,業務人員就得提臨時數據需求給到開發,開發對於臨時取數需要走一整套數倉開發流程,提取過程繁瑣。

三、如何搭建數據監測、運營平臺

針對公司不斷變化的數據需求,我們提出的方案是通過數據倉庫+數據看板+數據運營平臺(羅盤),快速響應業務口需求,解決目前集團PBC指標考核、運營指標呈現、報表查詢、圖表分析、數據鉆取等。提供統一的報表訪問和管理平臺,實現精細的權限控制。

1.數據底層架構的構建 針對數據運營平臺搭建,由於數據量未達到需要大數據級別的量級,所以采用偏傳統數據倉庫的架構。如下圖所示,可以滿足公司日常T+1的報表以及部分實時報表的開發。

1) 通過同步工具DataX每晚定時全量/增量抽取業務數據表到數據倉庫ODS層,保留每一天業務表的快照數據,並根據需求進行數據清洗、加工、並轉換到DWD層,然後進行匯總到DWS層,最後再進行邏輯加工到ADS應用層。2)對於固化的報表數據以及指標監測,我們在DWS層進行邏輯計算,然後將計算結果寫到ADS層,最終用第三方工具FineBI、DataV進行報表呈現及數據可視化。3)對於臨時的取數需求,通過數據倉庫中的ADS層寬表以及配套瞭數據字典,供數據分析師直接取數使用。

2.業務報表開發 數據運營崗剛成立的時候,初衷就是通過數據去驅動公司業務發展,我們的第一件事不是去建底層數倉,而是做業務報表及管理看板,這樣不僅能夠熟悉到公司的各個業務,而且也能最快體現部門的價值。得到公司的及各個業務口子的支持認可。報表需求與規劃中的需要註意的點:

1)報表的使用場景

  • 過程管控類:比如周轉時長報表表用於營銷平臺團隊查看一輛車從購買到與客戶簽訂合同的周轉請況,所以盡可能要拆細,比如把新車周轉拆成:請購、購車跟進、到店交車、上牌待售、合同簽訂提車等環節,有利於發現過程中到底哪各環節需要管控;
  • 績效報表類:往往不需要做過多的拆分,隻需要對幾個大的指標做匯總;比如金額,門店抽成比例等;有些業務方有時候喜歡直接上來一張表把所有字段都涵蓋進去,一方面看起來也復雜,開發做起來也復雜;這時候就要通過業務場景去引導業務方,是否拆分報表為多張報表更合適

2)報表的使用頻率

  • T+1類:過程管控類報表一般都隻會要求T+1,因為一般最多每周一看
  • 實時報表:有些過程管控類的報表對實時性是有要求的。比如銷售的交車量,業務對銷售的數量是有要求的。因為每年的PBC目標拆解到各個門店,對每天的銷售量是有規劃的需要及時跟進。所以同時通次希望做到至少是更新最近一個小時的數據。

3) 數據報表PRD如何寫;

  • 寫報表PRD文檔的時候,建議通過石墨文檔Excel,便於修改以及各版本的迭代。
  • 指標定義要包含:指標名、指標分類(維度/基礎度量/二次度量)、數據格式(百分比/保留幾位小數)、指標描述(展示給業務看)、指標的統計邏輯(區別與業務描述,有點像偽代碼,是邏輯描述,給到開發看),此部分可以參考指標體系搭建
  • 篩選項維度,這裡要特別註意日期類型的篩選項,對指標的什麼時間做篩選一定要在指標裡面寫清楚。

c0d2204d72a1388aede976ffe282b0c8

4)報表的配置

通過BI工具進行數據配置及儀表板配置。

3.數據看板建設 數據看板一般用作後臺系統的首頁,主要呈現公司當前業務相關或運營關鍵指標和圖表,方便公司內部人員實時瞭解公司內情,掌握業務發展情況,並能夠對數據變化做出業務決策。

管理看板指標數據需求文檔

通過DataV進行UI設計佈局及數據配置

4.權限配置

權限管理就是指系統設置的安全規則或安全策略,用戶可以且僅能訪問被授予權限的內容。管理員在管理系統下的權限管理中對各用戶的權限范圍進行管理。權限受體就是指將權限分配給誰,羅盤數據運營平臺的權限受體不僅包括部門、角色,還為特殊權限分配的需求提供瞭基於單個用戶的權限設置功能,而管理看板的訪問權限是通過Token驗證的方式,輸入Token驗證密碼才能訪問。

四、數據運營監測、管理看板建設解決方案

cd282bf6ddb396b70c607d39f4f8d39d66cc27bcc8f3380918b528d33826e2eb

发表回复

相关推荐

《晃過上帝》:不忘初心,夢想必將照亮現實

《晃過上帝之重返街頭》是《晃過上帝》系列的完結篇,一次真正理想照亮現實的圓滿收官。這部系列電影說明瞭這樣一個道理,夢...

· 5分钟前

10位清华毕业的85后县委书记!

清华大学堪称中国的顶尖学府,能有幸走进清华园读书无疑都是学霸级人物,因此他们的毕业去向一直备受社会关注。值得注意的是 ...

· 11分钟前

油污如何清洗?其實沒有想象中那麼難

相信不少人對於抽油煙機上面的油污感到頭疼的問題,因為它每一天都要使用,油煙機表面的重度油污很難清洗,一般都是經過常年...

· 14分钟前

被稱為“甘油三酯大戶”的5種食物,提醒:能不吃就不吃

對於血脂高的人來說,將血脂控制在正常的范圍之內是最為關鍵的。血脂水平的高低,有幾個指標比較關鍵,其中一個就是甘油三酯...

· 14分钟前

齐聚南京金鱼嘴基金街区,共赴ESG之约!一场股权投资盛会即将举办

面向新时代国家战略需求,创投行业在服务实体经济发展、支撑现代产业体系中发挥了重要作用,股权投资基金已成为长期资本形成 ...

· 14分钟前