支付寶首頁端智能化建設

1. 前言

首頁是支付寶App的第一個Tab頁面,承載著整個支付寶端的流量分發以及端入口體驗的重任。在探索分發推薦和體驗保障這條道路上,首頁團隊通過與端智能團隊的深度合作,充分發揮端計算的優勢,利用端側豐富且實時的行為特征,結合端智能提供的算法平臺能力,為首頁業務帶來效率和價值的增長點。

2. 首頁端邁向智能化

2.1 背景

首頁推薦業務從成長逐步進入到成熟的階段。首頁技術的站位需要面向業務、面向數字化、面向未來做進一步的升級。以推薦區業務為例,需要從產品角度做好場景化推薦和精細化運營,需要從技術角度滿足子業務的高效率接入和個性化配置,因此擴展底層能力邊界、夯實技術核心是首頁技術下一階段的重中之重。

目前雲端大規模計算已經成為瞭智能推薦業務的核心基礎設施,在此基礎上充分發揮端計算和端智能的優勢,彌補雲端實時感知的空白,不但可以幫助雲端做出更好的推薦決策,也可以發揮端雲協同的優勢進一步提升數字化運營的能力。

2.2 智能化目標

首頁端技術在當前的階段主要面臨兩個方面的基本要求:1. 產品側對業務穩定、靈活高效的要求;2. 技術側對性能、穩定性、體驗、數字化基本盤的要求。在此基礎上通過智能化建設,一方面進一步提升業務的基礎水位,另一方面持續深耕技術,做好產品體驗的保障。

6bf57a670655f8ed087791157882e073

3. 首頁智能化場景

3.1 智能刷新

刷新是首頁作為分發平臺最核心的能力。過去的刷新策略是盡量覆蓋所有可能的刷新場景來保障算法推薦的觸達,現在我們按照業務屬性和特性將多點離散的刷新場景抽象歸納為時間、空間、事件三個維度,在這三個維度上分別進行智能化改造升級。

44dfb561b9326de908e3b30719e60792

3.1.1 時間維度

目前首頁推薦的基礎架構是雲推薦-端渲染,非首次進首頁自動刷新等場景是通過較粗粒度的手段來盡量滿足用戶進入首頁時的推薦觸達,這裡存在幾個問題:

  • 時間閾值不可靠,閾值隻是在性能上做瞭平衡,沒有可靠數據支撐,高頻閾值則浪費推薦服務的性能,低頻閾值則降低有效推薦觸達率;
  • 局部缺少連貫性,每次雲端推薦隻能依賴前序用戶行為和歷史特征畫像,即使是在同一個App使用會話周期內,雲端算法也隻能通過將裁剪後的特征數據和歷史訪問數據進行模型輸入;
  • 策略模式太單一,目前閾值的調整隻能依賴首頁出現較大版本或策略的調整,無法做到千人千面和因人而異;

為瞭解決如上幾個問題,首頁建設閾值梯度變化的AB實驗,接入端側算法模型,而且端側天然具備豐富的用戶實時特征數據,理論上可以滿足局部連貫性數據輸入,另外算法建模,通過實時意圖識別來決策刷新行為。在此基礎上,搭建以端-雲協同為基礎的推薦架構:通過端側感知實時用戶行為,構建端意圖識別-雲意圖理解的實時推薦架構。

3.1.2 空間維度

近場推薦是基於精準定位的場景化服務解決方案,首頁的近場推薦載體是置頂的位置卡片,目前首頁近場推薦覆蓋的場景包括火車站、航站樓、醫院、景區、商圈等(AOI,area of interest)。在位置相關推薦上,首頁端技術面臨的最主要問題是:

  • 過於依賴刷新頻次閾值,雲端感知位置主要通過RPC上行攜帶經緯度/Wi-Fi/Beacon信息,請求頻率高會帶來無效的性能損耗,請求頻率低則會直接影響位置卡片的透出效率;
  • 位置感知不實時,近場推薦決策完全依賴於雲端,客戶端無法感知是否有近場推薦,更無法決策定位信息有效性,低頻的定位會導致用戶在進入AOI時無法及時體驗到相關的服務,而高定位頻次又將在用戶遠離AOI時損失設備性能並帶來請求量的暴增;

為此我們設計瞭定位覆蓋圈+地理圍欄緩沖區的組合拳方案,核心思路是積極發揮端雲協同,算法可以根據用戶距離AOI的位置動態調整端側定位頻率,在最小開發成本下解耦定位和請求,實現按需漸進式定位,最大化的提升AOI的服務效率。

a653553d1e048a6713129f51f443fec8image.png

從技術概念上來講,我們可以把定位覆蓋圈理解成對位置是否需要關註的界限,緩沖區則是對定位精度是否敏感的界限。結合下一張圖來說,具體執行細節如下:

  • 位置1,雲端以用戶初始的位置為圓心,計算周邊最近的AOI距離,以該距離得到覆蓋圈半徑R並下發到客戶端,由於在覆蓋圈內雲端不需要關註定位,客戶端在此期間隻需采用中/低頻的定位頻次按時檢測;
  • 位置2,客戶端按時檢測機制通過計算和位置1的移動直線距離,判斷用戶是否離開瞭當前的覆蓋圈,如果還在覆蓋圈內則繼續保持前一種狀態;位置3,如果檢測離開當前覆蓋圈則請求更新覆蓋圈;
  • 位置4,如果用戶進入瞭AOI圍欄的緩沖區,表示當前對位置精準度開始敏感,此時服務端下發圍欄信息,客戶端提高定位頻率,檢測用戶是否會進入圍欄;
  • 位置5,當檢測到用戶已進入到圍欄內,則主動請求服務端下發AOI服務卡片;當之後用戶離開圍欄,則主動請求服務端回收服務卡片並保持上一個狀態;
  • 最終用戶離開圍欄及緩沖區後,恢復覆蓋圈狀態下的低頻定位。

3.1.3 事件維度

推薦區有很大一部分刷新場景和用戶行為事件有關,在首頁的垂直領域有下拉刷新、正負反饋刷新等;在全端的橫向領域有功能設置、版本中心等;除此之外,在端外還有履約、訂單、熱點等事件源。由於不同業務有不同的刷新訴求,過去首頁在對外接入上支持全局刷新、單卡刷新和Sync異步刷新的原子化能力,有以下兩個顯著問題:

  • 事件感知能力弱,隻能依賴事件生產方提供對外的通知或接口,首頁需要及時跟版接入;事件源不理解,單維度的簡單事件可以處理,多維度的復雜事件無法提供直接的接入方案,依賴業務側定制化的間接生產並提供給首頁;
  • 異步流程效率低,拿業務場景來說,用戶在端上產生瞭業務行為後請求到業務雲端,業務雲端異步通知到首頁雲端,首頁雲端再異步通知到首頁客戶端,異步通知有效率僅約10%,其餘約90%鏈路都是低效消耗;

為此,我們重新規劃瞭首頁事件維度的刷新機制和規范,聯合端智能和端基礎團隊構建瞭基於感知復雜事件的首頁智能化刷新方案,另外基於此方案研發輕量級的業務的接入方式,不但可以解決上述兩大問題,而且面向未來多種多樣的業務刷新訴求可以更加得心應手。

3.2 推薦去重

去重是為瞭解決首頁現有推薦架構下的問題:來自不同系統的流量位推薦內容重復。

問題原因:首頁推薦的主要流量位由搜索底紋詞、角標、腰封及卡片列表構成。在首頁啟動的時候,多個流量位並行發送各自的RPC請求獲取推薦數據,由於多筆請求背後的業務系統相互之間沒有感知,容易導致推薦內容重復,非常影響用戶體驗和流量分發的效率。

為瞭填補推薦系統聯合優化能力的缺失,需要在各流量位之間建設流量中控能力,通過算法聯合優化去重。為此分別設計瞭以Single-Request為基礎的雲端流量中控方案和以端智能為基礎的端流量中控方案,兩個方案的實現思路和對比如下:

方案一、Single-Request 算法去重:流量中控建設在雲端,將首頁各流量位請求合並,由於Recmixer(首頁推薦系統)是主鏈路,所以在Recmixer鏈路下搭建中控平臺,UCDP(投放推薦系統)配合鏈路改造;客戶端CDP-SDK向首頁SDK提供請求數據。

  • 優點:多展位之間可聯合優化,通過算法排序優化各展位的流量分配;
  • 缺點:服務端各系統鏈路閉環打破,業務間互相依賴,接口耗時增加嚴重,客戶端改造成本高;

方案二、端智能算法去重:流量中控建設在客戶端,通過端智能架設流量中控平臺,平臺緩存各展位的推薦標的。首頁SDK和CDP-SDK流量下行後統一經由中控平臺決策。

  • 優點:前後端各業務系統改造成本低,彼此間保持解耦,接口耗時影響小;
  • 缺點:去重算法采用先到先得的貪心去重,無法在流量間做最優分配。

通過ROI和歷史收益參考對比,最終選擇瞭端算法去重方案,整體去重涉及兩個部分改造,分別是1. 離線側通過人工幹預或標簽分類將推薦內容的實體統一;2. 在線側通過端智能中控規則去重。完整流程如下圖:

4. 階段性進展和成果

智能刷新

時間智能化方案實時推薦從0搭建端智能決策工程/算法鏈路,經過小流量實驗到子場景逐步推全,目前在回首頁刷新場景已經落地第一版意圖預測刷新,整體請求量級下降14%,點擊PV置信提升0.44%,PVCTR整體提升18.8%。

空間智能化方案地理圍欄緩沖區方案目前已全量上線,首頁位置卡片通過使用這套組合能力,圍欄緩沖區點擊pv/點擊uv分別提升19.7%/20.02%,pvCtr/uvCtr分別提升4.4%/6.51%;定位覆蓋圈點擊PV/點擊UV分別提升4.54%/2.54%,pvCtr/uvCtr分別提升2.38%/0.51%。

事件智能化方案機制已經逐步落地在會員積分領取、IOT支付後推薦等卡片業務場景,業務接入效率大幅提升,鏈路效率大幅優化(減少90%無效sync請求),無需再進行開發對接服務端sync接口,僅做端側標準CEP規則提報即可完成業務單卡刷新能力接入。

推薦去重

首頁端智能去重方案經過多個團隊聯合開發後,目前線上腰封、feed、角標已全量開啟,當前階段聯合去重實體重復度下降33%。目前團隊針對下一步Action還在討論中,中長期目標是會推進分數校準/展位偏好的計算模型上線,提供更優的流量分配策略。

5. 未來規劃

首先圍繞首頁智能刷新架構的深度探索,持續發揮端雲協同的優勢,接下來將在幾個方向重點發力:

  • 深入內容實體挖掘,目前雲端算法推薦技術在實體粒度,端側還在類型粒度,後續會加大端側的技術投入更好的推進端雲聯動推薦多場景落地,進一步提升分發有效轉化;
  • 擴大端側算法決策范圍,逐步將無效的刷新請求轉化為有效請求,提供多種基礎工程能力,由算法側按業務類型個性化決策局部和整體內容的刷新;

繼而,在智能化道路上繼續探索落地場景,下一階段我們在著手設計通過智能檢測手段來保障首頁用戶體驗的方案,針對重要的體驗問題建設線上監控、異常報警和問題發現機制。

发表回复

相关推荐

电锯人(98话)第二部深度分析,战争恶魔登场!

yoyoyo,电锯人的第二部终于来了。 我们就一起来分析一下最新话的内容。 98话的标题叫做鸟与战争,官方翻译的是鸡与战争,我 ...

· 3分钟前

白鹿原上長起來的野孩子,從來不覺夏天熱

入伏以後,天氣更燥熱瞭。午後,太陽如火球一般炙烤著大地。田野裡,苞谷葉子都卷起瞭軸,門前菜地裡的辣子、茄子、黃瓜的葉...

· 5分钟前

把现代语言翻译成古风文

把现代语言翻译成古风文,超级美 1、原文:我不爱你了 古风文:我与春风皆过客,你携秋水揽星河。 2、原文:我们结婚吧 古风 ...

· 5分钟前

民航机务论坛

民航机务论坛,抒发机务观点。 其中不少怨言,直指当前弊端。 不少金玉良言,道出其中根源。 民航良性发展,论坛渐成关键。 ...

· 8分钟前

营销理论大全

4P营销理论(The Marketing Theory of 4Ps),4P理论产生于20世纪60年代的美国,随着营销组合理论的提出而出现的。1953年,尼 ...

· 13分钟前