首頁是支付寶App的第一個Tab頁面,承載著整個支付寶端的流量分發以及端入口體驗的重任。在探索分發推薦和體驗保障這條道路上,首頁團隊通過與端智能團隊的深度合作,充分發揮端計算的優勢,利用端側豐富且實時的行為特征,結合端智能提供的算法平臺能力,為首頁業務帶來效率和價值的增長點。
首頁推薦業務從成長逐步進入到成熟的階段。首頁技術的站位需要面向業務、面向數字化、面向未來做進一步的升級。以推薦區業務為例,需要從產品角度做好場景化推薦和精細化運營,需要從技術角度滿足子業務的高效率接入和個性化配置,因此擴展底層能力邊界、夯實技術核心是首頁技術下一階段的重中之重。
目前雲端大規模計算已經成為瞭智能推薦業務的核心基礎設施,在此基礎上充分發揮端計算和端智能的優勢,彌補雲端實時感知的空白,不但可以幫助雲端做出更好的推薦決策,也可以發揮端雲協同的優勢進一步提升數字化運營的能力。
首頁端技術在當前的階段主要面臨兩個方面的基本要求:1. 產品側對業務穩定、靈活高效的要求;2. 技術側對性能、穩定性、體驗、數字化基本盤的要求。在此基礎上通過智能化建設,一方面進一步提升業務的基礎水位,另一方面持續深耕技術,做好產品體驗的保障。
6bf57a670655f8ed087791157882e073
刷新是首頁作為分發平臺最核心的能力。過去的刷新策略是盡量覆蓋所有可能的刷新場景來保障算法推薦的觸達,現在我們按照業務屬性和特性將多點離散的刷新場景抽象歸納為時間、空間、事件三個維度,在這三個維度上分別進行智能化改造升級。
44dfb561b9326de908e3b30719e60792
目前首頁推薦的基礎架構是雲推薦-端渲染,非首次進首頁自動刷新等場景是通過較粗粒度的手段來盡量滿足用戶進入首頁時的推薦觸達,這裡存在幾個問題:
為瞭解決如上幾個問題,首頁建設閾值梯度變化的AB實驗,接入端側算法模型,而且端側天然具備豐富的用戶實時特征數據,理論上可以滿足局部連貫性數據輸入,另外算法建模,通過實時意圖識別來決策刷新行為。在此基礎上,搭建以端-雲協同為基礎的推薦架構:通過端側感知實時用戶行為,構建端意圖識別-雲意圖理解的實時推薦架構。
近場推薦是基於精準定位的場景化服務解決方案,首頁的近場推薦載體是置頂的位置卡片,目前首頁近場推薦覆蓋的場景包括火車站、航站樓、醫院、景區、商圈等(AOI,area of interest)。在位置相關推薦上,首頁端技術面臨的最主要問題是:
為此我們設計瞭定位覆蓋圈+地理圍欄緩沖區的組合拳方案,核心思路是積極發揮端雲協同,算法可以根據用戶距離AOI的位置動態調整端側定位頻率,在最小開發成本下解耦定位和請求,實現按需漸進式定位,最大化的提升AOI的服務效率。
a653553d1e048a6713129f51f443fec8image.png
從技術概念上來講,我們可以把定位覆蓋圈理解成對位置是否需要關註的界限,緩沖區則是對定位精度是否敏感的界限。結合下一張圖來說,具體執行細節如下:
推薦區有很大一部分刷新場景和用戶行為事件有關,在首頁的垂直領域有下拉刷新、正負反饋刷新等;在全端的橫向領域有功能設置、版本中心等;除此之外,在端外還有履約、訂單、熱點等事件源。由於不同業務有不同的刷新訴求,過去首頁在對外接入上支持全局刷新、單卡刷新和Sync異步刷新的原子化能力,有以下兩個顯著問題:
為此,我們重新規劃瞭首頁事件維度的刷新機制和規范,聯合端智能和端基礎團隊構建瞭基於感知復雜事件的首頁智能化刷新方案,另外基於此方案研發輕量級的業務的接入方式,不但可以解決上述兩大問題,而且面向未來多種多樣的業務刷新訴求可以更加得心應手。
去重是為瞭解決首頁現有推薦架構下的問題:來自不同系統的流量位推薦內容重復。
問題原因:首頁推薦的主要流量位由搜索底紋詞、角標、腰封及卡片列表構成。在首頁啟動的時候,多個流量位並行發送各自的RPC請求獲取推薦數據,由於多筆請求背後的業務系統相互之間沒有感知,容易導致推薦內容重復,非常影響用戶體驗和流量分發的效率。
為瞭填補推薦系統聯合優化能力的缺失,需要在各流量位之間建設流量中控能力,通過算法聯合優化去重。為此分別設計瞭以Single-Request為基礎的雲端流量中控方案和以端智能為基礎的端流量中控方案,兩個方案的實現思路和對比如下:
方案一、Single-Request 算法去重:流量中控建設在雲端,將首頁各流量位請求合並,由於Recmixer(首頁推薦系統)是主鏈路,所以在Recmixer鏈路下搭建中控平臺,UCDP(投放推薦系統)配合鏈路改造;客戶端CDP-SDK向首頁SDK提供請求數據。
方案二、端智能算法去重:流量中控建設在客戶端,通過端智能架設流量中控平臺,平臺緩存各展位的推薦標的。首頁SDK和CDP-SDK流量下行後統一經由中控平臺決策。
通過ROI和歷史收益參考對比,最終選擇瞭端算法去重方案,整體去重涉及兩個部分改造,分別是1. 離線側通過人工幹預或標簽分類將推薦內容的實體統一;2. 在線側通過端智能中控規則去重。完整流程如下圖:
智能刷新
時間智能化方案實時推薦從0搭建端智能決策工程/算法鏈路,經過小流量實驗到子場景逐步推全,目前在回首頁刷新場景已經落地第一版意圖預測刷新,整體請求量級下降14%,點擊PV置信提升0.44%,PVCTR整體提升18.8%。
空間智能化方案地理圍欄緩沖區方案目前已全量上線,首頁位置卡片通過使用這套組合能力,圍欄緩沖區點擊pv/點擊uv分別提升19.7%/20.02%,pvCtr/uvCtr分別提升4.4%/6.51%;定位覆蓋圈點擊PV/點擊UV分別提升4.54%/2.54%,pvCtr/uvCtr分別提升2.38%/0.51%。
事件智能化方案機制已經逐步落地在會員積分領取、IOT支付後推薦等卡片業務場景,業務接入效率大幅提升,鏈路效率大幅優化(減少90%無效sync請求),無需再進行開發對接服務端sync接口,僅做端側標準CEP規則提報即可完成業務單卡刷新能力接入。
推薦去重
首頁端智能去重方案經過多個團隊聯合開發後,目前線上腰封、feed、角標已全量開啟,當前階段聯合去重實體重復度下降33%。目前團隊針對下一步Action還在討論中,中長期目標是會推進分數校準/展位偏好的計算模型上線,提供更優的流量分配策略。
首先圍繞首頁智能刷新架構的深度探索,持續發揮端雲協同的優勢,接下來將在幾個方向重點發力:
繼而,在智能化道路上繼續探索落地場景,下一階段我們在著手設計通過智能檢測手段來保障首頁用戶體驗的方案,針對重要的體驗問題建設線上監控、異常報警和問題發現機制。