柳州網(wǎng)站建設(shè)哪家便宜,花樣云做網(wǎng)站怎樣,軟件制作小程序開發(fā),福建省建設(shè)執(zhí)業(yè)繼續(xù)教育網(wǎng)站目錄 第13章 競價廣告核心技術(shù) 13.1 競價廣告計價算法 1. 從密封競價到廣義第二價格#xff1a;市場的進化 2. VCG拍賣#xff1a;理論上的完美與現(xiàn)實的差距 3. 計價算法的工程實現(xiàn)與考量 4. 計價的演進#xff1a;從CPC到oCPX 13.2 搜索廣告系統(tǒng) 13.2.1 查詢擴展 1…目錄第13章 競價廣告核心技術(shù)13.1 競價廣告計價算法1. 從密封競價到廣義第二價格市場的進化2. VCG拍賣理論上的完美與現(xiàn)實的差距3. 計價算法的工程實現(xiàn)與考量4. 計價的演進從CPC到oCPX13.2 搜索廣告系統(tǒng)13.2.1 查詢擴展13.2.2 廣告放置13.3 廣告網(wǎng)絡(luò)1. 廣告網(wǎng)絡(luò)的定位與價值2. 廣告網(wǎng)絡(luò)的核心技術(shù)流程3. 關(guān)鍵技術(shù)挑戰(zhàn)4. 廣告網(wǎng)絡(luò)的演進從網(wǎng)絡(luò)到交易平臺13.4 廣告檢索13.4.1 布爾表達式的檢索13.4.2 相關(guān)性檢索13.4.3 基于DNN的語義建模13.4.4 最近鄰語義檢索第13章 競價廣告核心技術(shù)合約廣告提供了確定性的曝光保障但缺乏靈活性且往往定價高昂。競價廣告則引入了一種更靈活、更高效的市場機制每一次廣告展示機會都通過一個實時拍賣來決定歸屬和價格。這種模式完美適應(yīng)了互聯(lián)網(wǎng)長尾流量龐大、用戶意圖瞬變的特點成為效果廣告和中小廣告主的主流選擇。本章將深入解析支撐競價廣告運作的三大核心技術(shù)作為市場靈魂的計價算法、作為最成功競價產(chǎn)品的搜索廣告系統(tǒng)、作為泛化平臺的廣告網(wǎng)絡(luò)以及支撐海量廣告實時檢索的廣告檢索技術(shù)。13.1 競價廣告計價算法競價廣告市場的核心是一個多物品廣告位拍賣。但與傳統(tǒng)的藝術(shù)品拍賣不同廣告拍賣有兩個獨特之處1) 物品廣告展示機會幾乎同質(zhì)且海量2) 競拍者對物品的私有估值不同且這個估值即一次點擊或轉(zhuǎn)化的價值只有競拍者自己知道。計價算法的目標(biāo)就是設(shè)計一套規(guī)則在每次拍賣中決定哪些廣告勝出、以什么價格支付從而在激勵廣告主誠實出價、保證平臺收入、維持市場穩(wěn)定高效之間取得最佳平衡。1. 從密封競價到廣義第二價格市場的進化在早期競價廣告采用最簡單的密封第一價格拍賣每個廣告主秘密提交一個對于一次點擊的報價CPC出價出價最高的廣告贏得展示并按自己的出價支付費用。問題這引發(fā)了著名的“猜謎游戲”困境。廣告主不得不猜測競爭對手的出價并盡量以略高于第二名的出價獲勝以避免不必要的過高支付。這導(dǎo)致了不穩(wěn)定的出價策略、頻繁的調(diào)價和巨大的管理負(fù)擔(dān)市場效率低下。廣義第二價格Generalized Second Price, GSP拍賣的引入徹底改變了游戲規(guī)則。它的機制簡潔而深刻排序當(dāng)一次廣告請求到來時系統(tǒng)收集所有符合條件的廣告。對于每個廣告 ii計算其綜合排名分?jǐn)?shù)RSibi×qiRSi?bi?×qi?。其中bibi? 是廣告主對本次點擊的出價CPC。qiqi? 是廣告的質(zhì)量度通常由系統(tǒng)預(yù)估的點擊率pCTR等因素構(gòu)成反映了廣告對用戶的吸引力和體驗的好壞。勝出按照綜合排名分?jǐn)?shù) RSiRSi? 從高到低排序依次選取廣告填充廣告位如搜索結(jié)果頁從上到下的位置。計價關(guān)鍵所在。每個勝出的廣告 ii 實際支付的點擊價格 pipi?不是它自己的出價 bibi?而是恰好能保住其當(dāng)前排名所需的最低價格。具體來說是下一位廣告的綜合排名分?jǐn)?shù) RSi1RSi1? 除以本廣告的質(zhì)量度 qiqi?再加一個非常小的單位如0.01元或者更常見的表達GSP的直觀理解鼓勵高質(zhì)量質(zhì)量度 qiqi? 直接進入排序公式。一個出價較低但點擊率很高的廣告可能排在一個出價高但點擊率低的廣告前面。這迫使廣告主必須優(yōu)化廣告創(chuàng)意和相關(guān)性而不僅僅是提高出價從而提升了用戶體驗和平臺生態(tài)健康。支付“社會成本”廣告主支付的本質(zhì)上是由于他占據(jù)了廣告位而讓下一位廣告主社會損失的價值即 RSi1RSi1?再根據(jù)自身質(zhì)量進行校準(zhǔn)。這具有一定的經(jīng)濟合理性。相對簡單透明盡管計價公式略顯復(fù)雜但廣告主容易理解“你的出價和你的質(zhì)量共同決定排名你支付的是維持排名所需的價格”。2. VCG拍賣理論上的完美與現(xiàn)實的差距從機制設(shè)計理論來看GSP并非“激勵兼容”的即廣告主誠實地按其真實估值出價并不總是最優(yōu)策略。這可能會造成市場效率的損失。維克瑞-克拉克-格羅夫斯拍賣Vickrey–Clarke–Groves auction則是一種理論上完美的機制。在廣告多位置拍賣中VCG的定價原則是每個獲勝的廣告主支付的價格等于他給其他所有參與者包括平臺和其他廣告主帶來的價值損失。計算方式對于贏得第 kk 個位置的廣告主 ii首先計算如果他不參與拍賣其他廣告主原本能獲得的總價值即他們按原順序排列時各自排名的價值之和。然后計算他參與后其他廣告主獲得的總價值他占據(jù)了一個位置其他廣告順位下降。他的支付價就是這兩個總價值的差值。優(yōu)點VCG拍賣被證明是激勵兼容的即每個廣告主的最優(yōu)策略就是按其真實估值出價。這簡化了廣告主的出價策略理論上能達到社會福利最大化。缺點難以理解計價邏輯非常復(fù)雜對普通廣告主不直觀。收入可能更低在某些情況下平臺在VCG下的收入低于GSP。對點擊率預(yù)估誤差敏感VCG的計算嚴(yán)重依賴對所有廣告CTR的精確估計誤差會扭曲支付價格。因此盡管VCG在學(xué)術(shù)上更優(yōu)雅但在全球主要的搜索廣告平臺如谷歌、百度的實際應(yīng)用中GSP及其變種因其更好的穩(wěn)健性、可解釋性和收入表現(xiàn)而被廣泛采用。3. 計價算法的工程實現(xiàn)與考量在實際系統(tǒng)中GSP的實現(xiàn)面臨諸多工程細(xì)節(jié)質(zhì)量度的構(gòu)成qiqi? 通常不單是pCTR。它可能是一個更綜合的“廣告質(zhì)量分”融合了預(yù)估點擊率最核心的因素。預(yù)估轉(zhuǎn)化率/落地頁體驗廣告引導(dǎo)用戶行為后的體驗。廣告相關(guān)性與查詢或頁面的匹配程度。廣告主歷史表現(xiàn)賬戶健康狀況、違規(guī)記錄等。用戶體驗信號廣告的負(fù)面反饋率如“隱藏此廣告”?！凹觾r”單位 ?? 的設(shè)置這個微小加價是為了在排名分?jǐn)?shù)完全相同的情況下打破平局并確保價格嚴(yán)格高于理論下限。其設(shè)置需要謹(jǐn)慎避免過度收費。底價保留價平臺會為每次拍賣設(shè)置一個最低的排名分?jǐn)?shù)門檻或點擊價格。如果一個廣告的綜合排名分?jǐn)?shù)低于此門檻即使位置有空缺也不會展示。這保證了平臺的收入底線和廣告質(zhì)量門檻。多廣告位與外部性的影響在搜索結(jié)果頁有多個廣告位時頂部廣告的展示可能會抑制下方廣告的點擊率注意力蠶食。更復(fù)雜的GSP變種會嘗試在排序或計價時考慮這種位置外部性。4. 計價的演進從CPC到oCPX傳統(tǒng)的GSP是基于CPC出價的。但對于追求轉(zhuǎn)化如購買、注冊的廣告主來說他們真正關(guān)心的是每次轉(zhuǎn)化的成本CPA。然而平臺無法直接針對CPA進行拍賣因為轉(zhuǎn)化發(fā)生在廣告主網(wǎng)站平臺無法實時獲知。智能出價如oCPC、oCPM機制應(yīng)運而生它是計價算法思想的一次重大飛躍。原理廣告主設(shè)置一個轉(zhuǎn)化目標(biāo)如CPA和出價。平臺利用歷史數(shù)據(jù)建立從曝光-點擊-轉(zhuǎn)化的預(yù)估模型pCVR。在每次曝光拍賣時平臺代替廣告主根據(jù)廣告主的CPA目標(biāo)和實時預(yù)估的pCVR反向計算出一個“等效”的CPC或CPM出價并以此參與基于CPC/CPM的GSP拍賣。優(yōu)勢對齊目標(biāo)將廣告主的商業(yè)目標(biāo)轉(zhuǎn)化與平臺的拍賣機制直接掛鉤。自動化與提效廣告主無需再繁瑣地調(diào)整關(guān)鍵詞出價只需關(guān)注轉(zhuǎn)化成本和預(yù)算。平臺優(yōu)化空間平臺可以智能地在高pCTR但低pCVR的流量和低pCTR但高pCVR的流量之間進行分配在保證廣告主CPA的前提下最大化平臺收入。挑戰(zhàn)極度依賴pCVR模型的準(zhǔn)確性。模型不準(zhǔn)會導(dǎo)致廣告主成本失控或平臺收入受損。總結(jié)計價算法是競價廣告市場的“憲法”。GSP以其巧妙的“質(zhì)量×出價”排序和第二價格支付規(guī)則在效率、激勵和可實施性之間找到了一個經(jīng)典的平衡點。而智能出價則是在此基礎(chǔ)上通過算法代理將拍賣機制與更高階的廣告主目標(biāo)對齊代表了競價廣告自動化和智能化的發(fā)展方向。理解計價算法就理解了競價廣告市場運轉(zhuǎn)的根本驅(qū)動力。13.2 搜索廣告系統(tǒng)搜索廣告是競價廣告皇冠上的明珠也是最成功的商業(yè)模式之一。它的特殊性在于用戶的搜索查詢是一種極其強烈的意圖信號。搜索廣告系統(tǒng)的任務(wù)就是在這短暫的意圖表達瞬間提供最相關(guān)、最有價值的商業(yè)信息。其核心技術(shù)圍繞“查詢理解”和“廣告放置”展開。13.2.1 查詢擴展用戶的搜索詞往往簡短、模糊、有噪聲。例如搜索“蘋果”可能是想買手機也可能是查水果營養(yǎng)甚至是找電影《蘋果》。查詢擴展的目標(biāo)是豐富和澄清用戶意圖以召回更相關(guān)、更全面的廣告候選集。1. 同義詞與近義詞擴展方法利用同義詞詞典如WordNet、搜索引擎日志挖掘共現(xiàn)分析、或詞向量模型如Word2vec找到查詢詞的同義、近義表達。例子查詢“筆記本電腦” - 擴展為{“筆記本” “手提電腦” “l(fā)aptop”}。這能召回購買了不同關(guān)鍵詞但產(chǎn)品相同的廣告。技術(shù)基于詞向量的語義相似度計算是主流方法。2. 短語補全與糾錯查詢補全在用戶輸入過程中根據(jù)前綴預(yù)測完整的熱門查詢。這不僅提升用戶體驗也能提前明確意圖。技術(shù)基于前綴樹的數(shù)據(jù)結(jié)構(gòu)和海量歷史查詢?nèi)罩镜慕y(tǒng)計模型。拼寫糾錯自動校正查詢中的拼寫錯誤。技術(shù)編輯距離計算、噪聲信道模型將錯誤拼寫視為正確拼寫通過一個“噪聲通道”后的結(jié)果、基于大規(guī)模日志的上下文相關(guān)糾錯。3. 意圖分類與實體識別意圖分類判斷查詢屬于哪個垂直領(lǐng)域或商業(yè)意圖類別如“導(dǎo)航類”北京天氣“交易類”買手機“信息類”秦始皇是誰。技術(shù)文本分類模型如FastText, BERT。意圖類別直接影響廣告召回的策略如交易類查詢優(yōu)先展示購物廣告。實體識別識別查詢中的命名實體如品牌“蘋果”、產(chǎn)品“iPhone 14”、地點“北京”。技術(shù)序列標(biāo)注模型如BiLSTM-CRF, BERT。識別出的實體是進行精準(zhǔn)匹配和品牌廣告投放的關(guān)鍵。4. 查詢改寫與泛化子查詢生成將長查詢拆分為更有針對性的子查詢。例子“2023年性價比高的國產(chǎn)智能手機” - {“2023 智能手機” “性價比高 手機” “國產(chǎn)手機”}。泛化與歸一化去除不影響意圖的修飾詞歸一化表達。例子“最新款華為手機多少錢” - 歸一化為 “華為手機 價格”。5. 基于會話上下文的擴展場景用戶在一個搜索會話中先后搜索了“三亞”、“天氣”、“酒店”。當(dāng)搜索“酒店”時系統(tǒng)應(yīng)結(jié)合“三亞”這個上下文進行擴展。技術(shù)維護用戶短期搜索歷史使用序列模型如RNN或注意力機制來生成上下文感知的查詢表示。13.2.2 廣告放置在搜索結(jié)果頁SERP上廣告應(yīng)該放在哪里以什么樣式呈現(xiàn)這不僅僅是UI設(shè)計問題更是直接影響用戶體驗和廣告收入的科學(xué)。廣告放置的目標(biāo)是在商業(yè)化和用戶體驗間找到最優(yōu)平衡點。1. 廣告位置決策插播還是專區(qū)頂部/底部插播在自然搜索結(jié)果之間插入廣告。通常位置越靠前點擊率越高但對用戶體驗干擾也越大。右側(cè)欄/底部專區(qū)將廣告集中在特定區(qū)域。干擾較小但注意力也可能較低。自適應(yīng)位置根據(jù)查詢意圖、用戶設(shè)備PC/移動、頁面布局動態(tài)決定廣告數(shù)量和位置。例如對于商業(yè)意圖強的“購買”類查詢可以多展示幾條頂部廣告對于知識性查詢可能不展示或少展示廣告。2. 廣告樣式與富媒體文字廣告最經(jīng)典的形式包含標(biāo)題、描述、顯示URL。圖文/視頻廣告更吸引眼球適用于品牌宣傳或產(chǎn)品展示。商品列表廣告直接展示多個商品圖片、價格、店鋪信息適用于電商搜索。本地搜索廣告附帶地圖、電話、地址、評價等信息。樣式選擇系統(tǒng)需要根據(jù)廣告主提供的物料、用戶設(shè)備、網(wǎng)絡(luò)條件動態(tài)選擇最合適的廣告樣式進行渲染。3. 廣告與自然結(jié)果的融合“原生”化趨勢挑戰(zhàn)用戶天生對廣告有排斥心理。過于突兀的廣告標(biāo)識會降低點擊意愿。解決方案使廣告在視覺風(fēng)格、信息結(jié)構(gòu)上與自然搜索結(jié)果盡可能相似僅以“廣告”、“推廣”等小字樣區(qū)分。這被稱為“原生搜索廣告”。技術(shù)統(tǒng)一的UI組件庫、風(fēng)格指南以及通過A/B測試不斷優(yōu)化廣告樣式在提升點擊率的同時控制用戶負(fù)面反饋。4. 動態(tài)創(chuàng)意優(yōu)化原理對于同一個廣告系統(tǒng)可以根據(jù)查詢詞、用戶畫像動態(tài)調(diào)整其創(chuàng)意中展示的信息。例子對于搜索“輕便筆記本電腦”的用戶廣告標(biāo)題中高亮“超輕1kg”對于搜索“游戲筆記本”的用戶則高亮“RTX顯卡”。技術(shù)廣告主提供創(chuàng)意組件多個標(biāo)題、描述、圖片系統(tǒng)通過一個創(chuàng)意選擇模型在線上實時選擇最優(yōu)組合。這可以視為一個上下文多臂老虎機問題。5. 拍賣機制與放置的聯(lián)動存在性定理廣告能否展示首先取決于其在GSP拍賣中的排名分?jǐn)?shù)是否超過底價。多廣告位的分配排名第一的廣告不一定總是放在最頂部。系統(tǒng)可能會考慮廣告間的協(xié)同或排斥效應(yīng)。例如兩個直接競爭品牌的廣告緊挨著放置可能會相互抵消效果。更智能的系統(tǒng)會嘗試優(yōu)化整個廣告序列的布局。總結(jié)搜索廣告系統(tǒng)是查詢意圖與商業(yè)信息之間的高速、精準(zhǔn)連接器。查詢擴展技術(shù)致力于“聽懂”用戶哪怕不完整的表達而廣告放置技術(shù)則致力于在“恰當(dāng)時機”、“恰當(dāng)位置”以“恰當(dāng)形式”呈現(xiàn)商業(yè)信息。這兩者的精妙配合使得搜索廣告既能創(chuàng)造巨大商業(yè)價值又能維持在用戶可接受的服務(wù)邊界之內(nèi)。它是競價廣告技術(shù)集大成的體現(xiàn)。13.3 廣告網(wǎng)絡(luò)廣告網(wǎng)絡(luò)Ad Network, ADN是競價廣告模式從搜索場景向全網(wǎng)展示廣告場景的泛化和擴展。它扮演著“流量批發(fā)商”和“技術(shù)中介”的雙重角色聚合大量中小媒體網(wǎng)站、APP的剩余廣告流量通過統(tǒng)一的競價市場銷售給廣告主并通過受眾定向技術(shù)提升流量的變現(xiàn)價值。1. 廣告網(wǎng)絡(luò)的定位與價值對媒體的價值變現(xiàn)長尾流量中小媒體自身銷售能力有限ADN為其提供了自動化的、填充剩余庫存的變現(xiàn)渠道。簡化對接媒體只需嵌入ADN的一段通用代碼即可接入海量廣告主無需與眾多廣告主一一談判。提升收入通過競價理論上可以獲得比固定價格出售更高的收入。對廣告主的價值擴大覆蓋一次投放可以覆蓋成千上萬個媒體觸達更廣泛的受眾。精準(zhǔn)定向利用ADN整合的跨站用戶行為數(shù)據(jù)實現(xiàn)比單一媒體更精準(zhǔn)的受眾定向尤其是行為定向。操作便捷通過一個統(tǒng)一的操作界面管理跨媒體投放。核心矛盾媒體希望獲得高溢價品牌價值而ADN為了最大化填充率和收入往往傾向于售賣效果流量通過精準(zhǔn)定向。這導(dǎo)致了媒體品牌稀釋和“賤賣”流量的風(fēng)險。2. 廣告網(wǎng)絡(luò)的核心技術(shù)流程流量接入與標(biāo)簽化ADN通過SDK或JS標(biāo)簽接入媒體流量。對每次曝光機會ADN會嘗試?yán)斫馄渖舷挛捻撁鎯?nèi)容、APP類別和背后的用戶通過Cookie/Device ID識別并查詢用戶畫像。為這次曝光打上多種定向標(biāo)簽如“體育頻道”、“北京地區(qū)”、“男性”、“科技興趣”形成一個定向標(biāo)簽組合。廣告檢索與匹配廣告主在ADN后臺設(shè)置廣告活動包括定向條件如“男性 北京 科技興趣”、出價、預(yù)算、創(chuàng)意等。當(dāng)一次帶有特定標(biāo)簽組合的曝光發(fā)生時ADN的檢索系統(tǒng)需要快速找到所有定向條件被該標(biāo)簽組合完全包含的廣告活動。這是一個多維度布爾查詢問題。競價與排序?qū)ζヅ涞膹V告活動ADN同樣采用GSP或其變種進行競價排序。排名分?jǐn)?shù)通常為 出價×pCTR出價×pCTR。與搜索廣告不同這里的pCTR預(yù)估模型需要面對極其多樣的上下文和用戶組合特征稀疏挑戰(zhàn)更大。創(chuàng)意投放與監(jiān)測將勝出廣告的創(chuàng)意返回給媒體進行展示。ADN負(fù)責(zé)監(jiān)測廣告的展示、點擊并進行反作弊過濾然后與媒體和廣告主分別結(jié)算。3. 關(guān)鍵技術(shù)挑戰(zhàn)用戶識別與數(shù)據(jù)整合ADN的核心優(yōu)勢在于跨站行為數(shù)據(jù)。這依賴于穩(wěn)定的用戶標(biāo)識符第三方Cookie、移動設(shè)備ID。隨著隱私政策收緊這部分能力被嚴(yán)重削弱是ADN面臨的最大生存挑戰(zhàn)。點擊率預(yù)估的冷啟動與分布外泛化冷啟動對于新廣告、新媒體、新用戶缺乏歷史數(shù)據(jù)。分布外泛化模型在訓(xùn)練時見過的媒體 用戶 廣告組合只是線上可能組合的極小一部分。模型必須能泛化到未見過的組合。這需要利用元特征如媒體的類別、廣告的行業(yè)和領(lǐng)域自適應(yīng)技術(shù)。流量質(zhì)量參差不齊與反作弊聚合流量的質(zhì)量方差極大部分媒體可能存在低質(zhì)流量或作弊流量。ADN需要建立強大的流量質(zhì)量評級系統(tǒng)和實時反作弊過濾以保護廣告主利益和自身信譽。與媒體自有廣告服務(wù)器的競爭大型優(yōu)質(zhì)媒體傾向于建立自己的廣告服務(wù)器直接對接廣告交易平臺或DSP以獲取更高收入和控制權(quán)即供應(yīng)方平臺SSP模式。ADN的流量池逐漸被擠壓至中長尾。4. 廣告網(wǎng)絡(luò)的演進從網(wǎng)絡(luò)到交易平臺傳統(tǒng)的ADN是“批發(fā)買斷零售賣出”的模式對媒體采用固定分成的CPM/CPC結(jié)算。這種模式不透明且媒體無法參與每次拍賣的價格決定。實時競價RTB和廣告交易平臺Ad Exchange, ADX的出現(xiàn)給出了更優(yōu)解。在RTB模式下媒體可以通過SSP將每次曝光以實時競價的方式售賣給多個DSP需求方平臺價高者得。這給了媒體獲得市場公允價格的機會。因此傳統(tǒng)ADN的角色在分化一部分進化為DSP專注于服務(wù)廣告主通過RTB方式跨多個ADX采購流量。一部分進化為SSP專注于服務(wù)媒體幫助其通過RTB最大化收入。一部分堅守特定垂直領(lǐng)域或海外市場在RTB生態(tài)尚未完全覆蓋的領(lǐng)域繼續(xù)發(fā)揮作用?？偨Y(jié)廣告網(wǎng)絡(luò)是競價廣告模式普及的關(guān)鍵推手它通過技術(shù)手段將分散的、異質(zhì)的展示廣告市場初步標(biāo)準(zhǔn)化和規(guī)?；?。盡管其傳統(tǒng)模式正被更透明、高效的RTB生態(tài)所演進和替代但其所奠定的受眾定向、競價排序、流量聚合等核心技術(shù)已成為程序化廣告的基石。理解廣告網(wǎng)絡(luò)是理解從搜索廣告到全域展示廣告這一關(guān)鍵擴展的橋梁。13.4 廣告檢索廣告檢索是競價廣告系統(tǒng)的“發(fā)動機”。在毫秒級的時間內(nèi)它必須從可能高達數(shù)十億的廣告庫中快速篩選出與當(dāng)前請求用戶上下文最相關(guān)的數(shù)百到數(shù)千個候選廣告供后續(xù)的排序階段進行精排。這是一個典型的大規(guī)模信息檢索問題但帶有強烈的商業(yè)約束定向條件和語義匹配需求。13.4.1 布爾表達式的檢索這是廣告檢索最基礎(chǔ)、最核心的任務(wù)。廣告主設(shè)置的定向條件如“地域北京 AND 興趣包含‘汽車’ AND 年齡在25-40之間”本質(zhì)上是一個布爾表達式。檢索系統(tǒng)需要找出所有布爾表達式被當(dāng)前請求特征評估為“真”的廣告。挑戰(zhàn)表達式復(fù)雜可能是多層AND、OR、NOT的組合。索引巨大廣告庫龐大每個廣告的定向條件相當(dāng)于一個“文檔”需要建立索引。實時性要求高響應(yīng)時間通常在10毫秒以內(nèi)。解決方案倒排索引 跳表建立索引不是以廣告為鍵而是以定向維度上的取值即標(biāo)簽為鍵。例如鍵地域北京- 倒排列表[廣告A, 廣告D, 廣告F, ...]鍵興趣汽車- 倒排列表[廣告A, 廣告B, 廣告C, ...]鍵年齡區(qū)間25-30- 倒排列表[廣告B, 廣告D, ...]查詢處理當(dāng)請求到來時提取其特征{地域北京 興趣汽車 年齡28}。根據(jù)特征取出對應(yīng)的倒排列表L1 list(地域北京) L2 list(興趣汽車) L3 list(年齡區(qū)間25-30)。因為定向條件是AND連接所以需要求這些列表的交集。即找出同時出現(xiàn)在L1、L2、L3中的廣告ID。高效求交集算法如果列表有序可以使用雙指針法或跳表進行多路歸并快速求得交集。優(yōu)先從最短的列表開始處理可以減少比較次數(shù)。對于OR操作則需求并集對于NOT操作則需求差集。優(yōu)化表達式預(yù)處理與優(yōu)化將復(fù)雜的布爾表達式轉(zhuǎn)換成更高效的合取范式CNF或析取范式DNF并優(yōu)化求值順序。索引壓縮對倒排列表進行整數(shù)壓縮如Varint Frame-of-Reference減少內(nèi)存占用和內(nèi)存帶寬。分層索引對熱門標(biāo)簽和冷門標(biāo)簽建立不同的索引結(jié)構(gòu)分區(qū)處理。13.4.2 相關(guān)性檢索布爾檢索確保了廣告符合定向要求但無法保證廣告與當(dāng)前上下文如搜索詞、頁面內(nèi)容在語義上相關(guān)。相關(guān)性檢索的目標(biāo)是在布爾檢索初篩的基礎(chǔ)上進一步根據(jù)文本相關(guān)性進行過濾和排序。方法可以看作是傳統(tǒng)信息檢索在廣告領(lǐng)域的應(yīng)用?；陉P(guān)鍵詞的向量空間模型將廣告文案和查詢/頁面內(nèi)容表示為TF-IDF向量計算余弦相似度。篩選出相似度高于閾值的廣告。集成到檢索過程中一種常見做法是進行兩階段檢索階段一召回使用布爾索引快速找出所有定向匹配的廣告可能數(shù)萬。階段二粗排對這數(shù)萬廣告使用一個輕量級的相關(guān)性模型如BM25、淺層神經(jīng)網(wǎng)絡(luò)進行快速打分和截斷保留top K如1000個相關(guān)性最高的廣告送入后續(xù)的精排環(huán)節(jié)。挑戰(zhàn)語義鴻溝問題依然存在。13.4.3 基于DNN的語義建模為了真正理解語義深度學(xué)習(xí)模型被引入廣告檢索形成了“語義召回”或“深度召回”范式。核心思想學(xué)習(xí)一個函數(shù)將用戶/請求和廣告分別映射到同一個低維語義空間使得相關(guān)的用戶 廣告對在這個空間中的距離如內(nèi)積更近。經(jīng)典模型雙塔模型結(jié)構(gòu)用戶側(cè)塔和廣告?zhèn)人莾蓚€獨立的神經(jīng)網(wǎng)絡(luò)可以是MLP、CNN或Transformer分別處理用戶特征和廣告特征輸出一個固定維度的向量Embedding。訓(xùn)練訓(xùn)練目標(biāo)是最大化正樣本用戶點擊過的廣告對向量內(nèi)積最小化負(fù)樣本對的內(nèi)積。損失函數(shù)通常使用基于采樣的Softmax或Pairwise Hinge Loss。線上服務(wù)離線將廣告庫中所有廣告通過廣告塔預(yù)計算好向量并建立向量索引如KD-Tree, 局部敏感哈希LSH 或更先進的FAISS。在線當(dāng)用戶請求到來時實時通過用戶塔計算用戶向量然后在廣告向量索引中執(zhí)行近似最近鄰搜索快速召回最相似的Top N個廣告。優(yōu)勢強大的語義理解能捕捉同義詞、語義關(guān)聯(lián)超越字面匹配。端到端特征學(xué)習(xí)可以融合多種異構(gòu)特征ID類、文本類、統(tǒng)計類。個性化用戶塔可以包含豐富的用戶歷史行為特征實現(xiàn)高度個性化的召回。挑戰(zhàn)冷啟動對新廣告、新用戶模型表現(xiàn)不佳。索引更新廣告向量需要隨著廣告上下線和模型更新而同步更新對工程系統(tǒng)要求高。ANN檢索精度與效率的權(quán)衡近似檢索會損失精度需要仔細(xì)調(diào)參。13.4.4 最近鄰語義檢索這是基于DNN語義召回的工程實現(xiàn)核心即如何從數(shù)億甚至數(shù)百億的廣告向量中在毫秒內(nèi)找到與用戶向量最相似的幾十個。問題本質(zhì)大規(guī)模近似最近鄰搜索。主流解決方案FAISSFAISS是Facebook開源的庫專為稠密向量相似性搜索和聚類優(yōu)化。核心索引類型IVF倒排文件先對向量空間進行聚類如K-Means得到若干聚類中心。搜索時先找到距離查詢向量最近的幾個聚類中心然后只在這些聚類包含的向量中進行精確或進一步近似的搜索。這大大縮小了搜索范圍。PQ乘積量化將高維向量切分成多個子段對每個子段的所有可能值進行聚類量化用聚類中心的ID來代表原始子向量。這樣一個向量就被壓縮成一串短編碼。距離計算可以通過查預(yù)計算的距離表快速完成內(nèi)存占用和計算量大幅降低。HNSW可導(dǎo)航小世界圖基于圖結(jié)構(gòu)的索引在構(gòu)建時通過啟發(fā)式方法將向量連接成一張具有“小世界”屬性的圖既有短程連接保證精度又有長程連接保證搜索速度。搜索時從隨機或固定點出發(fā)在圖上進行“貪心”遍歷快速逼近最近鄰。HNSW通常在精度和速度的平衡上表現(xiàn)優(yōu)異。工程實踐分層檢索結(jié)合多種索引。例如先用IVF進行粗篩召回幾千個再用PQ或精確計算進行重排序得到最終幾百個。分布式索引當(dāng)單個節(jié)點內(nèi)存無法容納全部向量時需要將索引分片存儲在多臺機器上進行分布式檢索。量化與精度使用PQ等有損壓縮會損失精度需要根據(jù)業(yè)務(wù)對精度的要求選擇壓縮比。動態(tài)更新支持增量添加新向量和刪除舊向量對于廣告庫的頻繁更新至關(guān)重要?？偨Y(jié)廣告檢索技術(shù)的發(fā)展是從“硬匹配”到“軟相關(guān)”再到“深語義”的演進過程。布爾索引保證了商業(yè)規(guī)則的執(zhí)行是廣告系統(tǒng)的紀(jì)律底線相關(guān)性檢索引入了文本匹配的智能而基于DNN的語義召回和ANN搜索則賦予了系統(tǒng)理解用戶深層意圖和廣告豐富內(nèi)涵的能力是提升召回質(zhì)量的上限?，F(xiàn)代大型廣告系統(tǒng)通常采用多路召回策略布爾檢索、基于行為的協(xié)同過濾召回、語義召回等多路并行最后將結(jié)果融合確保召回結(jié)果的多樣性、相關(guān)性和商業(yè)合規(guī)性。它是連接海量庫存與瞬時需求的、高速運轉(zhuǎn)的智能過濾網(wǎng)其性能直接決定了后續(xù)排序階段的天花板。