作為 CDP 的數(shù)據(jù)入口,數(shù)據(jù)集成能力一直是神策數(shù)據(jù)的優(yōu)勢(shì)和強(qiáng)項(xiàng)。
經(jīng)過(guò)多年打磨,神策數(shù)據(jù)面向 CDP 復(fù)雜的數(shù)據(jù)接入場(chǎng)景,結(jié)合傳統(tǒng)的行為數(shù)據(jù)接入能力,打造了全新的可視化數(shù)據(jù)接入框架,具備強(qiáng)大的靈活性與擴(kuò)展性,并與外部數(shù)據(jù)源及內(nèi)部的數(shù)據(jù)建模域解耦?;诖?,企業(yè)可以實(shí)現(xiàn)自身 CDP 相關(guān)數(shù)據(jù)的接入效率1-2個(gè)數(shù)量級(jí)的提升,并最 大程度豐富數(shù)據(jù)采集與集成的場(chǎng)景。
與此同時(shí),神策數(shù)據(jù)也在積極探索與主流云原生數(shù)倉(cāng)的生態(tài)整合方案,致力于實(shí)現(xiàn) CDP 和企業(yè)數(shù)倉(cāng)能力的無(wú)縫整合,真正賦能業(yè)務(wù)運(yùn)營(yíng)與增長(zhǎng)。
值得強(qiáng)調(diào)的是,神策數(shù)據(jù)全新引入數(shù)據(jù)雙向映射方案,我們希望能利用這一技術(shù)方案和「ZeroCopy」理念為 CDP 的數(shù)據(jù)集成解決方案帶來(lái)新的范式。目前,在神策 CDP 中,我們盡可能地簡(jiǎn)化了數(shù)據(jù)導(dǎo)入和導(dǎo)出的過(guò)程,實(shí)現(xiàn) CDP 底層的數(shù)據(jù)表和客戶數(shù)倉(cāng)表的雙向讀寫(xiě),只存儲(chǔ)一份數(shù)據(jù),從源頭上消弭數(shù)據(jù) diff,實(shí)現(xiàn)真正的無(wú)縫鏈接底層數(shù)倉(cāng)與上層的業(yè)務(wù)應(yīng)用。
本文將從數(shù)據(jù)接入框架和導(dǎo)入任務(wù)管理兩方面展開(kāi),詳細(xì)介紹神策 CDP 的數(shù)據(jù)集成能力,幫助企業(yè)更好地支撐上層數(shù)據(jù)應(yīng)用。
一、可靠且易擴(kuò)展的數(shù)據(jù)接入框架
神策 CDP 為企業(yè)提供了全套數(shù)據(jù)接入解決方案,包括實(shí)時(shí)數(shù)據(jù)采集 SDK、批量數(shù)據(jù)導(dǎo)入工具、數(shù)據(jù)倉(cāng)庫(kù)映射等。該平臺(tái)化的數(shù)據(jù)接入框架為企業(yè)提供了多種預(yù)置的數(shù)據(jù)源接入選項(xiàng),可以輕松整合業(yè)務(wù)系統(tǒng)數(shù)據(jù)、第三方數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖等。
另外,企業(yè)也可以在平臺(tái)上進(jìn)行自定義插件開(kāi)發(fā)并部署到生態(tài)平臺(tái)以滿足特定接入需求。
除此之外,神策進(jìn)一步提供了完善的數(shù)據(jù)表創(chuàng)建和寫(xiě)入 API,使企業(yè)開(kāi)發(fā)者能夠以編程方式完成整個(gè)數(shù)據(jù)接入過(guò)程。為了與企業(yè)的數(shù)據(jù)湖更為緊密地集成,神策還支持將 Iceberg 類型的數(shù)據(jù)表直接映射到系統(tǒng)中,實(shí)現(xiàn)在不導(dǎo)入數(shù)據(jù)的前提下完成數(shù)據(jù)對(duì)接,這不僅節(jié)省了硬件資源,還確保了數(shù)據(jù)與源端的完整一致性。針對(duì)企業(yè)的具體業(yè)務(wù)需求,神策數(shù)據(jù)的咨詢專家團(tuán)隊(duì)會(huì)提供最 佳的數(shù)據(jù)接入解決方案。
舉個(gè)例子。當(dāng)前眾多企業(yè)正在建立或已經(jīng)建立了自己的數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖,他們?cè)诖诉^(guò)程中投入了大量的 IT 開(kāi)發(fā)資源、存儲(chǔ)和計(jì)算成本。在此背景下,神策 CDP 為企業(yè)所提供的數(shù)據(jù)倉(cāng)庫(kù)表映射功能就顯得尤為重要。企業(yè)可以基于此,有效復(fù)用已經(jīng)建立的數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖,通過(guò)直接訪問(wèn)預(yù)先建立的數(shù)據(jù)倉(cāng)庫(kù)表,顯著降低數(shù)據(jù)導(dǎo)入的成本,確保數(shù)據(jù)的完整和一致。這意味著神策 CDP 能夠與現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施更加緊密地結(jié)合,進(jìn)一步提升數(shù)據(jù)利用的效率和效果。
二、可視化的導(dǎo)入任務(wù)管理
神策 CDP 為企業(yè)提供了一套完善的、可視化的數(shù)據(jù)導(dǎo)入任務(wù)配置和管理工具,幫助企業(yè)利用直觀的字段映射配置和導(dǎo)入規(guī)則設(shè)定,快速靈活地建立數(shù)據(jù)導(dǎo)入策略。
1. 實(shí)時(shí)任務(wù)監(jiān)控
一旦數(shù)據(jù)對(duì)接任務(wù)成功啟動(dòng),系統(tǒng)界面上將實(shí)時(shí)展示所有的數(shù)據(jù)處理和同步任務(wù)。系統(tǒng)管理員可以在界面上直觀地查看任務(wù)的啟停、故障狀態(tài)和日志,迅速定位并解決問(wèn)題。
2. 資源血緣依賴通知
確保下游應(yīng)用方能夠及時(shí)得到通知,從而降低數(shù)據(jù)接入延遲可能帶來(lái)的連鎖影響。
3. 有效數(shù)據(jù)接入
通過(guò)神策數(shù)據(jù)提供的數(shù)據(jù)導(dǎo)入工具,相比傳統(tǒng)的 ETL 方式,企業(yè)可以大大縮短數(shù)據(jù)接入的時(shí)間,從原來(lái)的數(shù)周或數(shù)月縮短到僅需一兩天,顯著提高數(shù)據(jù)接入的效率。
4. 透明度與可追溯性
企業(yè)可以清晰地查看和追蹤導(dǎo)入任務(wù)的策略、調(diào)度時(shí)間、運(yùn)行狀態(tài)等信息,解決了傳統(tǒng) ETL 方式中常見(jiàn)的“黑盒”問(wèn)題,提高了透明度。
神策 CDP 通過(guò)整合來(lái)自多個(gè)來(lái)源的數(shù)據(jù),關(guān)聯(lián)全域 ID,擴(kuò)展多實(shí)體的數(shù)據(jù)模型,幫助企業(yè)構(gòu)建客戶分群和標(biāo)簽,并結(jié)合豐富的數(shù)據(jù)加工技術(shù)和有效的數(shù)據(jù)輸出機(jī)制,為企業(yè)的業(yè)務(wù)分析、自動(dòng)化營(yíng)銷等全域客戶經(jīng)營(yíng)場(chǎng)景打下堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
(推廣)