隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的逐漸普及，各行業(yè)都開始源源不斷產(chǎn)生單源或多源數(shù)據(jù)，這些高并發(fā)的數(shù)據(jù)具有高度的實時性和明顯的時間序列，數(shù)據(jù)越熱的時候處理，獲得的業(yè)務價值越高。

隨著數(shù)字化轉型的深入，企業(yè)都在積極建設數(shù)據(jù)能力，開發(fā)數(shù)據(jù)應用，以實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務。邦盛科技是一家專注于大數(shù)據(jù)實時智能領域的人工智能廠商，提出“時序中間態(tài)”技術體系，針對高并發(fā)的熱數(shù)據(jù)可毫秒間完成計算。

其核心技術之一是能夠?qū)崟r快速、高并發(fā)處理數(shù)據(jù)的流立方技術，這項技術已成為當前實時處理領域的基礎設施平臺，可在海量數(shù)據(jù)規(guī)模、分析延時短、復雜事件或復雜指標、智能化決策及時序數(shù)據(jù)等典型特征的行業(yè)場景中，實現(xiàn)實時感知、識別和智能決策，幫助企業(yè)更好地實現(xiàn)準確預測、瞬時決策、降低業(yè)務成本、提高服務質(zhì)效。

為了進一步完善公司的實時智能決策與分析體系，邦盛科技歷經(jīng)三年研發(fā)，推出時序批計算技術產(chǎn)品“算立方”，補上了邦盛實時智能技術體系的關鍵拼圖，是實時智能從“熱數(shù)據(jù)處理”走到“熱知識應用”的關鍵基礎設施。

為了探討算立方的技術優(yōu)勢和應用場景價值，以及實時智能技術的應用趨勢，愛分析近期專訪了邦盛科技CTO王新根博士。

王新根博士，現(xiàn)任職邦盛科技CTO，分布式系統(tǒng)性能工程專家，邦盛科技“流立方”、“算立方”平臺設計者與研發(fā)團隊負責人，是實時計算、大數(shù)據(jù)實時分析技術、大數(shù)據(jù)流批一體技術等方向的專家，國內(nèi)“性能工程”博士學位獲得者。

01

算立方補上邦盛科技實時智能技術體系的關鍵拼圖

愛分析:請您完整介紹一下邦盛科技的實時智能決策與分析體系。

王新根博士:邦盛科技的實時智能決策與分析技術體系，整體是以流批一體為核心載體，以知識為媒介，糅合流處理、批處理、智能決策等多種技術體系的技術架構。這一架構可以從橫向與縱向兩個維度來理解。

在橫向上，實時智能決策與分析體系被劃分為知識應用和知識生成兩大主要環(huán)境，每個環(huán)境進一步細分為在線和離線兩種場景。

在知識應用環(huán)境中，在線場景專注于接近實時的操作，如事務處理中的即時分析和決策，而離線場景則涉及批處理操作，例如銀行的T+1數(shù)據(jù)同步。在知識生成環(huán)境中，離線場景的發(fā)展已經(jīng)趨近成熟，而在線知識生成則代表著未來技術的發(fā)展方向，特別是在“熱數(shù)據(jù)”向“熱知識”領域的漸進探索。

縱向上，技術體系被細分為四個層級，覆蓋從數(shù)據(jù)到?jīng)Q策的整個流程，包括原始數(shù)據(jù)收集，經(jīng)過數(shù)據(jù)加工得到事件事實，再通過計算得到指標特征，最終通過決策生成信號標簽。最 底層從原始數(shù)據(jù)開始，構成所有分析的基礎。

第二層是從原始數(shù)據(jù)提煉的事件事實，涉及數(shù)據(jù)的初步聚合和處理。第三層從這些事件事實中提取維度信息、時間窗口和聚合算子，通過加工計算，形成關鍵的指標和特征。最頂層則是生成業(yè)務所需的信號和標簽，如風險控制信號等。

愛分析:邦盛科技新推出的“算立方”，在該技術體系中的定位是怎樣的?

王新根博士:算立方主要定位在指標/特征離線計算這一層。實時智能技術體系中，我們在知識應用模塊已經(jīng)取得了很大的成績，特別是在線知識應用部分，數(shù)據(jù)實時加工用PipeACE技術解決，指標實時計算用流立方、圖立方解決，決策部分自研了獨立的智能決策引擎。

離線知識應用部分，在算立方出現(xiàn)之前，我們很早就解決了流批一體的數(shù)據(jù)定時加工和定時決策引擎，唯獨缺失了定時計算這一層，還需要一個跟流立方相呼應的離線計算框架。流批一體融合計算面臨著諸多技術難題。流計算和批計算之間存在顯著的差異，包括計算方式、支撐模塊、資源調(diào)度策略以及流程規(guī)劃等。

因此，要實現(xiàn)有效的流批一體融合計算，需要重點關注數(shù)據(jù)源的統(tǒng)一、開發(fā)的統(tǒng)一、計算的統(tǒng)一、存儲的統(tǒng)一，實現(xiàn)技術棧的收斂，減少開發(fā)和運維成本，消除不同計算模式帶來的邏輯不一致性。

早期邦盛科技采用現(xiàn)有批式技術，但由于計算理念和數(shù)據(jù)結構的差異，在與流立方、圖立方聯(lián)動方面性能跟不上。在工程突破的時候，我們遇到了巨大困難，決定花大力氣把這個短板補上。

經(jīng)過三年研究和迭代，我們推出了時序批計算產(chǎn)品“算立方”。作為和流立方相配合的批式計算框架，算立方解決了超高性能的定時批式計算效率，實現(xiàn)了有效的面向業(yè)務的流批一體融合計算。算立方與流立方相互呼應，分別在離線計算和實時計算方面進行優(yōu)化配合，降低了流批結合模式的開發(fā)和運維成本，使這套技術體系具備獨一 無二的競爭優(yōu)勢。

愛分析:“算立方”與“流立方”在計算理念和數(shù)據(jù)結構上是內(nèi)在一致的，這種一致性如何理解?

王新根博士:整個學術界和產(chǎn)業(yè)界的共識是時序數(shù)據(jù)逐漸成為數(shù)據(jù)處理的主流形態(tài)，我們把“時序計算”提升到非常重要的程度，我們一開始想借助開源去解決問題，但發(fā)現(xiàn)和我們的處理理念格格不入。

于是，我們從流立方萃取出了“中間態(tài)計算”理念，并把時序聚合的中間態(tài)應用到批處理，有了算立方產(chǎn)品。流立方對應“時序流處理”，“算立方”對應“時序批處理”，兩者理論指引是完全一致的，數(shù)據(jù)結構是完全一致的，處理思路也是完全一致的，是一脈相承的。

“時序批處理”技術有其獨特的應用場景和價值。例如，在金融場景下，批處理可以用于計算賬戶當前余額、計算當日累計交易金額、計算到目前為止做了多少次交易等場景。在這些場景下，一般的批處理對時間窗口的含義考慮得較少。

比如，今天一共交易5筆，Spark擅長一次性計算當天整體累計交易金額。但在“時序計算”領域，時間窗口是一項獨立的非常重要的能力。當計算如“當日每筆交易后，交易總金額如何變化”這類問題時，用Spark做批處理需要用over函數(shù)，且處理起來十分繁瑣，每次都需要對原始數(shù)據(jù)表進行聚合。

而算立方能夠?qū)崟r計算出每一筆交易后賬戶余額如何變化，即通過對逐筆交易進行計算，實現(xiàn)批計算中間結果的使用?！皶r序批處理”技術既能夠?qū)崿F(xiàn)逐筆指標的結果顯示，也能夠?qū)崿F(xiàn)聚合指標的結果顯示，比如按照卡號進行中間結果的聚合。

愛分析:是否可以理解為時序批處理是把數(shù)據(jù)在時間維度上切得更細?

王新根博士:有一點接近這個理念，Spark通過Spark Streaming給出了自己的解決方案，從批處理到“微批處理”。但我們的時序批處理不僅把時間維度切得更細，而是要切得足夠細，細到毫秒級，這是Spark最欠缺的一塊能力。比如1秒內(nèi)發(fā)生了10筆交易，其中的第 一筆交易不能考慮其他9筆交易的情況，否則整個時序批計算的準確性就有問題。

愛分析:算立方的數(shù)據(jù)模型是立方體Cube，這與類似Kylin的Cube這種多維數(shù)據(jù)模型有什么區(qū)別?

王新根博士:算立方產(chǎn)品的Cube架構具有三個關鍵維度。

第 一，數(shù)據(jù)維度，這與Kylin相同。該維度涉及到各種類型的數(shù)據(jù)元素，例如IP地址、手機號碼、設備標識、銀行卡號等，這些元素構成了數(shù)據(jù)處理和分析的基礎。

第二，指標維度。例如，對于一張銀行卡，可能需要計算的指標包括累計交易金額、賬戶余額等。這些指標為數(shù)據(jù)分析提供了具體的分析角度和計量標準。

第三，時間維度。這是邦盛科技算立方獨特的第三維，即專注于時間序列的處理。在進行計算時，可以根據(jù)需求將數(shù)據(jù)切分成不同的時間段，并形成聚合數(shù)據(jù)。例如，如果需要計算過去6小時的數(shù)據(jù)之和，Cube可以將這6小時切分成每小時一段的6小段，然后對每個小時段的數(shù)據(jù)進行聚合計算。

算立方中，Cube通過使用聚合算子提前進行聚合計算，生成了“時序聚合中間態(tài)”。在上述例子中，每小時的計算數(shù)據(jù)都會形成一個“時序聚合中間態(tài)”。這個中間態(tài)需要通過三個維度來定義:用戶、指標和時間。如果需要計算平均值，那么這個“時序聚合中間態(tài)”會存儲結果和數(shù)據(jù)個數(shù)等變量。類似的聚合算子邦盛科技已經(jīng)開發(fā)了30多個，進一步增強了算立方的數(shù)據(jù)處理能力。

02

三年磨一劍，算立方大幅提高時序批計算效率

愛分析:請展開介紹一下邦盛科技自研算立方的歷程?

王新根博士:如之前提到的，我們之前的技術體系中批計算主要依賴Spark，然而在與競爭對手的比較中，發(fā)現(xiàn)僅依賴Spark在性能上并無明顯優(yōu)勢。面對這一挑戰(zhàn)，我們采取了多項措施。

首先對Spark的over時間窗口函數(shù)進行了調(diào)整，以增強其對熱點數(shù)據(jù)的處理能力。盡管如此，這些改進的效果仍然有限。我們還嘗試將流立方的算子嵌入Spark體系中，但最終發(fā)現(xiàn)Spark在性能方面仍無法滿足公司的需求，這種方法不能從根本上解決問題。

因此，邦盛科技決定從頭開始研發(fā)“時序批處理”技術，即算立方。在算立方的研發(fā)過程中，我們也注意到金融行業(yè)客戶對架構控制的嚴格要求，多數(shù)金融客戶不允許在其大數(shù)據(jù)環(huán)境中部署一套完全獨立的計算系統(tǒng)，而是需要滿足Spark HDFS的架構。

因此，算立方也按照這一要求進行了研發(fā)。從2018年開始，公司投入了三年時間來研發(fā)算立方。到2022年，算立方在某股份銀行的反洗錢應用中進行了實踐，其效果獲得了銀行的全面認可。這一成功案例不僅證明了算立方技術的有效性和成熟度，也展示了邦盛科技在時序計算處理能力方面的創(chuàng)新和技術實力。

愛分析:算立方與Spark相比，體現(xiàn)在性能指標上的優(yōu)勢如何?

王新根博士:Spark非常擅長通用的批處理能力，包括說數(shù)據(jù)的join、排序、面向通用場景的聚合計算等等。算立方主要是為了補足時序批處理的能力，兩者不是互斥的，而是互補的關系。

中國信息通信研究院對算立方與Spark在時序批計算領域的性能進行了詳細的評測。在這項評測中，兩種計算方式在相同的任務環(huán)境下（包括相同的硬件、計算邏輯和數(shù)據(jù)量）進行了對比。測試結果顯示，在少量指標的計算任務中，算立方的性能超過Spark55倍。更值得注意的是，隨著指標數(shù)量的增加，算立方的性能優(yōu)勢還會進一步擴大，可以超過Spark100倍。

愛分析:算立方在性能上有這么大的優(yōu)勢，背后的技術原理是怎樣的?

王新根博士:這一顯著的性能差異主要歸因于算立方與Spark在計算邏輯上的不同。Spark在進行計算時，每個指標都需要開發(fā)一個對應的SQL語句。在需要同時計算多個指標的批處理場景中，Spark要求每個語句都通過不同的計算單元分別進行運算。

這種方法的缺點在于，如果每個計算單元都需要加載同一張表，那么該表就需要被多次加載，降低了效率。而算立方在處理時遵循“at most once read”的原則。

具體來說，算立方首先會一次性讀取涉及到的所有表格，然后一次性處理所有相關指標，確保每張表最多只被讀取處理一次。在對所有數(shù)據(jù)進行時序排序后，每條數(shù)據(jù)源也只會被處理一次。最后，這些數(shù)據(jù)將形成一個指標寬表。

因此，隨著指標數(shù)量的增加，算立方相比于Spark的性能提升更加顯著。在實際應用場景中，算立方的“增量批處理邏輯”也顯著提高了計算效率。例如，每天需要計算前30天的數(shù)據(jù)之和時，Spark每天都需讀取前30天的數(shù)據(jù)并計算，而算立方能夠在新一輪計算開始時直接調(diào)用前29天的計算結果，并僅添加新一天的數(shù)據(jù)進行計算。

此外，Spark在處理熱點數(shù)據(jù)造成的數(shù)據(jù)傾斜問題時性能較弱。例如，如果某個客戶占據(jù)了大部分交易流水，Spark的計算資源消耗上會非常高。而算立方得益于其對聚合算子的亂序計算能力，能夠更有效地進行并行計算。

算立方在處理分區(qū)計算的均勻性、協(xié)調(diào)性和數(shù)據(jù)傾斜優(yōu)化方面表現(xiàn)出色，加之“at most once read”的原則，保證了內(nèi)存使用更少，計算過程更穩(wěn)定。在流批一體的場景下，流立方與算立方內(nèi)置的30多種算子能夠無縫銜接，使流批一體計算變得更加自然和流暢。這種有效的計算邏輯和優(yōu)化策略使得算立方在時序批計算領域表現(xiàn)出色。

愛分析:上述提到了算立方需要滿足Spark HDFS的架構，那么算立方與Spark生態(tài)的關系是什么?

王新根博士:在開發(fā)初期，考慮到Spark在批計算領域幾乎形成了壟斷地位，算立方也希望能夠依托該生態(tài)體系進行應用。于是，算立方被定義為類似 Spark中的GraphX的計算框架，插入到Spark生態(tài)系統(tǒng)中，而非替代它。這種設計理念體現(xiàn)了算立方與Spark之間的互補性，而非競爭關系。

愛分析:算立方對邦盛科技整個實時智能技術體系的競爭優(yōu)勢有什么增強?

王新根博士:首先，流批一體計算體系的部署時間得到了顯著縮短。在引入算立方之前，使用Spark進行規(guī)則實施時，比如需要判斷用戶過去180天的行為，Spark需要花費數(shù)天時間來補全時間窗口。這一長時間的等待對于實時決策和快速響應的需求構成了嚴重制約。

引入算立方后，得益于其顯著的性能提升，相同的任務部署時間可以縮減至小時級。這種時間上的優(yōu)化極大地提升了業(yè)務的靈活性和響應速度，對于需要快速迭代和更新規(guī)則的環(huán)境尤為重要。其次，算立方在機器學習建模場景有很大潛力。

在算立方和流立方的體系中，機器學習建模的效率得到了顯著提升。以往的特征工程需要建模工程師使用Spark或Hive編寫代碼，且遷移到實時應用場景可能需要高達兩個月的時間來完成指標的開發(fā)、測試和投產(chǎn)上線。

算立方改變了這一狀況。由于算立方提供了面向建模工程師的專用SQL，并且該SQL語句可以被流立方理解，這使得建模工程師能夠?qū)崿F(xiàn)一鍵式的模型遷移和上線。這種能力不僅簡化了建模過程，還加速了從模型開發(fā)到實際應用的轉化，為快速部署和實時數(shù)據(jù)分析提供了有效支持。

03

實時智能技術正在反詐等場景充分發(fā)揮效能

愛分析:基于流立方、算立方等產(chǎn)品，邦盛科技服務了哪些行業(yè)客戶?銷售模式是怎樣的?

王新根博士:邦盛科技在金融行業(yè)擁有豐富的客戶基礎。金融行業(yè)對前沿科技應用較多，這一特點使得邦盛科技能夠根據(jù)客戶需求進行快速的產(chǎn)品迭代。金融行業(yè)通常需要處理大量復雜的數(shù)據(jù)，并且對數(shù)據(jù)處理的速度和準確性有極 高的要求，邦盛科技的流立方和算立方等產(chǎn)品在這一領域尤為適用。

除了金融行業(yè)，邦盛科技的業(yè)務也涉及到其他領域，包括通信、交通、政務、網(wǎng)絡安全和國防等。在這些行業(yè)中，邦盛科技還在尋求與行業(yè)專家和頭部企業(yè)的合作，以開拓新的產(chǎn)品應用場景。例如，公司與浙江移動的合作就是在通信行業(yè)中應用技術的一種嘗試。

在銷售模式方面，邦盛科技主要采用直銷策略。公司將直接與客戶接觸，理解其具體需求，并提供定制化的解決方案。在這些解決方案中，流立方或算立方可以作為關鍵組件之一，根據(jù)不同行業(yè)和客戶的具體需求進行部署和調(diào)整。

愛分析:邦盛的實時智能決策與分析體系現(xiàn)階段主要在哪些行業(yè)場景有落地應用?

王新根博士:邦盛科技的實時智能決策與分析技術體系，在不同行業(yè)具備廣泛適用性。在從IT（信息技術）到DT(數(shù)據(jù)技術)的轉變中，大數(shù)據(jù)的有效應用成為主要趨勢，但當前實時智能的應用正處于起步階段。實時智能決策與分析在結構化數(shù)據(jù)領域成為關鍵基礎設施，尤其在涉及高對抗性的領域，其重要性更是不言而喻。愛

分析:您能否介紹兩個典型的應用案例?

王新根博士:首先是金融行業(yè)的案例。在反洗錢方面，算立方相較于傳統(tǒng)的Spark計算，能夠更加準確地識別洗錢行為。一般的洗錢模式是欺詐者首先對銀行卡進行小額測試，之后把該張卡當成洗錢通道，大筆金額開始快進快出，最后在當日結束時，將卡內(nèi)金額全部轉出。

在使用Spark進行批處理時，識別洗錢風險需要滿足三個條件:

1）該賬戶當日進行小額測試;

2）接下來大金額的快進快出;

3）日終小余額。

三個條件全部滿足，則判斷該張卡片可能涉嫌洗錢。但是現(xiàn)階段，欺詐者會在日終再轉一筆金額入卡，導致使用Spark處理時無法識別出風險。而算立方能夠通過對當天整體交易軌跡的分析，判定是否存在風險。在上述場景中，可以在發(fā)生第 一筆大額轉出交易時就警示風險，即更早、更準確地警示風險。這種方法在某股份制銀行的應用中，能夠比傳統(tǒng)系統(tǒng)多識別出40%的風險交易。

再舉一個通信行業(yè)的例子。在與浙江移動的合作中，邦盛科技的技術被應用于反電信詐騙，特別是在DPI（深度數(shù)據(jù)包檢查）領域。DPI技術使網(wǎng)絡所有者可以實時分析通過網(wǎng)絡的流量，了解用戶的性能或行為，并進行服務改善。

在邦盛科技與浙江移動合作的案例中，浙江移動將大多數(shù)地級市的流量接入，通過分析上網(wǎng)行為，進行反電信詐騙分析。例如定位訪問涉賭涉詐網(wǎng)站的使用者，對他們進行行為統(tǒng)計，并在某些特點行為發(fā)生時進行干預。比如訪問涉詐網(wǎng)站后，又訪問金融APP，此時，流立方能夠經(jīng)過計算迅速給出高緊急信號，并將信號直接發(fā)送公安部門，公安部門能夠馬上打電話攔截交易。

在該案例中，流立方處理的網(wǎng)絡流量級能夠達到每天600億接入量，使用后期因為應用效果較好，現(xiàn)階段已經(jīng)開始全盤接入浙江省3000億的流量?，F(xiàn)在該項目進入第二階段，將接入算立方，主要應用方向為鑒別黑灰產(chǎn)網(wǎng)站。由于這些涉詐網(wǎng)站經(jīng)常只存在一天，導致監(jiān)管很難及時發(fā)現(xiàn)并進行干預，算立方接入后，將探索使用即席特征工程，加入新的規(guī)則模型，計算出這類網(wǎng)站的特征，提前進行攔截，流立方與算立方聯(lián)動變得越來越快，使監(jiān)管能夠處于防控的第 一線。

愛分析:除了反洗錢、反詐這種高對抗場景，算立方及實時智能技術在企業(yè)的營銷、運營等業(yè)務場景是否有相關應用?

王新根博士:邦盛科技正在探索算立方在營銷方面的應用場景，特別是營銷案例結果的計算與運營。例如一個為期一天的營銷案例中，需要從幾千萬客戶中選出5000個進行準確營銷，購買理財產(chǎn)品。該理財產(chǎn)品采用實時競價購買，買的最多的前 十位客戶，將在當天晚上5點結算并寄送禮物。在這個過程中，營銷活動的客戶圈選，競價計算，機器人私有域的聯(lián)動，到最后將禮物郵寄出，都能通過算立方完成數(shù)據(jù)分析。

04

從“熱數(shù)據(jù)”到“熱知識”，實時知識生成釋放數(shù)據(jù)價值

愛分析:甲方企業(yè)在做批計算引擎的技術選型時，主要的考量因素有哪些?算立方有哪些迭代方向?

王新根博士:甲方企業(yè)在技術選型時，主要以性能為導向。批計算領域，計算速度快不僅意味著算力的節(jié)省，還能夠滿足業(yè)務敏捷變化的需求，有效的計算能力能夠確保業(yè)務在第二天上班前就能獲取所需的數(shù)據(jù)。

在算立方產(chǎn)品上，其核心技術已經(jīng)實現(xiàn)突破，未來主要進行落地應用的推廣探索。未來，算立方的工作重點涉及頁面的友好性與易用性，打造使用友好的UI界面，并對運行過程中的監(jiān)控、 異常的恢復、對于中間某歷史數(shù)據(jù)變化的修復能力等進行拓展。

愛分析:邦盛科技未來在實時智能技術體系上有什么樣的規(guī)劃?

王新根博士:邦盛科技的實時智能戰(zhàn)略在未來5年都不會變。在未來3-5年，邦盛科技將聚焦于“熱知識”的細分領域探索。現(xiàn)階段主流的知識生成都是使用離線計算，未來將向“熱知識”領域探索，即數(shù)據(jù)實時抵達，實時挖掘數(shù)據(jù)價值，實時產(chǎn)生規(guī)則模型，實時應用到正在新發(fā)生的數(shù)據(jù)里面，將知識的部署使用從月級提升到天級、小時級?，F(xiàn)階段技術上仍需一定程度的提升，例如數(shù)據(jù)的實時增量處理，實時增量即席特征工程，機器學習算法對整個過程的優(yōu)化等。

（推廣）