打造實(shí)時(shí)計(jì)算平臺(tái) 阿里云、騰訊云都看上了Flink

每經(jīng)記者 宗旭    每經(jīng)編輯 宋思艱    

圖片來(lái)源：攝圖網(wǎng)

1月28日，阿里云正式宣布對(duì)外開(kāi)源（開(kāi)放源代碼）實(shí)時(shí)計(jì)算平臺(tái)Blink。

其實(shí)關(guān)于阿里云對(duì)外開(kāi)源實(shí)時(shí)計(jì)算平臺(tái)的動(dòng)作早有預(yù)兆，本月初，曾有媒體報(bào)道阿里巴巴收購(gòu)科技公司Data Artisans的消息，而Data Artisans擁有全球頂級(jí)的開(kāi)源大數(shù)據(jù)流處理引擎Flink，可以解決傳統(tǒng)數(shù)據(jù)只能離線計(jì)算的問(wèn)題。

這次阿里云對(duì)外開(kāi)源的實(shí)時(shí)計(jì)算平臺(tái)Blink，就是對(duì)Flink改造后的內(nèi)部版本。

2004年，谷歌曾開(kāi)啟大數(shù)據(jù)離線計(jì)算時(shí)代，但伴隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、邊緣計(jì)算等新技術(shù)的興起，有延遲的計(jì)算結(jié)果已遠(yuǎn)遠(yuǎn)不能滿足開(kāi)發(fā)者尤其是企業(yè)的需要。在典型的大數(shù)據(jù)業(yè)務(wù)場(chǎng)景下，通用的做法是：選用批處理的技術(shù)處理全量數(shù)據(jù)，采用流式計(jì)算處理實(shí)時(shí)增量數(shù)據(jù)。因此，用戶通常需要寫(xiě)兩套代碼。毫無(wú)疑問(wèn)，這帶來(lái)了一些額外的負(fù)擔(dān)和成本。

盡管當(dāng)前開(kāi)源大數(shù)據(jù)計(jì)算引擎有很多選擇，比如流計(jì)算平臺(tái)有Storm、Samza、Flink、Kafka Stream等，批處理平臺(tái)有Spark、Flink等，但同時(shí)支持流處理（對(duì)隨時(shí)進(jìn)入系統(tǒng)的數(shù)據(jù)進(jìn)行計(jì)算）和批處理（將作業(yè)按照它們的性質(zhì)分組或分批，然后再成組或成批地提交給計(jì)算機(jī)系統(tǒng)，由計(jì)算機(jī)自動(dòng)完成后再輸出結(jié)果）的計(jì)算引擎，阿里巴巴計(jì)算平臺(tái)事業(yè)部資深技術(shù)專(zhuān)家莫問(wèn)此前曾提到只有兩種選擇：一個(gè)是Apache Spark，一個(gè)是Apache Flink。

雖然當(dāng)下Flink代表了一種全新的計(jì)算方式，但2015年的Flink還不夠成熟，早期只適用于小流量互聯(lián)網(wǎng)場(chǎng)景的數(shù)據(jù)處理，不管是規(guī)模還是穩(wěn)定性尚未經(jīng)歷實(shí)踐，并未被大范圍看好。

據(jù)阿里云方面介紹，Blink最初是基于社區(qū)開(kāi)源的版本做改進(jìn)，真正和Data Artisans公司緊密合作是在2016年，“當(dāng)初改造的時(shí)候也不知道會(huì)不會(huì)成功，那個(gè)時(shí)候我們還有另外兩個(gè)實(shí)時(shí)計(jì)算技術(shù)阿里中間件團(tuán)隊(duì)在做Jstorm和阿里云的Galaxy，最終因?yàn)锽link表現(xiàn)最好，我們才選擇了這項(xiàng)技術(shù)。”

經(jīng)過(guò)阿里云的改造之后，現(xiàn)在Blink已經(jīng)將計(jì)算延遲降低到人類(lèi)無(wú)法感知的毫秒級(jí)。在阿里集團(tuán)內(nèi)部，目前全部核心業(yè)務(wù)已經(jīng)用上Blink。除了技術(shù)大考“雙11”之外，ET城市大腦實(shí)時(shí)計(jì)算規(guī)劃著杭州交通，淘寶、天貓每天為數(shù)億用戶展現(xiàn)實(shí)時(shí)的“專(zhuān)屬”頁(yè)面。

其實(shí)不僅僅是阿里云，騰訊內(nèi)部也基于Flink打造了一站式實(shí)時(shí)計(jì)算平臺(tái)Oceanus。據(jù)記者了解，之前騰訊實(shí)時(shí)計(jì)算團(tuán)隊(duì)也曾基于Apache Storm構(gòu)建了早期的實(shí)時(shí)計(jì)算平臺(tái)。但在長(zhǎng)期的維護(hù)過(guò)程中，Apache Storm一些設(shè)計(jì)和實(shí)現(xiàn)上的缺陷逐漸暴露出來(lái)。Apache Flink出現(xiàn)之后，其在計(jì)算接口、計(jì)算性能和可靠性上的優(yōu)異表現(xiàn)，使騰訊實(shí)時(shí)計(jì)算團(tuán)隊(duì)決定使用Apache Flink作為新一代實(shí)時(shí)計(jì)算平臺(tái)的計(jì)算引擎。

阿里巴巴集團(tuán)副總裁周靖人認(rèn)為，不論阿里還是Uber、Netflix等，都是Flink的受益者。業(yè)內(nèi)人士分析認(rèn)為，當(dāng)前實(shí)時(shí)計(jì)算正處于上升期，除了Flink之外還有Spark、Storm等多個(gè)技術(shù)流派，谷歌、英特爾、IBM等全球科技公司都在積極布局，無(wú)論是誰(shuí)，在實(shí)時(shí)計(jì)算平臺(tái)上的重磅押注都將成為其未來(lái)的核心競(jìng)爭(zhēng)力之一。