在一個有一定規(guī)模的企業(yè)中，通常都會存在各種各樣的應(yīng)用系統(tǒng)，它們分別由企業(yè)的各個不同部門、在各種不同歷史時期、為滿足各種不同業(yè)務(wù)目的而開發(fā)。由于數(shù)據(jù)格式?jīng)]有統(tǒng)一規(guī)范，相互之間沒有聯(lián)通、數(shù)據(jù)更沒有整合，像一個個煙囪，因此稱其為“煙囪式應(yīng)用”。在大數(shù)據(jù)應(yīng)用興起的今天，隨著企業(yè)對數(shù)據(jù)價值的高度重視，煙囪式應(yīng)用帶來了數(shù)據(jù)整合難題，給數(shù)據(jù)的分析和挖掘帶來了不小的困難，已經(jīng)成為當(dāng)代不少企業(yè)在大數(shù)據(jù)應(yīng)用乃至智能化升級路上的一個攔路虎。

有問題總要找到解決辦法，誕生于互聯(lián)網(wǎng)公司的數(shù)據(jù)中臺技術(shù)被認(rèn)為一個有效辦法。從阿里幾年前首次將“中臺”這個概念推到市場，到如今成為行業(yè)中的一個熱詞，“中臺”的流行本質(zhì)上還是用戶的真實需求在支撐。中臺到底能為企業(yè)的大數(shù)據(jù)利用帶來哪些幫助？國外的企業(yè)如何解決這類問題？從硅谷回國創(chuàng)業(yè)的大數(shù)據(jù)專家智領(lǐng)云聯(lián)合創(chuàng)始人、CEO 彭鋒對此進(jìn)行了自己的解讀。

來自硅谷的數(shù)據(jù)管理經(jīng)驗

彭鋒于2016年從硅谷歸來，創(chuàng)立了智領(lǐng)云。彼時中國國內(nèi)大數(shù)據(jù)熱還未褪去，“中臺”概念雖然不像今天這么熱，但已經(jīng)被不少企業(yè)接受。在美國并沒有“中臺”這個概念，但“中臺”所做的事情，尤其是與數(shù)據(jù)相關(guān)的部分（即數(shù)據(jù)中臺）彭鋒是再熟悉不過了。他從業(yè)以來一直在做的就是這些工作。

彭鋒2000年到美國攻讀博士學(xué)位，畢業(yè)后到了硅谷，先去了當(dāng)時第四大搜索引擎公司ASK.com，參與分布式操作系統(tǒng)（就是今天的云計算）的開發(fā)。為了追趕前面的Google、微軟、雅虎，當(dāng)時的ASK.COM為此項目投入了十幾億美元。這個項目后來被放棄，彭鋒轉(zhuǎn)而參與大數(shù)據(jù)項目，在原來用作搜索的800多臺服務(wù)器集群上使用Hadoop來進(jìn)行公司數(shù)據(jù)的處理，在硅谷是最早一批在生產(chǎn)系統(tǒng)中大規(guī)模使用大數(shù)據(jù)的團(tuán)隊。在當(dāng)時的硅谷有如此規(guī)模的Hadoop集群并不多，彭鋒在項目中擔(dān)任大數(shù)據(jù)總監(jiān)，領(lǐng)導(dǎo)了分布在美國硅谷、紐約、中國杭州等多地的研發(fā)隊伍。2011年，彭鋒加入了Twitter，進(jìn)入了Twitter架構(gòu)委員會，擔(dān)任大數(shù)據(jù)架構(gòu)師，見證了Twitter服務(wù)器規(guī)模從數(shù)十臺擴(kuò)展到后來的8000臺的過程。

在美國硅谷的這段工作經(jīng)歷讓彭鋒受益匪淺，其中最大的收獲是看到了數(shù)據(jù)的價值，這為彭鋒后來的創(chuàng)業(yè)確定了方向。

“它們真的是在用數(shù)據(jù)產(chǎn)生價值，用數(shù)據(jù)來驅(qū)動所有商業(yè)的決策、驅(qū)動產(chǎn)品的開發(fā)。整個公司都是建立在數(shù)據(jù)的決策基礎(chǔ)之上，數(shù)據(jù)決策非常高效和科學(xué)。”彭鋒告訴記者。

彭鋒的另一個收獲是看到了如何更好地讓數(shù)據(jù)發(fā)揮價值。無論是ASK.COM的大數(shù)據(jù)總監(jiān)還是Twitter的大數(shù)據(jù)架構(gòu)師，彭鋒的核心工作內(nèi)容都是對數(shù)據(jù)的采集、分析和處理進(jìn)行規(guī)范，以利于數(shù)據(jù)能力的共享和重用。為了做好這個工作，這些公司都專門建立了一個數(shù)據(jù)運營管理平臺，來確保數(shù)據(jù)能力的重用和共享，這個平臺與我們今天所說數(shù)據(jù)中臺的概念高度吻合。

數(shù)據(jù)中臺成就數(shù)據(jù)驅(qū)動企業(yè)

在彭鋒看來，無論是美國硅谷所說的數(shù)據(jù)運營管理平臺還是在中國流行的數(shù)據(jù)中臺，其核心目的是實現(xiàn)公司的數(shù)字化運營。“所謂數(shù)字化運營就是公司所有的管理、產(chǎn)品、人員和市場，都全部實現(xiàn)數(shù)字化?！迸礓h表示。

而公司之所以要努力實現(xiàn)數(shù)字化運營，是這樣能帶來兩個好處：其一是管理者能夠?qū)崟r了解其運營狀況，從而在虧損時能夠及時止損，在賺錢時能夠盡快做決策，大大加快商業(yè)流程。其次，能支持?jǐn)?shù)據(jù)驅(qū)動的產(chǎn)品，比如個性化的客戶服務(wù)，就高度依賴數(shù)據(jù)的分析和挖掘。

而要數(shù)字化運營，必須對企業(yè)的數(shù)據(jù)進(jìn)行全面的梳理和整合，這是一個非常復(fù)雜而且長期的工作，其難點之一在于，很多企業(yè)（尤其是傳統(tǒng)企業(yè)）沒有建立統(tǒng)一的數(shù)據(jù)格式和使用規(guī)范，而整合往往涉及眾多數(shù)據(jù)源，多種處理框架，面臨很大挑戰(zhàn)，同時，各種來源不同的數(shù)據(jù)質(zhì)量也難以保障，系統(tǒng)中運行的數(shù)據(jù)應(yīng)用也缺乏統(tǒng)一的管理。而數(shù)據(jù)中臺的目的就是要解決這類問題，而且是在平臺層面系統(tǒng)解決問題，避免各個部門或者每個項目都要重復(fù)做這個工作。

“數(shù)據(jù)中臺把數(shù)據(jù)相關(guān)的可復(fù)用和共享的能力集中起來，而不需要每個部門都重復(fù)做。同時，不同部門在使用這個能力時還不能相互影響，需要新的功能直接在這個平臺上擴(kuò)展。這就避免了今天在不少企業(yè)，尤其是傳統(tǒng)企業(yè)存在的數(shù)據(jù)孤島問題?！迸礓h表示。

實際上，在硅谷很少聽說過“數(shù)據(jù)孤島”這個問題，除了公司歷史普遍不長，一個重要原因正是在于類似數(shù)據(jù)運營管理平臺廣泛存在。

“國內(nèi)客戶普遍缺乏這個數(shù)據(jù)平臺。最常看到的情形是，部門A要做什么大數(shù)據(jù)的應(yīng)用，買了一個大數(shù)據(jù)方案；部門B如果要做一個大數(shù)據(jù)的應(yīng)用，由于底層沒有一個共享的數(shù)據(jù)運營管理平臺，也會買個端到端的大數(shù)據(jù)解決方案，這就形成了數(shù)據(jù)孤島?！迸礓h表示。

做工具，更做賦能者

智領(lǐng)云所研發(fā)的產(chǎn)品正是這個在美國硅谷被稱為數(shù)據(jù)運營管理平臺、在中國被稱為數(shù)據(jù)中臺的軟件系統(tǒng)平臺。

彭鋒認(rèn)為，數(shù)據(jù)中臺的本質(zhì)或者說最重要的功能是實現(xiàn)數(shù)據(jù)能力的抽象、共享和復(fù)用。其中有幾個關(guān)鍵問題：

第一，是要去中心化，讓每個部門都能夠自由地貢獻(xiàn)自己的數(shù)據(jù)能力。那種通過成立一個單獨的中臺部門，由這個部門來提供數(shù)據(jù)能力的思路彭鋒認(rèn)為不太可行。

“因為業(yè)務(wù)部門的業(yè)務(wù)是不斷變化的，他們與數(shù)據(jù)結(jié)合得最緊密，它們來貢獻(xiàn)更為實用。而且，硅谷絕大部分公司也的確是讓業(yè)務(wù)部門通過這個數(shù)據(jù)運營管理平臺來提供這種能力的復(fù)用的。”彭鋒說。

其次，數(shù)據(jù)中臺要解決資源、應(yīng)用和數(shù)據(jù)的隔離，讓每個部門都可以安心地使用自己的數(shù)據(jù)，運行自己的數(shù)據(jù)應(yīng)用，不用擔(dān)心數(shù)據(jù)安全或者影響其它部門的業(yè)務(wù)。

第三，數(shù)據(jù)中臺要提供方便安全的數(shù)據(jù)能力共享的機(jī)制，例如數(shù)據(jù)和模型的服務(wù)，以API形式對外提供，供全公司用，API一定是基于統(tǒng)一的框架實現(xiàn)的。業(yè)務(wù)部門可以很方便的將自己的數(shù)據(jù)能力共享出去，而安全，審計，性能，擴(kuò)展這些必須的系統(tǒng)功能由平臺統(tǒng)一自動處理。

彭鋒所領(lǐng)導(dǎo)的智領(lǐng)云正是基于上述考慮來開發(fā)自己的數(shù)據(jù)中臺。這個數(shù)據(jù)平臺主要面向大型企業(yè)的IT部門或者系統(tǒng)集成商，可以讓他們集成到自己的產(chǎn)品中，借此來解決數(shù)據(jù)孤島問題，以推動企業(yè)真正實現(xiàn)數(shù)據(jù)驅(qū)動。

“產(chǎn)品化程度高，自助、易用、通用，是我們這個產(chǎn)品的最主要特點，我們希望讓客戶自己就能使用?！迸礓h表示，“這是因為，我們認(rèn)為對數(shù)據(jù)最了解的還是客戶自己，而不是我們。與其我們派專業(yè)的數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家去跟客戶的IT人員、業(yè)務(wù)人員打交道，我們還不如去把這個工具做好，讓他們自己來做數(shù)據(jù)的相關(guān)工作?！?

彭鋒介紹說，這個數(shù)據(jù)平臺是一個自助式的數(shù)據(jù)處理工具，基于云計算和容器技術(shù)實現(xiàn)，能提供數(shù)據(jù)采集、開發(fā)、共享、存儲和管理等相關(guān)的功能，典型功能包括數(shù)據(jù)集成平臺、基于容器的通用任務(wù)調(diào)度、應(yīng)用、資源和數(shù)據(jù)的多租戶管理；數(shù)據(jù)和模型的服務(wù)、審計、計費（用工具來支持）；數(shù)據(jù)應(yīng)用全景地圖等。

彭鋒強(qiáng)調(diào)說，這個平臺一定要基于云計算和容器技術(shù)來實現(xiàn)，這是為了實現(xiàn)資源和用戶的隔離以及充分利用云計算的彈性來更靈活地支持用戶需求。另外，在這個數(shù)據(jù)平臺的研發(fā)過程中，他們力求通用性，主要集中在數(shù)據(jù)科技的核心功能開發(fā)上。

當(dāng)然，產(chǎn)品集中在通用的數(shù)據(jù)功能上，不涉及具體業(yè)務(wù)，這并不意味著不用關(guān)心客戶業(yè)務(wù)。實際上，為了讓客戶用戶這個產(chǎn)品，必須研究客戶行業(yè)的典型應(yīng)用場景，做出模板。此外，彭鋒還決定開發(fā)一些具有行業(yè)共性的組件，例如形成行業(yè)知識圖譜、規(guī)則庫，這對產(chǎn)品的落地和未來發(fā)展有著重要意義，這些都是彭鋒正在勾勒的公司未來發(fā)展藍(lán)圖的一部分。

“數(shù)據(jù)中臺本質(zhì)上是方法論，是互聯(lián)網(wǎng)公司在數(shù)據(jù)管理方面的一些經(jīng)驗的總結(jié)，實踐證明了其價值。我們希望借助我們的平臺讓這個方法論在客戶中落地，助力客戶成為數(shù)據(jù)驅(qū)動企業(yè)，讓數(shù)據(jù)價值得到充分釋放?！迸礓h表示。