10月22日上午，2021杭州云棲大會大數(shù)據(jù)平臺技術論壇中，阿里云和各行業(yè)客戶、大數(shù)據(jù)開發(fā)者共同探討大數(shù)據(jù)平臺技術發(fā)展趨勢及最新演進，圍繞業(yè)內持續(xù)受到關注的數(shù)據(jù)倉庫、數(shù)據(jù)湖、湖倉一體架構等技術和云上實戰(zhàn)經驗進行了深入交流，并由阿里云智能計算平臺產品與解決方案總經理高雪峰和阿里云智能研究員、阿里云智能通用計算平臺MaxCompute、機器學習PAI平臺技術負責人林偉分別對阿里云新一代離線實時一體化數(shù)倉與湖倉一體進行了全新升級發(fā)布，對這兩項大數(shù)據(jù)技術進行了深入解讀。

阿里云智能研究員、通用計算平臺MaxCompute、機器學習PAI平臺技術負責人林偉

云上數(shù)倉離在線一體化，實現(xiàn)分析性能提升

實時化和智能化成為云上數(shù)倉服務的發(fā)展方向。越來越多的企業(yè)無法忍受數(shù)據(jù)經過T+1的離線處理之后，再產生指導業(yè)務數(shù)據(jù)決策的漫長工作，而是希望能在不斷產生實時數(shù)據(jù)的同時，與既有的離線數(shù)據(jù)一起產生實時洞察，從而立即產生業(yè)務所需的策略。

據(jù)高雪峰介紹，游戲玩家在游戲體驗過程中，按照玩家的即時需求給他推送對當前游戲體驗有很大幫助的禮包，在滿足玩家體驗的同時，也會增加付費轉化率;在證券交易實時數(shù)據(jù)產生時，通過離在線一體化的數(shù)據(jù)分析實現(xiàn)交易，滿足監(jiān)管機構的管理要求，更好的幫助機構控制風險。

阿里云智能計算平臺產品與解決方案總經理高雪峰

云上數(shù)倉離在線一體化方案，針對用戶在分析領域各種時效性的需求，按需提供服務。離線大數(shù)據(jù)分析MaxCompute與實時數(shù)倉Hologres實現(xiàn)深度集成，對離線數(shù)據(jù)的實時化分析可以實現(xiàn)10倍性能的提升。

在實時數(shù)倉的內部構件當中，可以通過實時計算Flink版的能力實現(xiàn)事件驅動的實時數(shù)倉的構建。向外可以對數(shù)據(jù)湖中的數(shù)據(jù)進行高效的分析，實現(xiàn)數(shù)據(jù)高速入倉，通過對標準開放的 SQL協(xié)議的支持，實現(xiàn)對19款主流BI工具的原生支持，幫助客戶快速構建從數(shù)據(jù)集成到數(shù)據(jù)分析界面的數(shù)倉應用。

數(shù)據(jù)規(guī)模越來越大，集群規(guī)模越來越大，一定會對大數(shù)據(jù)平臺的運維能力產生很大的挑戰(zhàn)，在海量數(shù)據(jù)可管，可控下，通過查詢優(yōu)化技術和文件存儲優(yōu)化技術將大規(guī)模集群的優(yōu)勢發(fā)揮到極致，并通過冷熱冰存儲的自動分層，為用戶降低存儲增長帶來的成本的提升。智能數(shù)倉解決了大部分企業(yè)運維難的問題，真正做到企業(yè)大數(shù)據(jù)平臺的智能駕駛。

湖倉一體新升級2.0，真正做到一份數(shù)據(jù)，統(tǒng)一管控，多樣分析

最近，數(shù)據(jù)湖的形態(tài)被眾多企業(yè)所使用，這種技術形態(tài)決定了企業(yè)很容易管理數(shù)據(jù)，并在其之上使用豐富的開源引擎做各種形態(tài)的計算。同時，在傳統(tǒng)報表等BI應用催生下，企業(yè)已經構建的數(shù)據(jù)倉庫形成了“數(shù)據(jù)孤島”，數(shù)據(jù)間協(xié)同分析很難被執(zhí)行，而且大部分企業(yè)沒有將所有數(shù)據(jù)進行大集中處理的能力。

在應用需求催生下，面向不同的倉和湖形態(tài)的數(shù)據(jù)存儲和分析，企業(yè)有了非常強的數(shù)據(jù)互通需求。這也是“湖倉一體”的產生的背景。去年，阿里云“湖倉一體”打通云上數(shù)倉產品“MaxCompute”與數(shù)據(jù)湖產品“EMR”，經過一年的客戶磨練與沉淀，“湖倉一體”有了2.0的新能力。

從購買體驗上，用戶可以在線上分鐘級打通云上Severless數(shù)據(jù)倉庫( MaxCompute)和云原生數(shù)據(jù)湖(EMR+OSS)，實現(xiàn)統(tǒng)一元數(shù)據(jù)、存儲方面的安全互通。不僅更好的支持標準HDFS的數(shù)據(jù)訪問，而且持續(xù)優(yōu)化對OSS對象存儲高速訪問性能, 擴展支持Hudi、Delta Lake等開源數(shù)據(jù)湖格式。MaxCompute計算服務通過對智能緩存能力的升級，使訪問EMR數(shù)據(jù)湖中的數(shù)據(jù)有10+倍性能的提升。

換句話說，湖倉一體2.0可以幫助企業(yè)消除數(shù)據(jù)孤島，通過DataWorks將不同形態(tài)的數(shù)據(jù)統(tǒng)一管理與治理起來，并對特定應用加速分析。同時也可以幫助企業(yè)在新建數(shù)倉或者數(shù)據(jù)湖的同時，對既有系統(tǒng)進行充分利舊，在應用需求日趨迫切的時候，為企業(yè)規(guī)避了進行數(shù)據(jù)大集中的決策性風險。

免責聲明：市場有風險，選擇需謹慎!此文僅供參考，不作買賣依據(jù)。

關鍵詞： 一體 升級 發(fā)布