近日，2021騰訊數(shù)字生態(tài)大會在武漢舉行，大會以“數(shù)實融合·綻放新機”為主題，邀請了300多位產(chǎn)業(yè)領(lǐng)袖和專家，展示前沿技術(shù)成果、創(chuàng)新服務(wù)場景、細分行業(yè)數(shù)字化轉(zhuǎn)型的實踐案例。作為騰訊云最佳生態(tài)合作伙伴，作業(yè)幫受邀出席，作業(yè)幫大數(shù)據(jù)平臺技術(shù)部負責人劉晉在“大數(shù)據(jù)”專場與參會者分享作業(yè)幫大數(shù)據(jù)平臺架構(gòu)的演進之路，系統(tǒng)地介紹了作業(yè)幫大數(shù)據(jù)平臺概況、面臨的問題和解決方法，以及在彈性、數(shù)據(jù)湖、數(shù)據(jù)安全的實踐經(jīng)歷和取得的效果。

彈性能力持續(xù)豐富 算力利用率最大化

劉晉表示，作業(yè)幫從2015年開始就使用存算分離的架構(gòu)來構(gòu)建離線的數(shù)據(jù)體系，該系統(tǒng)架構(gòu)讓計算、存儲資源具備極好的擴展性，降低運維成本、優(yōu)化TCO。為了提升在線集群資源利用率、滿足突發(fā)的資源使用需求，團隊正在將計算層從自建CDH到EMR的遷移。

為了實現(xiàn)平滑的遷移，團隊采用了漸進式的方案，首先對任務(wù)進行標準化測試，對一些不適合高版本Hive環(huán)境的任務(wù)進行了改造，之后進行數(shù)據(jù)準確性的檢驗，通過對任務(wù)在不同集群的結(jié)果對比來驗證數(shù)據(jù)，這個過程中對發(fā)現(xiàn)的開源版本缺陷進行修復，最后進行分隊列的遷移。

從遷移后的效果來看，基于EMR-EKS能快速的彈性擴容，今年上半年團隊基于彈性在短時間內(nèi)擴容了上萬核，很好的滿足了計算需求。同時正在實施在線離線混布的方案，通過彈性網(wǎng)卡做了硬件層面的網(wǎng)絡(luò)隔離，并且對Yarn的原生調(diào)度模式進行優(yōu)化，縮短了節(jié)點回收的時間，避免慢節(jié)點影響任務(wù)執(zhí)行效率。

數(shù)據(jù)湖技術(shù)加持 湖倉一體實踐探索

在傳統(tǒng)基于Hadoop的數(shù)倉應用里，存在著數(shù)據(jù)查詢慢，數(shù)據(jù)模型更新成本過高、以及數(shù)據(jù)冗余等諸多的缺點，作業(yè)幫通過Iceberg的數(shù)據(jù)湖技術(shù)，結(jié)合實際的使用場景，在數(shù)倉和即席查詢領(lǐng)域進行了積極的探索和實踐。

首先通過Flink構(gòu)建實時Pipeline，生成ODS層分鐘級的IceBerg數(shù)倉表，再通過事件驅(qū)動來周期性的做流轉(zhuǎn)批生成具有時間邊界的分區(qū)，對分區(qū)內(nèi)數(shù)據(jù)通過Zorder、DataSkipping技術(shù)來做查詢加速，在流量域的用戶行為查詢中，使用Iceberg的查詢相比傳統(tǒng)模式有近10倍以上的提升。

劉晉表示，作業(yè)幫在批計算、實時、OLAP等領(lǐng)域有豐富的應用場景，未來作業(yè)幫技術(shù)團隊將持續(xù)建設(shè)創(chuàng)新技術(shù)體系，在數(shù)據(jù)治理、數(shù)據(jù)湖、自動調(diào)度、離在線混布、OLAP、實時計算等領(lǐng)域不斷的實踐和突破，充分發(fā)揮數(shù)據(jù)價值，賦能教育創(chuàng)新。

關(guān)鍵詞： 作業(yè)幫