400-608-2558
029-86698003
400-608-2558
029-86698003
大數(shù)據(jù)人工智能快速發(fā)展，加大了數(shù)據(jù)中心處理數(shù)據(jù)，資源的能力，加劇了人們對(duì)于提升資源效率的需求。為了合理分配大規(guī)模集群的資源，滿足日益增多的服務(wù)和任務(wù)的資源需求，出現(xiàn)了一系列的集群資源調(diào)度系統(tǒng)。
當(dāng)下，主流大數(shù)據(jù)資源調(diào)度平臺(tái)有Yarn、Mesos、K8s。這些平臺(tái)背后技術(shù)路線不同，接口不同，安全認(rèn)證過(guò)程不同，因此要統(tǒng)一管理運(yùn)行在這些平臺(tái)是一個(gè)不小的挑戰(zhàn)。
如果有統(tǒng)一的服務(wù)將不同資源調(diào)度平臺(tái)透明化，業(yè)務(wù)系統(tǒng)只關(guān)心業(yè)務(wù)程序本身，剩下的交給單個(gè)標(biāo)準(zhǔn)接口處理，將大大降低這些資源調(diào)度平臺(tái)的應(yīng)用成本。
需求過(guò)程和設(shè)計(jì)過(guò)程
我們需要考慮幾個(gè)問(wèn)題：
1、不同資源調(diào)度平臺(tái)間的接口調(diào)用如何統(tǒng)一？
2、不同資源調(diào)度平臺(tái)間的安全認(rèn)證的證書(shū)如何管理？
3、業(yè)務(wù)系統(tǒng)應(yīng)用程序本身的資源文件，如果管理？
4、從業(yè)務(wù)應(yīng)用程序本身來(lái)說(shuō)，可能要面臨程序文件、程序資源文件、程序運(yùn)行環(huán)境等業(yè)務(wù)程序執(zhí)行所關(guān)聯(lián)的要素如何管理的問(wèn)題？
針對(duì)問(wèn)題1
針對(duì)問(wèn)題1，我們可以使用適配器模式完成各個(gè)大數(shù)據(jù)資源調(diào)度系統(tǒng)的統(tǒng)一接口適配。這種相對(duì)比較容易實(shí)現(xiàn)。但是，如何業(yè)務(wù)上完成一定程度的統(tǒng)一，從而減輕某一類業(yè)務(wù)的底層技術(shù)的實(shí)現(xiàn)難度，是必須要面對(duì)問(wèn)題。
例如，我們目前大部分?jǐn)?shù)據(jù)處理業(yè)務(wù)都要使用Spark平臺(tái)，并且有數(shù)據(jù)處理業(yè)務(wù)流程化（DAG）的需求。
流程化過(guò)程可以分為兩個(gè)部分。一個(gè)是流程定義，另一個(gè)是流程執(zhí)行。
對(duì)于流程定義，可以考慮將業(yè)務(wù)過(guò)程以過(guò)程描述文件的方法定義，并將任務(wù)接口以ID標(biāo)識(shí)的方式設(shè)計(jì)，并形成基礎(chǔ)的SDK。此SDK包含基礎(chǔ)的所需的程序lib文件、程序資源文件，并且預(yù)留DAG過(guò)程入口API，從實(shí)現(xiàn)部分業(yè)務(wù)統(tǒng)一化的需求。
例如，數(shù)據(jù)分析類應(yīng)用可以按照下圖完成流程描述文件的設(shè)計(jì)。
通過(guò)設(shè)計(jì)流程與節(jié)點(diǎn)描述，根據(jù)出入路徑實(shí)現(xiàn)DAG進(jìn)行設(shè)計(jì)可以完成大部分流程類應(yīng)用的業(yè)務(wù)。
而對(duì)于流程執(zhí)行，實(shí)際上是一個(gè)流程驅(qū)動(dòng)的過(guò)程。這個(gè)驅(qū)動(dòng)過(guò)程可以使用以下思路實(shí)現(xiàn)：
我們可將節(jié)點(diǎn)間描述邏輯實(shí)體化到系統(tǒng)中，連接邏輯和流轉(zhuǎn)邏輯使用Transition完成，使用Builder完成所有流程要素的生成。Process負(fù)責(zé)所有流程對(duì)象的承載，并觸發(fā)這個(gè)流程的執(zhí)行。Behavior是我們業(yè)務(wù)程序的入口定義，Meta則是節(jié)點(diǎn)間的數(shù)據(jù)傳遞和業(yè)務(wù)元數(shù)據(jù)定義邏輯，而Execution，則是所有業(yè)務(wù)入口的驅(qū)動(dòng)對(duì)象。
針對(duì)問(wèn)題2-4
我們可以看到，其核心是如何管理大數(shù)據(jù)資源調(diào)度平臺(tái)的相關(guān)配置文件和業(yè)務(wù)系統(tǒng)的相關(guān)程序文件。可以統(tǒng)一抽象出資源的類定義，然后根據(jù)資源類型使用面向?qū)ο蠓椒ㄟM(jìn)行規(guī)劃。
此處引入頂層資源的概念，從頂層資源可以繼承出文件資源、配置資源、應(yīng)用資源等。配置資源可以拓展出Hadoop配置資源、K8s配置資源。應(yīng)用資源可以繼續(xù)拓展出基于Spark的應(yīng)用資源、基于Flink的應(yīng)用資源等。
基于以上面向?qū)ο蠓椒ㄍ瓿傻囊?guī)劃可以在后續(xù)的需求中比較容易的拓展出其他類型的資源調(diào)度平臺(tái)的應(yīng)用，例如K8s應(yīng)用。同時(shí)，K8s應(yīng)用可以快速的組合其他的配置資源、文件資源等。
適配資源調(diào)度系統(tǒng)過(guò)程中若干設(shè)計(jì)要素
從需求側(cè)我們可以總結(jié)出以下幾個(gè)業(yè)務(wù)要素：
1、大數(shù)據(jù)資源調(diào)度與管理平臺(tái)，如K8s、Yarn、Mesos等。
2、業(yè)務(wù)應(yīng)用，如基于Spark的應(yīng)用、基于Flink的應(yīng)用、從底層實(shí)現(xiàn)各種數(shù)據(jù)處理程序等。
3、一個(gè)大數(shù)據(jù)任務(wù)管理服務(wù)，此服務(wù)可以使用相同形式的接口將各個(gè)應(yīng)用提交到大數(shù)據(jù)資源管理平臺(tái)。
4、可以實(shí)現(xiàn)部分業(yè)務(wù)過(guò)程的抽象統(tǒng)一化適配，提供適配過(guò)程的SDK開(kāi)發(fā)包。
基于以上設(shè)計(jì)要素，可以實(shí)現(xiàn)以下系統(tǒng)邏輯架構(gòu)圖：
業(yè)務(wù)應(yīng)用通過(guò)API接口將程序提交到Y(jié)arn、K8s、Mesos等大數(shù)據(jù)資源調(diào)度平臺(tái)中執(zhí)行。大數(shù)據(jù)任務(wù)管理服務(wù)提供對(duì)執(zhí)行任務(wù)的監(jiān)控、日志提取和任務(wù)管理的接口，是業(yè)務(wù)應(yīng)用系統(tǒng)程序在云計(jì)算環(huán)境中執(zhí)行的橋接服務(wù)。
服務(wù)內(nèi)部通過(guò)注冊(cè)資源和應(yīng)用完成對(duì)程序資源的管理和應(yīng)用管理，其中系統(tǒng)資源類型包括容器類(K8s、Yarn)，程序基礎(chǔ)框架類(Spark、Hive、Hbase)，開(kāi)發(fā)語(yǔ)言類(Python、Java)，服務(wù)提供應(yīng)用系統(tǒng)的定時(shí)、實(shí)時(shí)調(diào)度功能。
服務(wù)對(duì)外提供一套應(yīng)用系統(tǒng)管理的REST接口。
1、應(yīng)用系統(tǒng)管理：提供注冊(cè)、禁用、提取狀態(tài)，配置應(yīng)用系統(tǒng)的調(diào)度功能的接口。
2、作業(yè)管理：針對(duì)已注冊(cè)應(yīng)用,可以動(dòng)態(tài)提交基于該應(yīng)用系統(tǒng)的作業(yè)，實(shí)時(shí)執(zhí)行并獲取執(zhí)行狀態(tài)、日志。
3、授權(quán)管理：針對(duì)每個(gè)應(yīng)用系統(tǒng)的授權(quán)碼的管理。
基于以上各設(shè)計(jì)要素，可以實(shí)現(xiàn)一個(gè)通用的橋接服務(wù)，通過(guò)該服務(wù)可將資源調(diào)度過(guò)程透明化，并可適配未來(lái)出現(xiàn)的未知資源調(diào)度平臺(tái)。
總結(jié)
適配多個(gè)大數(shù)據(jù)資源調(diào)度平臺(tái)是一個(gè)比較復(fù)雜的過(guò)程，通過(guò)使用面向?qū)ο蟮馁Y源化設(shè)計(jì)方法，是一個(gè)比較自然且易于擴(kuò)展的思路。
部分業(yè)務(wù)應(yīng)用中可以抽象出一些基礎(chǔ)的業(yè)務(wù)邏輯，例如流程驅(qū)動(dòng)的數(shù)據(jù)處理業(yè)務(wù)。此時(shí)我們可以抽象出通用的SDK，業(yè)務(wù)應(yīng)用直接基于此SDK開(kāi)發(fā)，可以快速實(shí)現(xiàn)流程驅(qū)動(dòng)的數(shù)據(jù)處理類應(yīng)用。資源化各個(gè)設(shè)計(jì)要素后，系統(tǒng)可以通過(guò)組合不同的資源快速實(shí)現(xiàn)各種基于大數(shù)據(jù)資源調(diào)度平臺(tái)的業(yè)務(wù)應(yīng)用。
陜公網(wǎng)安備 61019002000171號(hào)
友情鏈接
