butongfenggedezhibojiemudoukeyimianfeizaixianguankan，suishikeyizaiplayonlineguankan。gaoqinglianglidekatonghuachangjing，ganshoushijiaoshangdefangsongyushushi;shengqianyehenrongyi。zhiyaonishoudaoyouhuiquan，nijiukeyihenkuaidishengqian，zheyangnijiukeyisuishishengqiantayongyouxiangdangjianjiedecaozuosheji，dabufenyupingmutouyingxiangguandefuwuhegongnengdoushiyijianqingsongtiyan。shangchengfanli：zhichiquanwang00duojiadianshangpingtai，chaozhishengqianzhiweinin！適(shi)合(he)數(shu)據(ju)雲(yun)平(ping)臺(tai)的(de)架(jia)構(gou)長(chang)啥(sha)樣(yang) 奇(qi)點(dian)云DataSimbaR4.9 LTS發(fa)布(bu)，官(guan)宣(xuan)架构升(sheng)級(ji)

不(bu)久(jiu)前(qian)，奇点云的数据云全(quan)系(xi)產(chan)品(pin)如(ru)期(qi)发布新(xin)壹(yi)季(ji)商(shang)業(ye)化(hua)版(ban)本(ben)更(geng)新：

数据云平台DataSimba：R4.9 LTS版发布，穩(wen)定(ding)性(xing)全面(mian)加(jia)固(gu)，功(gong)能(neng)上(shang)新；自(zi)R4系列(lie)起(qi)架构升级，封(feng)裝(zhuang)底(di)層(ceng)復(fu)雜(za)性，支(zhi)撐(cheng)上层快(kuai)速(su)构建(jian)数据模(mo)型(xing)與(yu)應(ying)用(yong)。

数据存(cun)算(suan)引(yin)擎(qing)DataKun：R2.0发布，在(zai)安(an)全稳定、智(zhi)能運(yun)維(wei)、云原(yuan)生(sheng)、自主(zhu)可(ke)控(kong)等(deng)层面均(jun)有(you)優(you)化。

数据安全引擎DataBlack：R2.0发布，支持(chi)全域(yu)数据安全，內(nei)置(zhi)行(xing)业模型，開(kai)箱(xiang)即(ji)用。

数据服(fu)務(wu)工(gong)具(ju)箱Simba Toolkits：SimbaTag（標(biao)簽(qian)工廠(chang)）、SimbaMetric（指(zhi)标工厂）成(cheng)為(wei)獨(du)立(li)版本，可搭(da)載(zai)於(yu)企(qi)业現(xian)有数据平台之(zhi)上，为标签管(guan)理(li)、指标管理提(ti)效(xiao)。

本文(wen)聚(ju)焦(jiao)DataSimba，解(jie)讀(du)稳定性加固、功能上新及(ji)架构升级。

稳定性加固，妥(tuo)妥“企业级”

LTS，即Long Term Support，长期支持版。数据云DataSimba每(mei)個(ge)R系的最(zui)後(hou)一个版本，都(dou)作(zuo)为LTS版发布。相(xiang)較(jiao)上一个LTS版（R3.8），DataSimba R4.9及DataKun R2.0進(jin)一步(bu)加固了(le)稳定性，支持高(gao)可用、高並(bing)发、高效調(tiao)度(du)、高效运维。

“企业客(ke)戶(hu)使(shi)用DataSimba的深(shen)度和(he)強(qiang)度已(yi)不同(tong)以(yi)往(wang)。”奇点云合夥(huo)人(ren)、CTO地(di)雷(lei)表(biao)示(shi)，“数据云必(bi)須(xu)具備(bei)足(zu)夠(gou)的稳定性，方(fang)能保(bao)障(zhang)数据全鏈(lian)路(lu)日(ri)常(chang)高效运行，基(ji)于业务需(xu)求(qiu)产出(chu)結(jie)果(guo)。即便(bian)遇(yu)到(dao)故(gu)障、超(chao)負(fu)荷(he)、誤(wu)操(cao)作等情(qing)況(kuang)，也(ye)能足够皮(pi)實(shi)不崩(beng)潰(kui)，及時(shi)反(fan)饋(kui)并定位(wei)問(wen)題(ti)，甚(shen)至(zhi)能提前智能化給(gei)出預(yu)警(jing)，規(gui)避(bi)對(dui)业务的影(ying)響(xiang)。”

在“企业级”标準(zhun)要(yao)求下(xia)，本次(ci)更新主要圍(wei)繞(rao)以下5項(xiang)專(zhuan)题，开展(zhan)稳定性优化：

1.调度更智能、更可靠(kao)

DataSimbaR4.9进一步优化了调度策(ce)略(lve)以及调度通(tong)訊(xun)框(kuang)架，讓(rang)调度更智能，有效減(jian)少(shao)“塞(sai)車(che)”，保障系統(tong)稳定运行。

具體(ti)而(er)言(yan)，我(wo)們(men)分(fen)離(li)了业务调度和資(zi)源(yuan)调度，让彼(bi)此(ci)的職(zhi)責(ze)更清(qing)晰(xi)、策略更易(yi)擴(kuo)展，并结合实際(ji)业务場(chang)景(jing)，深层优化了通讯協(xie)議(yi)。优化项包(bao)括(kuo)：

·业务调度：基于任(ren)务特(te)点进行了隊(dui)列的拆(chai)分，在同一队列下再(zai)结合优先(xian)级、项目(mu)、租(zu)户、任务数、任务配(pei)置等进行綜(zong)合打(da)分，從(cong)而判(pan)斷(duan)队列分发的順(shun)序(xu)。

·资源调度：基于節(jie)点并发数及负载程(cheng)度进行即时的精(jing)准调度，大(da)大提升任务執(zhi)行的效率(lv)，实现负载均衡(heng)。

·调度通讯框架：对通讯协议以及包的大小(xiao)、发送(song)、接(jie)收(shou)策略等多(duo)维度进行了深度优化，整(zheng)体通讯性能提升了30%以上。

2.应用100%支持高可用

DataSimba R4.9内所(suo)有业务应用及中(zhong)間(jian)件(jian)，均支持自動(dong)化的故障恢(hui)复与容(rong)錯(cuo)实现。在出现故障、失(shi)效等问题时，系统將(jiang)繼(ji)續(xu)正(zheng)常运行并提供(gong)服务。

·所有的业务应用都基于Kubernetes管理，同时支持多实例(li)集(ji)群(qun)部(bu)署(shu)。

·包括Redis、Kafka、K3s、Nacos等在内的所有中间件均支持高可用部署，业务代(dai)碼(ma)已全部适配完(wan)成。針(zhen)对部分中间件，我们也已完成版本升级，來(lai)进一步提升組(zu)件的可靠性和安全性。

3.全方位監(jian)控告(gao)警

监控告警是(shi)稳定性重(zhong)要的一環(huan)，方便事(shi)中事后快速发现与定位问题。DataSimba R4.9从业务、应用、中间件、服务器(qi)等多个维度，实现了监控告警全覆(fu)蓋(gai)。

·针对业务異(yi)常，依(yi)托(tuo)自研(yan)的实时告警系统，基于业务指标采(cai)集和规則(ze)配置，可通過(guo)郵(you)件、短(duan)信(xin)、釘(ding)钉等多渠(qu)道(dao)监控告警。

·针对运维异常，采用现有成熟(shu)的告警平台，对Java虛(xu)擬(ni)機(ji)、線(xian)程池(chi)、内存、CPU、磁(ci)盤(pan)、網(wang)絡(luo)等多维度实现全方位的监控与告警。

4.引擎核(he)心(xin)组件全量(liang)壓(ya)測(ce)

在DataSimba底层，数据存算引擎DataKun也要足够稳定。

在本輪(lun)更新，数据存算引擎DataKun的核心组件完成全量压测，包括YARN、HDFS、Hive、Spark等在内的所有核心组件稳定性及性能均得(de)到了充(chong)分驗(yan)證(zheng)。

压测基于DataSimba标准版的配置进行（专业版、旗(qi)艦(jian)版性能比(bi)标准版更高）。我们采用單(dan)压、混(hun)压的方式(shi)对DataSimba做(zuo)假(jia)設(she)性压测与功能验证。并结合压测结果数据，对组件进行配置调优，进一步提升集群的整体吞(tun)吐(tu)能力(li)。

5.系统破(po)壞(huai)性测試(shi)

为了保障系统在極(ji)端(duan)场景下的可用性，DataSimbaR4.9做了比R3时期更为嚴(yan)格(ge)的破坏性测试。

所謂(wei)破坏性测试，簡(jian)单来說(shuo)就(jiu)是當(dang)面对异常、组件不可用等情况时，系统能否(fou)“稳住(zhu)”，给出正確(que)反馈——事实上，破坏性测试不僅(jin)會(hui)考(kao)察(cha)系统的监控告警能力，更考察系统自愈(yu)的能力及数据狀(zhuang)態(tai)的一致(zhi)性。

在完成应用破坏、中间件破坏、DataKun组件破坏等等多个场景的破坏性测试后，我们在本轮更新做了如下优化：

·优化监控告警机制(zhi)，出现组件异常时立即觸(chu)发通知(zhi)；

·优化前端提示，出现故障时直(zhi)觀(guan)展现報(bao)错，便于用户定位问题；

·增(zeng)加重试策略，当组件恢复后系统可以自愈运行，减少人工幹(gan)预；

·叠(die)代任务巡(xun)檢(jian)机制，在极端情况下也能保障任务状态的一致性。

功能上新，从容应对复杂场景

相较于上一个LTS版本（R3.8），DataSimba R4.9 LTS共(gong)上新142项新功能，优化了113项功能，提供了32项问题的修(xiu)复補(bu)丁(ding)，并基于用户研究(jiu)进一步迭代了交(jiao)互(hu)设計(ji)。

篇(pian)幅(fu)所限(xian)，本文仅简单介(jie)紹(shao)其(qi)中3项亮(liang)点功能，更詳(xiang)盡(jin)的Release Notes可以向(xiang)您(nin)的客户成功經(jing)理、产品技(ji)術(shu)顧(gu)问了解。

支持多租户，既(ji)安全又(you)集約(yue)

DataSimba R4.9支持多租户，用户可以在DataSimba的一个工作空(kong)间（Workspace）裏(li)，为多个團(tuan)队开设租户（Account），提供相互独立的空间，实现资源隔(ge)离。

基于多租户体系，企业的数据团队将以“平台”身(shen)份(fen)服务更多部門(men)，合理优化资源利(li)用，而不再出现多团队互搶(qiang)资源的情况，也免(mian)去(qu)了各(ge)团队自行运管数据基礎(chu)设施(shi)的煩(fan)惱(nao)。

为匹(pi)配多租户体系，我们采用了雙(shuang)层身份認(ren)证、双层權(quan)限校(xiao)验、双层存儲(chu)加密(mi)，来保证租户资源的强邏(luo)輯(ji)隔离与数据安全。同时，通过动态的权限管控，DataSimba R4.9支持租户间数据安全共享(xiang)，而無(wu)需数据遷(qian)移(yi)成本。

Task/Job双层混合调度，提高执行效率及资源利用率

DataSimba R4.9采用Task/Job双层混合调度，任务（Task）与作业（Job）级別(bie)调度互相配合，以完成任务调度及资源分配。

其中，任务（Task）负责決(jue)定任务在可用资源上的调度顺序，控制任务的调度周(zhou)期；作业（Job）则通过与Quota（空间域里的其中一个对象(xiang)）配合，完成底层资源的调度与优化。

在双层混合调度体系中，我们加入(ru)了“潮(chao)汐(xi)车道”等调度策略，可由(you)企业用户按(an)需選(xuan)擇(ze)。例如，可以周期性调整资源，来平衡高峰(feng)期、低(di)峰期资源的分配利用，也可以预留(liu)一定资源，确保高优先级任务完成。

配置圖(tu)引擎，支持图数据處(chu)理与图算法(fa)优化

DataSimba R4.9配置了图引擎（Graph Engine），支持用户通过DataSimba存储、管理、分析(xi)大规模的图数据，开发交互式的图计算作业，以及处理复杂的图算法。

以OneID场景为例，基于奇点云自研的“大规模多引擎混合调度技术”，我们采用了“流(liu)批(pi)图一体”架构——结合实时计算、离线计算、图计算三(san)種(zhong)引擎的能力，批处理的图计算结果对流计算的结果进行修正，再以API的方式对外(wai)（例如对分析云产品）提供服务。

业内独家(jia)的技术架构让奇点云全域OneID方案(an)在计算性能、复杂场景计算及可解釋(shi)性上均具优勢(shi)。其中，图计算的高效图遍(bian)歷(li)和關(guan)聯(lian)操作能力有效提高了海(hai)量多端用户融(rong)合分析的准确性。

架构升级，让数据模型与应用构建更简单

DataSimba R4与R3系列在架构上有极大不同。DataSimba R4.9（包括自R4.0以来的所有产品版本）在架构上分为3层，自上而下分别为：

- Simba Toolkits（数据服务工具箱）：包含(han)SimbaMetric（指标工厂）、SimbaTag（标签工厂）等多种效率工具，内置科(ke)學(xue)的数据工程方法論(lun)，幫(bang)助(zhu)数据工程師(shi)提升数据资产研发效率。

- Simba IDE（数据云集成开发环境(jing)）：提供离线同步、实时同步、监控告警、资产地图等功能，滿(man)足从数据集成到开发、运维及服务等全链路场景。

- Simba OS（云数倉(cang)内核）：根(gen)据“资源抽(chou)象，接口(kou)统一”的原则，将一系列复杂的业务对象抽象为7个域、32个对象，向上支持数据业务。例如，“分级多域”、“多租户”业务数据逻辑隔离能力的实现，就得益(yi)于空间域中的工作空间对象、项目对象和项目成員(yuan)对象；又如，要实现一个去中心化的DAG任务调度中间层及调度实例化，则需要利用任务域中的作业对象、任务对象和实例对象。

基于全新的架构，DataSimba以Simba OS为核心向下封装多引擎、多依賴(lai)、多云、海量多源异构数据等帶(dai)来的复杂性，并基于统一的平台，向上（应用层）以API的方式提供标准能力，帮助用户简化数据模型/应用的研发过程。

伴(ban)隨(sui)架构升级，整体后端服务资源消(xiao)耗(hao)更少、分配更合理，一套(tao)新环境所需的最低服务资源也进一步得到削(xue)减。

为什(shen)麽(me)要升级架构？

越(yue)来越多企业客户正在走(zou)向数字(zi)化深水(shui)區(qu)，数据模型、数据应用建设的需求也越来越高頻(pin)。DT部门需要从原本“接需求”的角(jiao)色(se)向“平台”角色轉(zhuan)型，向各个组織(zhi)单元(yuan)提供数据能力，适应不同业务对数据使用的要求。

如果不解耦(ou)底层建设与数据业务、抽象底层能力，不仅難(nan)以快速响应高频的需求，重复造(zao)轮子(zi)，出现煙(yan)囪(cong)式建设，数据系统也会伴随企业使用而不断“加重”，扩展能力和技术升级受(shou)限。

因(yin)此奇点云基于对数据全链路各环节的理解，及过去多年(nian)实踐(jian)的幾(ji)百(bai)个项目，抽象出了7个域共32个对象。详尽准确的对象加上对象之间的关联关系，构成了Simba OS。Simba OS以简单、标准的RESTful API对外提供能力，从而解耦复杂的底层体系与多變(bian)的上层业务，来应对不同环境、不同数据业务场景的需求。

地雷介绍，对象的屬(shu)性和行为可以被(bei)继承(cheng)、更新、扩展及复用。每当需要支持一种新的数据业务场景，DataSimba的用户都可以像(xiang)拼(pin)樂(le)高積(ji)木(mu)一样，基于Simba OS快速搭建数据模型/应用，而规避底层重复建设、定義(yi)不一致、大数据引擎及IaaS对接难度高等问题。

“其实，我们的指标工厂SimbaMetric、标签工厂SimbaTag、数据安全引擎DataBlack就是基于Simba OS‘搭建’出来的，与DataSimba体系天(tian)然(ran)打通，且(qie)能同步享受DataSimba底层所有的能力升级。”

目前，DataSimbaR4系列已在数十(shi)家企业级客户得到使用，其中不乏(fa)客户数据团队基于Simba OS自建数据应用的案例。

期待(dai)成为您的理想(xiang)选择！返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

责任編(bian)辑：