That model is currently overloaded with other requests. You can retry your request, or contact us through our help center at help.openai.com if the error persists. (Please include the request ID df03bc02e39bb1d3bccf1de23ffb7a in your message.)

zhidianjiangshanyunchouweiwoxiangshoudiwangjihaohuabandexiangshou！V00bencigengxin：youhualeyixietiyanxijie。zuijingengxin：duomaidianchide，youhuayixia。maicaishihuiyoufangbian。weiyonghutigongfengfudezhishiziyuan，xuexibutongdezhongguowenhua，tongguoduozhongxingshichuandizhishineirong。jianzaoyigeqiangdadediguo，chengweichengbaolingzhu，buduanshengjijundui，weinideyingxiongmenpeibeizuijiadewuqi；xinkezhuanxiang0shangxian適(shi)合(he)數(shu)據(ju)雲(yun)平(ping)臺(tai)的(de)架(jia)構(gou)長(chang)啥(sha)樣(yang) 奇(qi)點(dian)云DataSimbaR4.9 LTS發(fa)布(bu)，官(guan)宣(xuan)架构升(sheng)級(ji)

不(bu)久(jiu)前(qian)，奇点云的数据云全(quan)系(xi)產(chan)品(pin)如(ru)期(qi)发布新(xin)壹(yi)季(ji)商(shang)業(ye)化(hua)版(ban)本(ben)更(geng)新：

数据云平台DataSimba：R4.9 LTS版发布，穩(wen)定(ding)性(xing)全面(mian)加(jia)固(gu)，功(gong)能(neng)上(shang)新；自(zi)R4系列(lie)起(qi)架构升级，封(feng)裝(zhuang)底(di)層(ceng)復(fu)雜(za)性，支(zhi)撐(cheng)上层快(kuai)速(su)构建(jian)数据模(mo)型(xing)與(yu)應(ying)用(yong)。

数据存(cun)算(suan)引(yin)擎(qing)DataKun：R2.0发布，在(zai)安(an)全稳定、智(zhi)能運(yun)維(wei)、云原(yuan)生(sheng)、自主(zhu)可(ke)控(kong)等(deng)层面均(jun)有(you)優(you)化。

数据安全引擎DataBlack：R2.0发布，支持(chi)全域(yu)数据安全，內(nei)置(zhi)行(xing)业模型，開(kai)箱(xiang)即(ji)用。

数据服(fu)務(wu)工(gong)具(ju)箱Simba Toolkits：SimbaTag（標(biao)簽(qian)工廠(chang)）、SimbaMetric（指(zhi)标工厂）成(cheng)為(wei)獨(du)立(li)版本，可搭(da)載(zai)於(yu)企(qi)业現(xian)有数据平台之(zhi)上，为标签管(guan)理(li)、指标管理提(ti)效(xiao)。

本文(wen)聚(ju)焦(jiao)DataSimba，解(jie)讀(du)稳定性加固、功能上新及(ji)架构升级。

稳定性加固，妥(tuo)妥“企业级”

LTS，即Long Term Support，长期支持版。数据云DataSimba每(mei)個(ge)R系的最(zui)後(hou)一个版本，都(dou)作(zuo)为LTS版发布。相(xiang)較(jiao)上一个LTS版（R3.8），DataSimba R4.9及DataKun R2.0進(jin)一步(bu)加固了(le)稳定性，支持高(gao)可用、高並(bing)发、高效調(tiao)度(du)、高效运维。

“企业客(ke)戶(hu)使(shi)用DataSimba的深(shen)度和(he)強(qiang)度已(yi)不同(tong)以(yi)往(wang)。”奇点云合夥(huo)人(ren)、CTO地(di)雷(lei)表(biao)示(shi)，“数据云必(bi)須(xu)具備(bei)足(zu)夠(gou)的稳定性，方(fang)能保(bao)障(zhang)数据全鏈(lian)路(lu)日(ri)常(chang)高效运行，基(ji)于业务需(xu)求(qiu)产出(chu)結(jie)果(guo)。即便(bian)遇(yu)到(dao)故(gu)障、超(chao)負(fu)荷(he)、誤(wu)操(cao)作等情(qing)況(kuang)，也(ye)能足够皮(pi)實(shi)不崩(beng)潰(kui)，及時(shi)反(fan)饋(kui)并定位(wei)問(wen)題(ti)，甚(shen)至(zhi)能提前智能化給(gei)出預(yu)警(jing)，規(gui)避(bi)對(dui)业务的影(ying)響(xiang)。”

在“企业级”标準(zhun)要(yao)求下(xia)，本次(ci)更新主要圍(wei)繞(rao)以下5項(xiang)專(zhuan)题，开展(zhan)稳定性优化：

1.调度更智能、更可靠(kao)

DataSimbaR4.9进一步优化了调度策(ce)略(lve)以及调度通(tong)訊(xun)框(kuang)架，讓(rang)调度更智能，有效減(jian)少(shao)“塞(sai)車(che)”，保障系統(tong)稳定运行。

具體(ti)而(er)言(yan)，我(wo)們(men)分(fen)離(li)了业务调度和資(zi)源(yuan)调度，让彼(bi)此(ci)的職(zhi)責(ze)更清(qing)晰(xi)、策略更易(yi)擴(kuo)展，并结合实際(ji)业务場(chang)景(jing)，深层优化了通讯協(xie)議(yi)。优化项包(bao)括(kuo)：

·业务调度：基于任(ren)务特(te)点进行了隊(dui)列的拆(chai)分，在同一队列下再(zai)结合优先(xian)级、项目(mu)、租(zu)户、任务数、任务配(pei)置等进行綜(zong)合打(da)分，從(cong)而判(pan)斷(duan)队列分发的順(shun)序(xu)。

·资源调度：基于節(jie)点并发数及负载程(cheng)度进行即时的精(jing)准调度，大(da)大提升任务執(zhi)行的效率(lv)，实现负载均衡(heng)。

·调度通讯框架：对通讯协议以及包的大小(xiao)、发送(song)、接(jie)收(shou)策略等多(duo)维度进行了深度优化，整(zheng)体通讯性能提升了30%以上。

2.应用100%支持高可用

DataSimba R4.9内所(suo)有业务应用及中(zhong)間(jian)件(jian)，均支持自動(dong)化的故障恢(hui)复与容(rong)錯(cuo)实现。在出现故障、失(shi)效等问题时，系统將(jiang)繼(ji)續(xu)正(zheng)常运行并提供(gong)服务。

·所有的业务应用都基于Kubernetes管理，同时支持多实例(li)集(ji)群(qun)部(bu)署(shu)。

·包括Redis、Kafka、K3s、Nacos等在内的所有中间件均支持高可用部署，业务代(dai)碼(ma)已全部适配完(wan)成。針(zhen)对部分中间件，我们也已完成版本升级，來(lai)进一步提升組(zu)件的可靠性和安全性。

3.全方位監(jian)控告(gao)警

监控告警是(shi)稳定性重(zhong)要的一環(huan)，方便事(shi)中事后快速发现与定位问题。DataSimba R4.9从业务、应用、中间件、服务器(qi)等多个维度，实现了监控告警全覆(fu)蓋(gai)。

·针对业务異(yi)常，依(yi)托(tuo)自研(yan)的实时告警系统，基于业务指标采(cai)集和规則(ze)配置，可通過(guo)郵(you)件、短(duan)信(xin)、釘(ding)钉等多渠(qu)道(dao)监控告警。

·针对运维异常，采用现有成熟(shu)的告警平台，对Java虛(xu)擬(ni)機(ji)、線(xian)程池(chi)、内存、CPU、磁(ci)盤(pan)、網(wang)絡(luo)等多维度实现全方位的监控与告警。

4.引擎核(he)心(xin)组件全量(liang)壓(ya)測(ce)

在DataSimba底层，数据存算引擎DataKun也要足够稳定。

在本輪(lun)更新，数据存算引擎DataKun的核心组件完成全量压测，包括YARN、HDFS、Hive、Spark等在内的所有核心组件稳定性及性能均得(de)到了充(chong)分驗(yan)證(zheng)。

压测基于DataSimba标准版的配置进行（专业版、旗(qi)艦(jian)版性能比(bi)标准版更高）。我们采用單(dan)压、混(hun)压的方式(shi)对DataSimba做(zuo)假(jia)設(she)性压测与功能验证。并结合压测结果数据，对组件进行配置调优，进一步提升集群的整体吞(tun)吐(tu)能力(li)。

5.系统破(po)壞(huai)性测試(shi)

为了保障系统在極(ji)端(duan)场景下的可用性，DataSimbaR4.9做了比R3时期更为嚴(yan)格(ge)的破坏性测试。

所謂(wei)破坏性测试，簡(jian)单来說(shuo)就(jiu)是當(dang)面对异常、组件不可用等情况时，系统能否(fou)“稳住(zhu)”，给出正確(que)反馈——事实上，破坏性测试不僅(jin)會(hui)考(kao)察(cha)系统的监控告警能力，更考察系统自愈(yu)的能力及数据狀(zhuang)態(tai)的一致(zhi)性。

在完成应用破坏、中间件破坏、DataKun组件破坏等等多个场景的破坏性测试后，我们在本轮更新做了如下优化：

·优化监控告警机制(zhi)，出现组件异常时立即觸(chu)发通知(zhi)；

·优化前端提示，出现故障时直(zhi)觀(guan)展现報(bao)错，便于用户定位问题；

·增(zeng)加重试策略，当组件恢复后系统可以自愈运行，减少人工幹(gan)预；

·叠(die)代任务巡(xun)檢(jian)机制，在极端情况下也能保障任务状态的一致性。

功能上新，从容应对复杂场景

相较于上一个LTS版本（R3.8），DataSimba R4.9 LTS共(gong)上新142项新功能，优化了113项功能，提供了32项问题的修(xiu)复補(bu)丁(ding)，并基于用户研究(jiu)进一步迭代了交(jiao)互(hu)设計(ji)。

篇(pian)幅(fu)所限(xian)，本文仅简单介(jie)紹(shao)其(qi)中3项亮(liang)点功能，更詳(xiang)盡(jin)的Release Notes可以向(xiang)您(nin)的客户成功經(jing)理、产品技(ji)術(shu)顧(gu)问了解。

支持多租户，既(ji)安全又(you)集約(yue)

DataSimba R4.9支持多租户，用户可以在DataSimba的一个工作空(kong)间（Workspace）裏(li)，为多个團(tuan)队开设租户（Account），提供相互独立的空间，实现资源隔(ge)离。

基于多租户体系，企业的数据团队将以“平台”身(shen)份(fen)服务更多部門(men)，合理优化资源利(li)用，而不再出现多团队互搶(qiang)资源的情况，也免(mian)去(qu)了各(ge)团队自行运管数据基礎(chu)设施(shi)的煩(fan)惱(nao)。

为匹(pi)配多租户体系，我们采用了雙(shuang)层身份認(ren)证、双层權(quan)限校(xiao)验、双层存儲(chu)加密(mi)，来保证租户资源的强邏(luo)輯(ji)隔离与数据安全。同时，通过动态的权限管控，DataSimba R4.9支持租户间数据安全共享(xiang)，而無(wu)需数据遷(qian)移(yi)成本。

Task/Job双层混合调度，提高执行效率及资源利用率

DataSimba R4.9采用Task/Job双层混合调度，任务（Task）与作业（Job）级別(bie)调度互相配合，以完成任务调度及资源分配。

其中，任务（Task）负责決(jue)定任务在可用资源上的调度顺序，控制任务的调度周(zhou)期；作业（Job）则通过与Quota（空间域里的其中一个对象(xiang)）配合，完成底层资源的调度与优化。

在双层混合调度体系中，我们加入(ru)了“潮(chao)汐(xi)车道”等调度策略，可由(you)企业用户按(an)需選(xuan)擇(ze)。例如，可以周期性调整资源，来平衡高峰(feng)期、低(di)峰期资源的分配利用，也可以预留(liu)一定资源，确保高优先级任务完成。

配置圖(tu)引擎，支持图数据處(chu)理与图算法(fa)优化

DataSimba R4.9配置了图引擎（Graph Engine），支持用户通过DataSimba存储、管理、分析(xi)大规模的图数据，开发交互式的图计算作业，以及处理复杂的图算法。

以OneID场景为例，基于奇点云自研的“大规模多引擎混合调度技术”，我们采用了“流(liu)批(pi)图一体”架构——结合实时计算、离线计算、图计算三(san)種(zhong)引擎的能力，批处理的图计算结果对流计算的结果进行修正，再以API的方式对外(wai)（例如对分析云产品）提供服务。

业内独家(jia)的技术架构让奇点云全域OneID方案(an)在计算性能、复杂场景计算及可解釋(shi)性上均具优勢(shi)。其中，图计算的高效图遍(bian)歷(li)和關(guan)聯(lian)操作能力有效提高了海(hai)量多端用户融(rong)合分析的准确性。

架构升级，让数据模型与应用构建更简单

DataSimba R4与R3系列在架构上有极大不同。DataSimba R4.9（包括自R4.0以来的所有产品版本）在架构上分为3层，自上而下分别为：

- Simba Toolkits（数据服务工具箱）：包含(han)SimbaMetric（指标工厂）、SimbaTag（标签工厂）等多种效率工具，内置科(ke)學(xue)的数据工程方法論(lun)，幫(bang)助(zhu)数据工程師(shi)提升数据资产研发效率。

- Simba IDE（数据云集成开发环境(jing)）：提供离线同步、实时同步、监控告警、资产地图等功能，滿(man)足从数据集成到开发、运维及服务等全链路场景。

- Simba OS（云数倉(cang)内核）：根(gen)据“资源抽(chou)象，接口(kou)统一”的原则，将一系列复杂的业务对象抽象为7个域、32个对象，向上支持数据业务。例如，“分级多域”、“多租户”业务数据逻辑隔离能力的实现，就得益(yi)于空间域中的工作空间对象、项目对象和项目成員(yuan)对象；又如，要实现一个去中心化的DAG任务调度中间层及调度实例化，则需要利用任务域中的作业对象、任务对象和实例对象。

基于全新的架构，DataSimba以Simba OS为核心向下封装多引擎、多依賴(lai)、多云、海量多源异构数据等帶(dai)来的复杂性，并基于统一的平台，向上（应用层）以API的方式提供标准能力，帮助用户简化数据模型/应用的研发过程。

伴(ban)隨(sui)架构升级，整体后端服务资源消(xiao)耗(hao)更少、分配更合理，一套(tao)新环境所需的最低服务资源也进一步得到削(xue)减。

为什(shen)麽(me)要升级架构？

越(yue)来越多企业客户正在走(zou)向数字(zi)化深水(shui)區(qu)，数据模型、数据应用建设的需求也越来越高頻(pin)。DT部门需要从原本“接需求”的角(jiao)色(se)向“平台”角色轉(zhuan)型，向各个组織(zhi)单元(yuan)提供数据能力，适应不同业务对数据使用的要求。

如果不解耦(ou)底层建设与数据业务、抽象底层能力，不仅難(nan)以快速响应高频的需求，重复造(zao)轮子(zi)，出现煙(yan)囪(cong)式建设，数据系统也会伴随企业使用而不断“加重”，扩展能力和技术升级受(shou)限。

因(yin)此奇点云基于对数据全链路各环节的理解，及过去多年(nian)实踐(jian)的幾(ji)百(bai)个项目，抽象出了7个域共32个对象。详尽准确的对象加上对象之间的关联关系，构成了Simba OS。Simba OS以简单、标准的RESTful API对外提供能力，从而解耦复杂的底层体系与多變(bian)的上层业务，来应对不同环境、不同数据业务场景的需求。

地雷介绍，对象的屬(shu)性和行为可以被(bei)继承(cheng)、更新、扩展及复用。每当需要支持一种新的数据业务场景，DataSimba的用户都可以像(xiang)拼(pin)樂(le)高積(ji)木(mu)一样，基于Simba OS快速搭建数据模型/应用，而规避底层重复建设、定義(yi)不一致、大数据引擎及IaaS对接难度高等问题。

“其实，我们的指标工厂SimbaMetric、标签工厂SimbaTag、数据安全引擎DataBlack就是基于Simba OS‘搭建’出来的，与DataSimba体系天(tian)然(ran)打通，且(qie)能同步享受DataSimba底层所有的能力升级。”

目前，DataSimbaR4系列已在数十(shi)家企业级客户得到使用，其中不乏(fa)客户数据团队基于Simba OS自建数据应用的案例。

期待(dai)成为您的理想(xiang)选择！返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

责任編(bian)辑：