用无代码搭建数据中台,竟做到如此丝滑_数据中台代码-程序员宅基地

技术标签: 人工智能  其他领域  无代码开发  低代码  

需求背景

企业飞速发展,各个业务部门快速扩张,企业数字化建设变得越来越重要。而开发一个一体化的数据资产管理平台、或者说数据中台系统,变得不可或缺。
业务快速发展对企业带来的数据安全匮乏,数据治理成本高,数据口径难统一,数据质量问题多等一系列问题,也随着引入数据中台系统,变得迎刃而解。
因为传统的数据中台又重又难用,使用成本高、开发运维成本也高,使用率低、价值不明显。而一个能够跟随自身业务管理灵活变更的轻量级数据中台,则具有更大优势。

系统介绍

要说数据中台用无代码平台构建可能大多数人不信,但smardaten确实有一点不容忽视,就是这个开发平台本身远远不止无代码开发。
smardaten是一个以数据驱动的无代码平台,平台的前身就是大数据平台。现在把数据能力作为平台底层核心能力,包含了大多常见的数据处理能力。
smardaten主要满足行业级复杂应用的开发,而不是通常的轻量级开发,由于自带大数据底座,数据层面可以减少大量的数据集成、数据清洗、数据治理、接口管理等开发工作,大大减少了业务系统的开发难度和设计难度。
所以如果要构建数据资产管理、数据中台、数据集成处理平台等,几乎可以直接用他们工具,也可以通过无代码构建的方式新增应用场景。

本次我们做一个数据中台的搭建就使用了无代码平台smardaten。
交付要求:6大数据模块、兼顾数据资产,数据服务,数据安全,数据集成,数据标准,质量报告等。

配置说明

因为数据中台中有很多模块是平台自带的,看下数据部分功能架构如图所示,功能比较齐全,满足大多数数据管理场景。

在smardaten界面中,以上数据部分主要功能模块位置大概是这样的。

数据服务界面是这样的,包含内外部服务、服务目录管理和服务内容编排。

而当你通过无代码重新组装后,可能就变成了这样。通过添加业务流和逻辑最后支持将数据服务【上架】。

所以总的来看,以上显示的功能基本上页面都是现成的,在数据中台组装构建时,需要什么功能就直接导入该页面,将其作为组件直接引用。剩下的功能需求(如表单、流程、仪表盘等)通过其他功能组件快速拖拽、组装即可,全程丝滑体验!

下面简单演示下如何引用数据模块和配置新增界面。

1 菜单导航

(1)首先我们通过平台首页上的创建应用,来新建一个空白的应用模板,后续的所有页面,都将在这个模板中一一实现。

创建应用
(2)然后,我们使用的一键生成导航栏功能。也就是把一二级功能模块按照思维导图的方式记下来,然后一键生成导航菜单。

一键生成导航栏

绘出导航栏具体样式

保存并生成对应页面
通过框架设计,我们将整个数据中台系统,拆分成了六个大模块,数据资产,数据集成,数据服务,数据标准,数据标准和数据安全。并通过此功能,导航栏就已经自动生成了。
当然也可以通过导航菜单一个个添加多级功能菜单。就像这样。

2 系统自带组件导入页面

(1)数据集成相关组件

数据服务部分的组件,直接可用的包括【数据流】、【数据流编辑】和【调度监控】。其他隐含的系统组件的需要通过【系统组件】添加隐藏的组件路径(常用组件路径需要在平台付费获取)。


数据处理在平台中又叫做数据流,选择自带的【数据流】组件,可调用数据交换机主界面, 包括数据处理任务分类、数据流列表和控制流列表。

而具体的数据处理界面、也是数据集成的核心页面,添加【数据流编辑】组件,通过此功能完成数据采集、交换等任务。

(2)数据服务相关组件

数据服务部分的组件,直接可用的包括【服务搜索】、【服务主题】、【服务部门】和【服务管理】。其他隐含的系统组件的需要通过【系统组件】添加隐藏的组件路径(常用组件路径需要在平台付费获取)。

(3)数据资产管理相关组件
数据资产管理包括数据模型、数据源、数据关联关系、血缘关系、数据标签等页面组件,可完成多种形式功能组装、实现数据资产管理。

3 由系统组件路径添加页面

除了已预置的功能组件,其他很多页面没有预置为组件,可以通过【系统组件】来添加隐藏的组件路径(常用组件路径需要在平台找到页面并复制路径)。

(1)数据资产管理

数据资产管理在平台中作为基础、且核心的能力,包含在平台多个模块中。包括数据源、数据连接器、数据图书馆等。
例如添加【系统组件】、嵌入数据源组件路径。

(2)数据标准管理

平台中数据标准包括字典标准和标准目录管理等。
例如添加【系统组件】、嵌入标准目录组件路径。

(3)数据质量管理

数据质量可将资产中的指定字段,根据数据质量标准规则进行记录处理和输出。

  • 例如添加【系统组件】、嵌入数据质量稽核配置组件路径。

  • 例如添加【系统组件】、嵌入数据质量监控组件路径。

  • 例如添加【系统组件】、嵌入数据质量稽核配置组件路径。

(4)数据安全管理

smardaten提供了多种数据加密方式,数据模糊化,AES128,AES192等,管理员可以通过此功能对密码进行加密,并设置秘钥有效时间,加强数据访问和操作的安全性。同时我们也可以自己设定数据的安全级别,来区分不同数据的重要程度。

  • 例如添加【系统组件】、嵌入数据安全密钥管理组件路径。可以设置密钥类型、有效时间等,加强数据访问和操作的安全性

4、自定义配置页面和业务流

除了平台自带的组件页面和隐藏的功能页面,剩下的功能需求(如表单、流程、仪表盘等)通过其他无代码功能快速拖拽、组装即可,可以完成比较复杂的业务逻辑和交互。下面简单介绍几个与数据资产管理相关的页面配置流程。

(1)数据资产管理

左边菜单栏点击新增、增加目录节点,在目录下增加数据对象:

新增数据源,并选择数据库类型:
实现数据目录管理页面:

输入响应地址和参数名称,点击确定跳转资产配置

在目录下绑定id字段

完成提交并保存,这样数据资产就配置完毕了。

(2)数据服务申请

在数据服务部分需要查看每个用户个人的申请信息。这个需要自定义创建页面,主要是构建申请表单、配置列表查看信息,用户可以查看不同目录下面的数据共享,可以提出订阅。
申请字段包括资源名称、申请类型、表单ID、视图ID、审核状态等。

填报组件包括选择、文本、字典数据等多种方式,例如申请类型根据服务情况,设置为2种申请类型:接口申请和授权申请。

设置三种审核状态,已审核、待审批、已驳回等。这里的3个审核状态需要匹配当前表单的业务流审批状态。

完全依靠拖拉拽完成业务流程设计。

表单配置完成后,当前申请信息在列表中的显示字段,直接勾选已有的所有字段,并选择展示顺序。

(3)元数据录入

配置一个多字段的元数据录入,

支持对上报的元数据进行提交审核,只需配置相关业务逻辑按钮。

(4)数据资产大屏

通过数据分析和可视化大屏,可以配置数据资产大屏,展示各类数据资产情况、数据标准管理成功、数据服务调用次数等。

使用体验

通过搭建数据中台系统,数据中台相对来说是数据处理要求比较高的应用,对业务逻辑也比较复杂,好在平台已基本具备主要功能模块直接使用,大大减少了上手难度,对于大多数人来说,只需当做数据资产管理工具直接上手即可。
在一些复杂场景的实现上平台提供了完善的学习地图,视频讲解,和案例展示。对一些没有代码经验的小白十分友好。不用担心不会使用,所有初学者都能快速上手。同时还可以实现多人协助配置,让开发交付效率倍增。
smardaten兼具无代码构建、低代码开放集成、智能BI、数据中台等多元化能力,能够打造多行业、复杂的数字化应用,帮助客户轻松实现多种数字化需求。
官网地址https://S3.smardaten.com/


在这里插入图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_63947499/article/details/132992934

智能推荐

解决win10/win8/8.1 64位操作系统MT65xx preloader线刷驱动无法安装_mt65驱动-程序员宅基地

文章浏览阅读1.3w次。转载自 http://www.miui.com/thread-2003672-1-1.html 当手机在刷错包或者误修改删除系统文件后会出现无法开机或者是移动定制(联通合约机)版想刷标准版,这时就会用到线刷,首先就是安装线刷驱动。 在XP和win7上线刷是比较方便的,用那个驱动自动安装版,直接就可以安装好,完成线刷。不过现在也有好多机友换成了win8/8.1系统,再使用这个_mt65驱动

SonarQube简介及客户端集成_sonar的客户端区别-程序员宅基地

文章浏览阅读1k次。SonarQube是一个代码质量管理平台,可以扫描监测代码并给出质量评价及修改建议,通过插件机制支持25+中开发语言,可以很容易与gradle\maven\jenkins等工具进行集成,是非常流行的代码质量管控平台。通CheckStyle、findbugs等工具定位不同,SonarQube定位于平台,有完善的管理机制及强大的管理页面,并通过插件支持checkstyle及findbugs等既有的流..._sonar的客户端区别

元学习系列(六):神经图灵机详细分析_神经图灵机方法改进-程序员宅基地

文章浏览阅读3.4k次,点赞2次,收藏27次。神经图灵机是LSTM、GRU的改进版本,本质上依然包含一个外部记忆结构、可对记忆进行读写操作,主要针对读写操作进行了改进,或者说提出了一种新的读写操作思路。神经图灵机之所以叫这个名字是因为它通过深度学习模型模拟了图灵机,但是我觉得如果先去介绍图灵机的概念,就会搞得很混乱,所以这里主要从神经图灵机改进了LSTM的哪些方面入手进行讲解,同时,由于模型的结构比较复杂,为了让思路更清晰,这次也会分开几..._神经图灵机方法改进

【机器学习】机器学习模型迭代方法(Python)-程序员宅基地

文章浏览阅读2.8k次。一、模型迭代方法机器学习模型在实际应用的场景,通常要根据新增的数据下进行模型的迭代,常见的模型迭代方法有以下几种:1、全量数据重新训练一个模型,直接合并历史训练数据与新增的数据,模型直接离线学习全量数据,学习得到一个全新的模型。优缺点:这也是实际最为常见的模型迭代方式,通常模型效果也是最好的,但这样模型迭代比较耗时,资源耗费比较多,实时性较差,特别是在大数据场景更为困难;2、模型融合的方法,将旧模..._模型迭代

base64图片打成Zip包上传,以及服务端解压的简单实现_base64可以装换zip吗-程序员宅基地

文章浏览阅读2.3k次。1、前言上传图片一般采用异步上传的方式,但是异步上传带来不好的地方,就如果图片有改变或者删除,图片服务器端就会造成浪费。所以有时候就会和参数同步提交。笔者喜欢base64图片一起上传,但是图片过多时就会出现数据丢失等异常。因为tomcat的post请求默认是2M的长度限制。2、解决办法有两种:① 修改tomcat的servel.xml的配置文件,设置 maxPostSize=..._base64可以装换zip吗

Opencv自然场景文本识别系统(源码&教程)_opencv自然场景实时识别文字-程序员宅基地

文章浏览阅读1k次,点赞17次,收藏22次。Opencv自然场景文本识别系统(源码&教程)_opencv自然场景实时识别文字

随便推点

ESXi 快速复制虚拟机脚本_exsi6.7快速克隆centos-程序员宅基地

文章浏览阅读1.3k次。拷贝虚拟机文件时间比较长,因为虚拟机 flat 文件很大,所以要等。脚本完成后,以复制虚拟机文件夹。将以下脚本内容写入文件。_exsi6.7快速克隆centos

好友推荐—基于关系的java和spark代码实现_本关任务:使用 spark core 知识完成 " 好友推荐 " 的程序。-程序员宅基地

文章浏览阅读2k次。本文主要实现基于二度好友的推荐。数学公式参考于:http://blog.csdn.net/qq_14950717/article/details/52197565测试数据为自己随手画的关系图把图片整理成文本信息如下:a b c d e f yb c a f gc a b dd c a e h q re f h d af e a b gg h f bh e g i di j m n ..._本关任务:使用 spark core 知识完成 " 好友推荐 " 的程序。

南京大学-高级程序设计复习总结_南京大学高级程序设计-程序员宅基地

文章浏览阅读367次。南京大学高级程序设计期末复习总结,c++面向对象编程_南京大学高级程序设计

4.朴素贝叶斯分类器实现-matlab_朴素贝叶斯 matlab训练和测试输出-程序员宅基地

文章浏览阅读3.1k次,点赞2次,收藏12次。实现朴素贝叶斯分类器,并且根据李航《统计机器学习》第四章提供的数据训练与测试,结果与书中一致分别实现了朴素贝叶斯以及带有laplace平滑的朴素贝叶斯%书中例题实现朴素贝叶斯%特征1的取值集合A1=[1;2;3];%特征2的取值集合A2=[4;5;6];%S M LAValues={A1;A2};%Y的取值集合YValue=[-1;1];%数据集和T=[ 1,4,-1;..._朴素贝叶斯 matlab训练和测试输出

Markdown 文本换行_markdowntext 换行-程序员宅基地

文章浏览阅读1.6k次。Markdown 文本换行_markdowntext 换行

错误:0xC0000022 在运行 Microsoft Windows 非核心版本的计算机上,运行”slui.exe 0x2a 0xC0000022″以显示错误文本_错误: 0xc0000022 在运行 microsoft windows 非核心版本的计算机上,运行-程序员宅基地

文章浏览阅读6.7w次,点赞2次,收藏37次。win10 2016长期服务版激活错误解决方法:打开“注册表编辑器”;(Windows + R然后输入Regedit)修改SkipRearm的值为1:(在HKEY_LOCAL_MACHINE–》SOFTWARE–》Microsoft–》Windows NT–》CurrentVersion–》SoftwareProtectionPlatform里面,将SkipRearm的值修改为1)重..._错误: 0xc0000022 在运行 microsoft windows 非核心版本的计算机上,运行“slui.ex