技术标签: python 可视化 java 数据可视化 大数据
几个月前开源的H5页面制作平台H5-Dooring 收到了很多热心的反馈和交流, 顺着笔者之前的规划, 我们又做了一款可视化大屏编辑器V6.Dooring. 接下来笔者就来带大家一起看看我们的方案设计和技术实现.
可视化大屏产品设计思路
主流可视化图表库技术选型
大屏编辑器设计思路
大屏可视化编辑器Schema设计
用户数据自治探索
在介绍之前, 我们先看看实现的效果展示.
目前很多企业或多或少的面临“信息孤岛”问题,各个系统平台之间的数据无法实现互通共享,难以实现一体化的数据分析和实时呈现。
相比于传统手工定制的图表与数据仪表盘,可视化大屏制作平台的出现,可以打破抵消的定制开发, 数据分散的问题,通过数据采集、清洗、分析到直观实时的数据可视化展现,能够多方位、多角度、全景展现各项指标,实时监控,动态一目了然。
针对以上需求, 我们设计了一套可视化大屏解决方案, 具体包含如下几点:
上图是笔者4个月前设计的基本草图, 后期会持续更新. 通过以上的设计分解, 我们基本可以搭建一个可自己定制的数据大屏.
目前笔者调研的已知主流可视化库有:
echart 一个基于 JavaScript 的老牌开源可视化图表库
D3.js 一个数据驱动的可视化库, 可以不需要其他任何框架独立运行在现代浏览器中,它结合强大的可视化组件来驱动 DOM 操作
antv 包含一套完整的可视化组件体系
Chart.js 基于 HTML5 的 简单易用的 JavaScript 图表库
metrics-graphics 建立在D3之上的可视化库, 针对可视化和布置时间序列数据进行了优化
C3.js 通过包装构造整个图表所需的代码,使生成基于D3的图表变得容易
我们使用以上任何一个库都可以实现我们的可视化大屏搭建的需求, 各位可以根据喜好来选择.
在上面的分析中我们知道一个大屏编辑器需要有个编辑器核心, 主要包含以下部分:
组件库
拖拽(自由拖拽, 参考线, 自动提示)
画布渲染器
属性编辑器
如下图所示:
组件库我们可以用任何组件封装方式(react/vue等), 这里沿用H5-Dooring的可视化组件设计方式, 对组件模型进行优化和设计.
类似的代码如下:
import { Chart } from '@antv/f2';
import React, { memo, useEffect, useRef } from 'react';
import styles from './index.less';
import { IChartConfig } from './schema';
const XChart = (props:IChartConfig) => {
const { data, color, size, paddingTop, title } = props;
const chartRef = useRef(null);
useEffect(() => {
const chart = new Chart({
el: chartRef.current || undefined,
pixelRatio: window.devicePixelRatio, // 指定分辨率
});
// step 2: 处理数据
const dataX = data.map(item => ({ ...item, value: Number(item.value) }));
// Step 2: 载入数据源
chart.source(dataX);
// Step 3:创建图形语法,绘制柱状图,由 genre 和 sold 两个属性决定图形位置,genre 映射至 x 轴,sold 映射至 y 轴
chart
.interval()
.position('name*value')
.color('name');
// Step 4: 渲染图表
chart.render();
}, [data]);
return (
<div className={styles.chartWrap}>
<div className={styles.chartTitle} style={
{ color, fontSize: size, paddingTop }}>
{title}
</div>
<canvas ref={chartRef}></canvas>
</div>
);
};
export default memo(XChart);
以上只是一个简单的例子, 更具业务需求的复杂度我们往往会做更多的控制, 比如动画(animation), 事件(event), 数据获取(data inject)等.
组件拖拽可以采用市面已有的Dragable
等插件, 也可以采用H5-Dooring的智能网格拖拽. 这里笔者选择自由拖拽来实现. 已有的有:
rc-drag
sortablejs
react-dnd
react-dragable
vue-dragable
等等. 具体拖拽呈现流程如下:
具体拖拽流程就是:
使用H5 dragable API拖拽左侧组件(component data)进入目标容器(targetBox)
监听拖拽结束事件拿到拖拽事件传递的data
来渲染真实的可视化组件
可视化组件挂载, schema
注入编辑面板, 编辑面板渲染组件属性编辑器
拖拽, 属性修改, 更新
预览, 发布
组件的schema
参考Dooring DSL设计
目前我们实现的搭建平台可以静态的设计数据源, 也可以注入第三方接口, 如下:
我们可以调用内部接口来实时获取数据, 这块在可视化监控平台用的场景比较多, 方式如下:
参数(params
)编辑区可以自定义接口参数. 代码编辑器笔者这里推荐两款, 大家可以选用:
react-monaco-editor
react-codemirror2
使用以上之一可以实现mini
版vscode
, 大家也可以尝试一下.
可视化大屏一键截图 一键截图功能还是沿用H5-Dooring 的快捷截图方案, 主要用于对大屏的分享, 海报制作等需求, 我们可以使用以下任何一个组件实现:
dom-to-image
html2canvas
撤销重做
撤销重做功能我们可以使用已有的库比如react-undo
, 也可以自己实现, 实现原理:
有点链表的意思, 我们将每一个状态存储到数组中, 通过指针来实现撤销重做的功能, 如果要想更健壮一点, 我们可以设计一套“状态淘汰机制”, 设置可保留的最大状态数, 之前的自动淘汰(删除, 更高大上一点的叫出栈). 这样可以避免复杂操作中的大量状态存储, 节约浏览器内存.
标尺参考线 标尺和参考线这里我们自己实现, 通过动态dom渲染来实现参考线在缩放后的动态收缩, 实现方案核心如下:
arr.forEach(el => {
let dom = [...Array.from(el.querySelectorAll('.calibrationNumber'))][0] as HTMLElement;
if (dom) {
dom.style.transform = `translate3d(-4px, -8px, 0px) scale(${(multiple + 0.1).toFixed(
1,
)})`;
}
});
详细源码可参考: H5-Dooring | 参考线设计源码
最近我们的主要方向是H5-Dooring编辑器2.0的开发和可视化大屏搭建平台的升级和优化, 后面会出线上版demo, 欢迎大家把玩.
3D可视化组件设计方案
数据可视化监控平台设计
可视化大屏的数据治理和实时数据呈现
H5-Dooring 2.0版本技术分享
点个在看你最好看
有一个叫控制反转(Inversion of Control,缩写IoC ) 的东西 ,这个对于计算机的人应该是不陌生的概念,就算你不知道那个Bob大叔。这个概念简单说的是下面这样的事情原本各个类之间的关系乱七八糟的,看起来头都晕了。 他们就像齿轮一样,相互咬合依赖。 如果有一个出问题,那可能整个就崩溃了。但是,如果有一个人出来承担大事,负责协调各个类的话! 那么,他们的关系就可以是像下面图片这
使用Unity5.0 有一段时间了,直到最近才发现IL2CPP,不是很明白它是干什么的,因为用了iTextSharp去生成PDF文件在iOS设备上,必须在Build成为Xcode工程的时候从Mono2.0切换到IL2CPP,否则iTextSharp会导致App在iOS设备上崩溃,没时间纠结为什么,就切换了。但是在发布ipa的时候,发现ipa的size比以前使用Mono2.0多了近乎一半。于是测
假设两个摄像头平行固定,所拍摄的图像视差很小,可以通过“柱面投影+模板匹配+渐入渐出融合”的解决方案实现视频拼接。这种视频拼接的方法仅仅是使用模板匹配的方法,划定一个需要匹配的区域,然后水平和垂直方向查找相同的区域,然后对两张图片进行融合。本文相机拼接的程序只是使用前3帧图像进行拼接,后面通过前三帧的匹配地方进行机械的拼接。#include "opencv2/core/core.hpp"#include "opencv2/highgui/highgui.hpp"#include "opencv.
类 速度 多线程安全性 适用方面Vector 慢 安全 提供了线程序同 步,在多线程是安全的.ArrayList 快 不安全 多线程不安全二者各有特点,要看你怎么取舍.日常编码的时候,一般都是单线程程序,采用arraylist较好.在涉及到网络编程.进程合作的时候,多线程共享变量的时候,采用vecto
目前党员一共有7千多万。非常庞大的人群。 程序员 总人口不知道有多少。估计100万差不多了。(要刨除掉假程序员)。据说O型血当程序员的人居多。AB血好奇心强也适合当程序员。具体数字就无法统计。 又是程序员也是党员的程序员就更少了。估计现在做程序员的大学里都不爱学习(此为不争事实,当然传说中的高手除外),我认识一朋友就是传说中的党员程序员。大学里连续4年1等奖学金,大1就入党了。
如果要import不在同一个路径下的module,则需要先把这个module的路径添加进来,示例: import try文件夹下的module fun 代码:from sys import pathpath.append(r'D:\python_code\try') #将存放module的路径添加进来import fun #引入模块
缓存指的是将需要频繁访问的网络内容存放在离用户较近、访问速度更快的系统中,以提高内容访问速度的一种技术。服务器缓存工作原理大纲如下:缓存模式 缓存淘汰 缓存击穿 缓存穿透 缓存雪崩缓存模式比较常见的模式有分为两大类: Cache-aside 以及 Cache-as-SoR。其中 Cache-as-SoR(System of Record, 即直接存储数据的DB) 又包括 Read-through、...
leetcode刷题之第一题:两数之和题目:给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,你不能重复利用这个数组中同样的元素。示例给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以...
超分辨率技术(Super-Resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SRCNN是深度学习用在超分辨率重建上的开山之作(Image Super-Resolution Using Deep Convolutional Networks),SRCNN的网络结构非常简单,仅仅用了三个卷积层,网络结构如下图所示。SRCNN首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸,接着通过三层卷积网.
一、IT行业岗位分类: IT行业的岗位大概分为研发类、市场类、技术支持类、生产类、管理类,到招聘会时,可以按照这个分类问问面试官:你们这个职务,是研发职务还是生产职务,可能某些小公司的面试官会被你问住。 1、研发类岗位包括软件研发和硬件研发,在一个公司里面完成项目开发,或者定制产品,一般说来,软件研发基本上就算产品的设计者和制造者,硬件研发,只能算设计者。因为后面还有生产环节。 ...
简介 &nbsp;&nbsp;&nbsp;&nbsp;本篇博客大部分内容前三篇博客都已经包含了,此处重点叙述不同之处,主要对比Tcl命令的不同和解决SDSoc程序找不到基地址的问题。 &nbsp;&nbsp;&nbsp;&nbsp;使用ZedBoard开发板,SDSoc 2017.4, Win10系统;此处通过AXI_GPIO点亮ZedBoard板子上连接在PL端的8个LED灯。 Tcl命令...
前言刚开始玩织女星开发板的时候,想先从熟悉的ARM核入手,连上Jlink,打开MDK版本的Demo程序,编译OK,却检测不到芯片,仔细看了一下文档,原来RV32M1芯片默认从RISC-V核启动,如果想要调试下载ARM核程序,需要切换为ARM核启动,然后按照文档操作步骤,完成了启动模式的修改,现在分享给大家。RV32M1芯片内核简介织女星开发板主控芯片RV32M1,片上集成了四个核。两个RISC-V...