技术标签: DeepLearning
作者简介:杨涛,广发证券交易云技术研发团队负责人,资深架构师,在证券行业有超过9年的工作经验。目前致力于广发证券OpenTrading证券交易云核心技术研发。
责编:魏伟,本文转载自《程序员》,谢绝转载,更多技术文章,请订阅《程序员》,欢迎投稿,邮箱[email protected]
证券行业已经走在“互联网+”的前列。一是证券行业的用户服务手段已经高度互联网化,截至2014年底,我国证券行业网上交易量占比已经超过90%;二是互联网证券试点工作取得了积极成果,截至2015年5月,已有55家证券公司开展互联网证券业务试点,在证券支付体系、账户体系、移动应用、跨界合作等方面进行了有益探索,互联网对于证券行业的影响正在持续扩大;三是证券行业互联网化基础设施建设取得显著成效,机构间私募产品报价与服务系统、场外证券业务清算机构、场外证券业务备案系统、证券行业支付体系、证券行业云平台、征信体系、证联网等基础设施的筹建和使用,为证券行业的互联网化奠定了发展基础。
2014年可谓证券行业的“互联网化元年”,作为证券行业互联网化的先行者,广发证券通过一系列变革积累了丰富的创新经验。当前,证券行业创新转型进程不断加快,互联网金融的迅速崛起更是加剧了行业竞争和洗牌,也为有实力的券商做大做强提供了历史机遇。作为植根广东的知名证券公司,广发证券始终坚持“创新驱动、转型发展”,围绕券商基础功能建设加快组织创新、业务创新和产品创新,努力打造核心竞争力,也为行业提供了值得借鉴的创新模板。
我们的平台逻辑层次上分为四层结构,分别为:接入控制层、业务前置层、交易总线层、虚拟化/容器化层。每一层我们在技术上都采用基于异步高性能消息流水线的体系结构。平台在架构上支持多开发语言接入,所用的开发语言包括Java、Go、Nodejs、Lua、C++等。
我们从2013年左右开始研究docker的,生产环境从最初的docker-1.3.2用到目前docker-1.10.0,一直在不断增加基于docker的部署。2014年开始尝试在生产环境使用docker,2015年开始大规模使用。
目前我们生产环境使用的docker实例个数:
行情云:超过4000个实例,分布在6个IDC机房。目前承载实时并发超过30万,整个行情云每秒的吞吐在1.5Gbps左右, 目前服务客户超过200万。
交易云:超过300个实例,主要分布在广州同城中心交易机房。目前承载客户DMA接入,每天的交易请求数在100万以上,每日交易额平均在8亿左右,最高的峰值超过30亿。
对传统的垂直行业来讲,Docker也是最近几年才出来的技术,技术理念非常先进,因此采用Docker容器化技术对我们而言需要综合的评估,但是我们为什么要去做呢?首先,从行业现状来说,证券行业一方面量化交易、高频交易、实时风控要求高,其次,行业创新非常多,创新业务也很频繁,另外,监管方面,证监会证监局对我们要求交易事故零容忍,当然,最近几年互联网金融发展非常快,众筹、P2P非常多,再次,天量行情,2014年底到去年,最高一天有两万亿的市场行情,这样的话对我们整个交易系统是非常大的挑战。
我们在业务发展过程中一直团绕我们的就是怎样利用有限的资源去支撑业务创新,真正做到IT引领业务;另一方面,我们和其他大型的互联网公司在资源方面是没有办法比的,所以怎样利用有限的资源支撑业务创新,这些都是我们要考虑的事情。
在使用容器化技术之前,我们遇到一些比较典型的痛点:
容器化技术很好的解决了我们上面所遇到的问题,因为采用容器化至少有以下几个方面的好处:
① 轻量的引擎,高效虚拟化
② 秒级部署,轻松迁移和扩展
③ 易于移植、弹性伸缩,简单管理
④ 开始具备一点“云”的能力
⑤ 让微服务成为可能
⑥ 标准化的服务器端交付物
⑦ 向DevOps迈进的重要一步
举一个简单的监控服务例子,一个基于statsd完备的监控服务需要有influxdb、grafana、statsd三个服务组成,每个服务只是一个单一的功能,单纯的一个服务是不能提供监控服务的,要把它提供成一个服务,肯定要组合起来,所以我们是通过compose文件把三个服务组成一个关系,这样就是一个完整的服务。
1. influxdb:
2. image: "docker.gf.com.cn/gfcloud/influxdb:0.9"
3. ports:
4. - "8083:8083"
5. - "8086:8086"
6. expose:
7. - "8090"
8. - "8099"
9. volumes:
10. - "/var/monitor/influxdb:/data"
11. environment:
12. - "PRE_CREATE_DB=influxdb"
13. - "ADMIN_USER=root"
14. - "INFLUXDB_INIT_PWD=root"
15. grafana:
16. image: "docker.gf.com.cn/gfcloud/grafana"
17. ports:
18. - "3000:3000"
19. volumes:
20. - "/var/monitor/grafana:/var/lib/grafana"
21. statsd:
22. image: "docker.gf.com.cn/gfcloud/statsd"
23. ports:
24. - "8125:8125/udp"
25. links:
26. - "influxdb:influxdb"
27. volumes:
28. - "/var/monitor/statsd/log:/var/log"
29. environment:
30. - INFLUXDB_HOST=influxdb
31. - INFLUXDB_PORT=8086
32. - INFLUXDB=influxdb
33. - INFLUXDB_USERNAME=root
34. - INFLUXDB_PASSWORD=root
对于容器编排,可以从以下两个方面理解。
还有调度,云要落地必须要对资源进行调度,这个其实也不难理解,举个例子,我们每年的春运,铁道局都会对客流很大的路线增加临时列车,以防止出现乘客滞留。对我们应用也是这样的类似情况,比如说我们交易系统的一个登录服务,这个服务现在资源利用比较高,有可能出现瓶颈了,这个时候就要想办法多部署一套登录服务,因此调度的话其实就是要发现一些存在潜在的资源瓶颈的节点,你要想办法调度一下,再拉取一套系统提供服务。
云要落地,对我们的应用也是有要求的,应用一开始设计的时候就要容错,写的应用可以容忍宕机,应用要有可伸缩,尽量做到无状态,能够做到透明部署。
应用服务就像一个乐高玩具,每一个组件都有不同的功能,不管怎么部署,怎么组合,可以把乐高玩具可以组成一个民房,也可以组合成大厦,对乐高玩具的组件来讲,功能是一样的,不管你怎么组合怎么部署,房子也好大厦也好,应用本身是不知道的,所以应用设计的时候也是这样子的,一定不要对部署有任何的要求,所以我们是这样想的,对部署是不能做要求的,这样才符合云的一些要素。
虚拟化部署
我们的目标是把整个平台搭建在私有云上,并在多个IDC复制部署。目前我们尚未实现IaaS,故目前仅是通过虚拟化技术在物理机上构建虚拟机资源层,通过工具把本平台的各部件的部署变成可重复和自动化。另外,对数据分片、服务器负载均衡等做了设计,例如采用一定的consistent hash算法,让例如Redis服务在其底层虚拟机数量一定的情况下,扩展物理机资源达到扩容目的。
如果一个“私有云”是一个部署单元(包含整个平台所有模块、服务)的话,上图则是简略的一览图,我们所有的应用都是基于Docker Container,采用的是最小化的Container,一个服务就一个Container,因此生产环境,在主机服务器上面会跑无数个Container来提供服务,一个Container等同于一个APP提供的服务,我们的Docker通过Rancher开源容器管理平台来管理。
集中与分散部署结合
对于金融行业来说,其业务需求对比其它行业,甚至证券行业对银行、保险等金融行业,都具有更高的要求。主要体现在:
①、高时效性,证券市场瞬息万变,几秒钟的时间差可能导致结果的巨大差异;
②、高一致性要求,重要数据在不同节点应表现一致性,如客户的资金和委托数据;
③、高可用性,哪怕是分钟级别的系统服务中断都是不可接受的;
基于以上三点,简单的集中部署方案和传统的分布部署方案均已经不能满足要求,需要集中与分布部署相结合:
重要业务数据集中部署,以实现高一致性要求,如客户的资产信息、委托信息等,客户无论从哪个渠道接入,查看到的所有信息都是一致的。
行情和资讯以及一些静态资源分布部署到离客户最近的互联网接入中心 (IDC),以解决互联网客户“最后一公里”问题。这样可以实现数据的高时效性(如行情数据,这显然是很重要的),有效提升客户使用体验。
多个IDC接入中心具有互备功能,假如其中一个接入中心因为不可抗力导致服务终止,可通过DNS域名切换到其它可用的IDC接入,以保证服务的持续性。
不可变运维
因为有了容器技术,使得我们在管理变更,自动化部署方面有了可能,生产系统随着时间的推移,无论如何服务器都会积攒下许多变更,包括:新应用、升级、配置变更、计划任务,以及问题的修正。有一点是毫无疑问的:配置好的服务器运行时间越长久,它就越有可能处于未知状态。对于前面所述的每次变更,不可变运维将通过重新创建新的容器实例来解决确定服务器状态的问题。这样之前我们提到的升级打补丁的一系列痛点问题都得到很好的解决。
不可变,顾名思义就是一旦创建,便不再修改,以下是我们生产实践在使用Docker容器方面的一些原则:
①、容器一旦实例化后,永不改变
②、服务的变更(升级,降级,修改配置)都通过重新部署实现
③、不修改容器的内部
Docker最佳实践
①. 除了持久存储外,不用映射外部文件
特别是日志文件,不通过映射外部文件的方式,可以通过flume、kafka等接口把日志数据写入到集中地方。
②.不要使用本地网络
不使用”Host”模式,Host模式会污染宿主机,同时也不符合云计算
③.镜像使用标签,抛弃Latest
生产应用中一律使用Tag来标识应用,不使用Latest,因为使用Latest将无法实现回滚。
④.Build编译应用和Build Image分离
使用专用的编译Docker来编译应用本身,如用Maven、Go、C++的image来编译应用。编译后再把应用通过Dockerfile加到服务Image里面。
⑤.Apt-get安装Package用完即删
如下图的例子,Apt-get在一条命令里面写完,因为Docker是分层存储,如果是在另一个RUN命令里面卸载临时软件包,对Docker的Images的大小减小没有帮助。
⑥.Docker内部不要Daemon
服务在Docker内部不要有守护进程,应用挂掉就让它挂掉。通过外部监控来实现应用重启等操作。
1. FROM docker.gf.com.cn/gfcloud/ubuntu
2. RUN echo "deb http://nginx.org/packages/ubuntu/ trusty nginx" >> /etc/apt/sources.list && \
3. echo "deb-src http://nginx.org/packages/ubuntu/ trusty nginx" >>/etc/apt/sources.list
4. RUN apt-get update && apt-get install -y wget \
5. && wget http://nginx.org/keys/nginx_signing.key && apt-key add nginx_signing.key \
6. && apt-get update && apt-get install -y nginx \
7. && rm -rf /var/lib/apt/lists/* \
8. && echo "\ndaemon off;" >> /etc/nginx/nginx.conf \
9. && apt-get purge -y --auto-remove wget
10. # chown -R www-data:www-data /var/lib/nginx
11.
12. # Define mountable directories.
13. VOLUME ["/etc/nginx/sites-enabled", "/etc/nginx/certs", "/etc/nginx/conf.d", "/var/log/nginx", "/var/www/html"]
14.
15. # Define working directory.
16. WORKDIR /etc/nginx
17.
18. # Define default command.
19.
20. # Expose ports.
21. EXPOSE 80
22. EXPOSE 443
23. CMD ["nginx","-g","daemon off;"]
CSDN Docker技术微信专家群已经建立,汇聚容器技术顶级专家,欢迎微信搜索“k15751091376”,由专人拉入。
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线