技术标签: python java 编程语言 分布式 docker
服务压力测试,是评估一个服务是否优秀的过程,他不仅能让你找到你的服务哪些地方存在性能瓶颈,而且还能让你准确的去做容量评估,防止容量不足,也规避了资源浪费。
本文会带你了解以下几点内容:
写
流量(如果你不想产生脏数据)简单举个例子,用ab压测的时候,需要指定线程,压测时间等参数,假如第一次用10个线程,压测10分钟,第二次用12个线程,压测20分钟
那么这样得到的数据是完全无用的。
性能压测的数据是多次得来的,结论也是多次数据对比得出的。
由于每次压测都会有无法预知的问题,所以每次压测结束后,都需要分析结果,看看是否符合预期,比如在第二次压测,某截网络断了,那么得到的数据可能会非常差,那么这次的压测数据就不能使用。
写
流量这个也是跟我们的压测场景有关。
再举个例子,我美颜相机服务要准备压测,依赖登录、素材展示两个服务。
那么我们在压测的时候一定要去周知登录和素材的开发同学,以及让他们做好扩容准备和实时监控,实时反馈目前的一个服务状态,当有异常的时候,应立即停止压测。
在我们压测过程中,是需要记录每次压测的结果的,比如压测结果的qps、相应时间、服务SLA等信息。当某些值在一定持续增长的压力下增长缓慢、不增长甚至降低,那么这时候你就要考虑压测是否到达了一定的拐点,类似可以做一个如下的图来简单判断拐点:
业务压测前,首先需要明确业务架构,开发需要配合运维梳理整个系统结构,开发补充业务层面,运维补充系统层面,整理出一个流量走势以及三方依赖图。明确是否跨机房、是否跨专线、是否存在网络隔离等问题。
例子,A业务压测,三方依赖服务有B和C,首先要记录当前生产业务的qps,B和C业务的使用量级。假如是1000qps,B用量10台机器,C用量20台机器。那么我们压测需要压到2000qps,理论上B用20台机器,C用40台机器。
做压测工作,我们需要明确几点:
所以针对上面两点,我们需要明确业务容量评估一定要留cache,降级方案、回退方案一定要有,防止真的出现问题。
下面是我们在压测过程中遇到的问题以及处理的过程:
这是我在压测过程中,总结的一个点,这个我可能没法用很好的词语来描述,我就用一个简单的例子来描述吧。
业务场景:简单的 Nginx + PHP 业务,容器化部署。
那么我们可以配置以下几个压测模型场景来进行压测,然后给出相应的结论:
经过这一轮压测之后,你能非常明确你的压测结论是否存在异议,一步步排除环境因素。
目前来说,我在运维过程中使用的压测工具也就是ab,wrk等,其实针对不同的场景,每一个工具都有自己的优点和缺点。
官方git地址:https://github.com/buger/goreplay
官方文档:https://github.com/buger/goreplay/wiki
依赖go环境
wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz
tar xvf gor_1.0.0_x64.tar.gz
在公司中,我们的流量入口一般是公共代理,比如nginx等。下面例子是我在公司其中一台公共代理上抓取的流量,有以下几个说明:(给的例子是我在使用过程中的,有特殊需求的可以参考官方文档进行相应的修改)
./goreplay --input-raw :80 --http-allow-header 'Host: lb6test.meitu.com' -http-allow-method 'GET' -http-allow-url '/a/a.json' -http-allow-url '/b/b.json' -http-disallow-header 'Access-Token:' -output-file meitu.gor
这个操作一般我们会放到单独的压测机器上进行,如果你压测的是新部署的测试环境,注意这个域名一定要在这个机器上绑定一个host,防止你压测到生产环境去了。
./goreplay --input-file-loop --input-file "meitu.gor" --http-disallow-url "/b/b.json" --output-http "http://lb6test.meitu.com"
meitu.gor
是100 qps。./goreplay --input-file-loop --input-file "meitu.gor" --output-http "http://lb6test.meitu.com|50"
./goreplay --input-file-loop --input-file "meitu.gor|1000%" --output-http "http://lb6test.meitu.com|200"
nohup ./goreplay --input-file-loop --input-file "meitu.gor" --output-http "http://lb6test.meitu.com" > /dev/null 2>&1
下面是我当时压测公司某个服务记录的一些信息和描绘的图。
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland