实现线上高性能接口方案nginx负载tornado后端lua数据-程序员宅基地

技术标签: lua  json  后端  


101638437.jpg


最近实现了一个http的接口 ~ http的方式,访问结果为json

nginx做负载,web分离,url转发 ~

tornado做数据操作和异步调用lua的接口 ~

memcached做session的共享 (为啥不用redis做session,一方面是为了不和redis有kv冲突,服务器的中断冗余,更主要的方面是用redis存储session我没有做出来,郁闷呀。。。。)

redis做kv数据库和队列系统

后端的nginx lua是mysql的http方式的json展现接口



nginx 的配置大家都懂的,就是利用upstream负载。


worker_processes 4;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
events {
    worker_connections 30000;
    useepoll;
}
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
http {
    charset utf-8;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    # Enumerate all the Tornado servers here
    upstream frontends {
        server 127.0.0.1:8000;
        server 127.0.0.1:8001;
        server 127.0.0.1:8002;
        server 127.0.0.1:8003;
    }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    include/path/to/nginx.mime.types;
    default_type application/octet-stream;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    access_log /var/log/nginx/access.log;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    keepalive_timeout 65;
    proxy_read_timeout 200;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_types text/plain text/css text/xml
               application/x-javascript application/xml
               application/atom+xml text/javascript;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    # Only retry ifthere was a communication error, not a timeout
    # on the Tornado server (to avoid propagating "queries of death"
    # to all frontends)
    proxy_next_upstream error;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
    server {
        listen 80;
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
        location ^~ /static/ {
            root /path/to/app;
            if($query_string) {
                expires max;
            }
        }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
        location / {
            proxy_pass_header Server;
            proxy_set_header Host $http_host;
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Scheme $scheme;
            proxy_pass http://frontends;
        }
    }
}


对于后端节点,监控的检查请用nginx的check模块 ~

模块下载地址:https://github.com/cep21/healthcheck_nginx_upstreams;模块名称:ngx_http_healthcheck_module

upstream myhttpd {
        server 127.0.0.1:8800weight=5;
        server 127.0.0.1:8801weight=5;
        healthcheck_enabled; 开启健康检查功能
        healthcheck_delay 1000;
对同一台后端服务器两次检测之间的时间间隔,单位毫秒,默认为1000。                healthcheck_timeout 1000;
进行一次健康检测的超时时间,单位为毫秒,默认值2000。
        healthcheck_failcount 3;
对一台后端服务器检测成功或失败多少次之后方才确定其为成功或失败,并实现启用或禁用此服务器
        healthcheck_send "GET/.health HTTP/1.0";
对一台后端服务器检测成功或失败多少次之后方才确定其为成功或失败,并实现启用或禁用此服务器,只支持http 1.0的协议


uwsgi tornado的对比:


有朋友问过我,uwsgi的性能也可以呀。。。

以前我用flask的时候,经常要和uwsgi配合一起用,但是我和群里的人多方面测试压力,uwsgi不是很稳定,经常出现访问错误的情况,看debug也是看不出啥东西来。


这么多的tornado进程该如何开启?

用screen ,用 >/dev/null,用nohup ? 太搓了点吧~

推荐大家用supervisord管理杂乱的tornado服务和别的python服务。

源地址 http://rfyiamcool.blog.51cto.com/1030776/1301410

这里是centos supervisord 的配置


配置supervisor

yum install supervisor
pip install supervisor


echo_supervisord_conf > /etc/supervisord.conf


vim /etc/supervisord.conf


[program:tornado8000]
command=python /ops/tornado8000.py
process_name=%(program_name)s
stdout_logfile=/ops/access.log
stderr_logfile=/ops/error.log
[program:tornado8001]
command=python /ops/tornado8001.py
process_name=%(program_name)s
stdout_logfile=/ops/access.log
stderr_logfile=/ops/error.log
[program:tornado8002]
command=python /ops/tornado8002.py
process_name=%(program_name)s
stdout_logfile=/ops/access.log
stderr_logfile=/ops/error.log
[program:tornado8003]
command=python /ops/tornado8003.py
process_name=%(program_name)s
stdout_logfile=/ops/access.log
stderr_logfile=/ops/error.log


保存完配置后,咱们启动下: run~


/usr/bin/supervisord -c /etc/supervisord.conf


Supervisord安装完成后有两个可用的命令行supervisor和supervisorctl,命令使用解释如下:

  • supervisord,初始启动Supervisord,启动、管理配置中设置的进程。

  • supervisorctl stop programxxx,停止某一个进程(programxxx),programxxx为[program:chatdemon]里配置的值,这个示例就是chatdemon。

  • supervisorctl start programxxx,启动某个进程

  • supervisorctl restart programxxx,重启某个进程

  • supervisorctl stop groupworker: ,重启所有属于名为groupworker这个分组的进程(start,restart同理)

  • supervisorctl stop all,停止全部进程,注:start、restart、stop都不会载入最新的配置文件。

  • supervisorctl reload,载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程。

  • supervisorctl update,根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启。

  • 注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。


114739607.png

然后用装饰器判断状态。。。

@tornado.web.authenticated


代码在这里 ,大家配置自己的系统搞一下。

https://github.com/mmejia27/tornado-memcached-sessions


关于lua的用法,大家可以看看我以前的博文,对于mysql有详细的用法的。


模块代码:

https://github.com/agentzh/lua-resty-mysql


实例代码:

upstream nginxbackend
 {
 drizzle_server 127.0.0.1:3306 dbname=nginx password=youpassword user=yourdbname protocol=mysql charset=utf8;
 drizzle_keepalive max=100 mode=single overflow=reject;
 }
                                                                                                                                                                                                                                                                                                                                                                 
 location = /getuser
 {
 internal;
 set_unescape_uri $user $remote_user;
 set_unescape_uri $passwd $remote_passwd;
 set_quote_sql_str $user $user;
 set_quote_sql_str $passwd $passwd;
 drizzle_query "select count(*) as count from user where user=$user and passwd=$passwd";
 drizzle_pass nginxbackend;
 rds_json on;
 }



总之,我们要多方面的测试压力,才能找到适合自己业务的框架。



版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33834679/article/details/85214167

智能推荐

asp.net mvc 加三层架构 完美搭配-程序员宅基地

文章浏览阅读740次。http://www.hysql.org/aspnet/20180630/5712.html先来一张项目的层级结构图:Model:模型层,主要是各种类型、枚举以及ORM框架,框架完成数据库和实体类的映射。项目中选用了微软的开源ORM框架 EntityFramework 6.0 (以下简称EF),数据库则选择了微软的轻量级数据库SQL Server Compact 4.0本地..._aspnetmvc三层架构

DeepStream插件Gstreamer(一):概述_gstreamer中通过nvstreammux处理的数据在缓存中是怎么封装的,该怎么转换为openc-程序员宅基地

文章浏览阅读2.3k次,点赞2次,收藏9次。一、插件概述 DeepStream SDK基于GStreamer框架。本手册介绍了DeepStream GStreamer插件以及DeepStream的输入,输出和控制参数。在包含NVIDIAJetson模块或NVIDIA dGPU适配器1的系统上支持DeepStream SDK。本手册适用于希望使用DeepStream SDK开发DeepStream应用程序或其他插件的工程师。它还包含有关SDK中使用的元数据的信息。开发人员也可以添加自定义元数据。该手册介绍了SDK中定义的用于使用IPlug..._gstreamer中通过nvstreammux处理的数据在缓存中是怎么封装的,该怎么转换为opencv

python学习笔记_week20-程序员宅基地

文章浏览阅读137次。python学习笔记_week20 note1、Django请求的生命周期 路由系统 -> 视图函数(获取模板+数据=》渲染) -> 字符串返回给用户 2、路由系统 /index/ ..._python wj2o

Unity 模型切割工具,CSG,任意图案,任意切割_unity csg-程序员宅基地

文章浏览阅读6k次,点赞4次,收藏27次。强大的Unity 3D 模型切割工具_unity csg

make: sphinx-build: Command not found-程序员宅基地

文章浏览阅读5.6k次,点赞2次,收藏5次。导致这个问题的原因有两个:没装sphinx没装与Python关联的包So:先安装pip install Sphinx再装:sudo apt-get install python-sphinx然后问题解决_sphinx-build: command not found

Django(18)聚合函数-程序员宅基地

文章浏览阅读112次。前言orm模型中的聚合函数跟MySQL中的聚合函数作用是一致的,也有像Sum、Avg、Count、Max、Min,接下来我们逐个介绍聚合函数所有的聚合函数都是放在django.db.models下面。并且聚合函数不能够单独的执行,聚合函数是通过aggregate方法来实现的。在说明聚合函数的用法的时候,都是基于以下的模型对象来实现的。class Author(models.Model):..._django objects 聚合

随便推点

【注意】宽泛负载!-程序员宅基地

文章浏览阅读1.1k次,点赞22次,收藏10次。直流感应方法很简单,就是安放一个与负载(分流电阻器)串联的电阻器,然后测量整个电阻器的电压(分流电压)。图 7 所示的是用于10μA-10mA 单电源电流感应解决方案的TI 高精度设计。将INA326的独特性与控制其增益的开关相结合,可实现优异的单电源电流感应解决方案,其可检测达 30 倍频程的负载电流。对数放大器和可编程增益放大器是一个选项,但如果需要测量的只是 20 至 30 倍频程的负载电流,就有点过度了。为克服该问题,INA326仪表放大器可使用独特的电流拓扑提供真正的轨至轨输入输出。

深度学习 Day21——J1ResNet-50算法实战与解析-程序员宅基地

文章浏览阅读1.1k次,点赞18次,收藏31次。关键字:CNN算法发展,残差网络介绍,Resnet50, softmax及它的实现原理, pytorch实现Resnet50算法

二分类变量相关性分析spss_SPSS教程 | 两个有序分类变量的相关分析及SPSS操作-程序员宅基地

文章浏览阅读2.8k次。案例来源:中华护理杂志2018年3期一.案例2型糖尿病(T2DM)患者授权能力与医疗支持的相关性研究。方法:通过单纯随机抽样选取2016年1月—4月某省市8所三级甲等综合医院就诊2型糖尿病患者作为研究对象。采用一般资料调查表、糖尿病授权评分表糖尿病态度、期望、需求简化版(DES-DSF)和患者慢性病评估量表糖尿病态度、期望、需求简化版(PACIC-DSF),调查2型糖尿病患者的一般资料、授权能力及..._二分类变量和量表题的相关性

Windows 找不到文件‘chrome‘。请确定文件名是否正确后,再试一次_windows找不到文件chrome.请确定文件名是否正确-程序员宅基地

文章浏览阅读7.5k次,点赞3次,收藏12次。Windows 找不到文件‘chrome‘。请确定文件名是否正确后,再试一次_windows找不到文件chrome.请确定文件名是否正确

centos格式化xfs文件系统格式并设置自动启动挂载磁盘_linux 启动挂在磁盘 xfs centos-程序员宅基地

文章浏览阅读979次,点赞6次,收藏7次。快速格式化分区为 XFS 文件系统,强制格式化会删除分区上的所有数据,确保已经备份重要的数据。查看已连接的硬盘列表,主要是设备名称(如 /dev/sda)、分区信息和容量。需要修改为上一步自定义的挂载点)文件以设置开机自动挂载(注意。创建一个目录作为挂载点。运行以下命令以挂载分区。_linux 启动挂在磁盘 xfs centos

比较MYSQL和ElasticSearch的全文搜索差距_使用es模糊查询的效率比mysql快多少-程序员宅基地

文章浏览阅读4.3k次。比较MYSQL和ElasticSearch的全文搜索差距起源实验基础为啥不用别人写好的ES包?实验相关代码实验结果起源商城项目需要根据商品标题或者商品详情,进行模糊查询,在数据量较大的时候,MYSQL进行模糊查询就吃力了,需要使用全文搜索工具,例如使用人数较多的Elasticsearch。为直观比较两者的性能区别,进行了这个实验,并记录下来。实验基础1:MYSQL5.7版本 产品表..._使用es模糊查询的效率比mysql快多少

推荐文章

热门文章

相关标签