netty源码分析(二十)NIO堆外内存与零拷贝深入讲解_堆外内存netty版本-程序员宅基地

技术标签: java  nio  zero-copy  内存  buffer  源码  

这里写图片描述

ByteBuffer byteBuffer = ByteBuffer.allocateDirect(512);
直接内存:返回DirectByteBuffer对象,DirectByteBuffer的父类是MappedByteBuffer ,MappedByteBuffer 的父类是ByteBuffer , 在ByteBuffer的上边是Buffer,在
Buffer里边有一个address 他的声明和注释如下:
// Used only by direct buffers
// NOTE: hoisted here for speed in JNI GetDirectBufferAddress
long address;
address是专门为DirectByteBuffer使用的,存储是堆外内存的地址。在 DirectByteBuffer 的构造器里边,会对 address 进行赋值。
DirectByteBuffer使用的是直接的对外内存,去除了使用HeapByteBuffer方式的内存拷贝,因此有另外一个说法叫“零拷贝”,address对应的内存区域在os的内存空间,这块内存直接与io设备进行交互,当jvm对DirectByteBuffer内存垃圾回收的时候,会通过address调os,os将address对应的区域回收。

ByteBuffer byteBuffer = ByteBuffer.allocate(512);
堆内存:返回 HeapByteBuffer
HeapByteBuffer是在jvm的内存范围之内,然后在调io的操作时会将数据区域拷贝一份到os的内存区域,这样造成了不必要的性能上的降低,这样做是有原因的,试想假设如果os和jvm都是用jvm里边的数据区域, 但是jvm会对这块内存区域进行GC回收,可能会对这块内存的数据进行更改,根据我们的假设,由于这块区域os也在使用,jvm对这块共享数据发生了变更,os那边就会出现数据错乱的情况。那么如果不让jvm对这块共享区域进行GC是不是可以避免这个问题呢?答案是不行的,也会存在问题,如果jvm不对其进行GC回收,jvm这边可能会出现OOM的内存溢出。因此,最后这个地方非常尴尬,只能拷贝jvm的那一份到os的内存空间,即使jvm那边的数据区域被改变,但是os里边的不会受到影响,等os使用io结束后会对这块区域进行回收,因为这是os的管理范围之内。

如果你想了解更详细的说明请看知乎的一个回答:https://www.zhihu.com/question/57374068
RednaxelaFX是一个大牛,在社区中参与到jvm的很多工作。

再说一下NIO的零拷贝,如图:
case1非零拷贝(传统的方式):
传统方式的NIO存在数据拷贝问题,实例代码:
客户端:

public class OldClient {
    public static void main(String[] args) throws  Exception {
        Socket socket = new Socket("localhost",8899);
        InputStream inputStream = new FileInputStream("niofiles/spark-2.2.0-bin-hadoop2.7.tgz");
        DataOutputStream dataOutputStream = new DataOutputStream(socket.getOutputStream());

        int totalSend = 0;
        int readCount = 0;
        byte[] buff =new byte[4096];
        long startTime = System.currentTimeMillis();
        while((readCount=inputStream.read(buff))>=0){
            totalSend+=readCount;
            dataOutputStream.write(buff);
        }
        System.out.println("send bytes :"+totalSend+",timecost:"+(System.currentTimeMillis()-startTime));
        dataOutputStream.close();
        socket.close();
        inputStream.close();
    }
}

服务端代码:

public class OldServer  {

    public static void main(String[] args)  throws  Exception{
        ServerSocket serverSocket = new ServerSocket(8899);
        while(true){
            Socket socket  = serverSocket.accept();
            DataInputStream dataInputStream = new DataInputStream(socket.getInputStream());
            byte[] buff = new byte[4096];

            while(true){
                int readcount = dataInputStream.read(buff,0,buff.length);

                if(-1==readcount){
                    break;
                }
            }
        }
    }
}

图示:
这里写图片描述
注意第一次数据拷贝是必须的。
case2零拷贝:
新的IO即NIO是零拷贝的方式:
实例代码:
客户端

public class NewClient {
    
    public static void main(String[] args)  throws  Exception{
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress("localhost",8899));
        socketChannel.configureBlocking(true);
        String name = "niofiles/spark-2.2.0-bin-hadoop2.7.tgz";
        FileChannel fileChannel = new FileInputStream(name).getChannel();
        long start = System.currentTimeMillis();
        //零拷贝关键代码
        /**
         * This method is potentially much more efficient than a simple loop
         * that reads from this channel and writes to the target channel.  Many
         * operating systems can transfer bytes directly from the filesystem cache
         * to the target channel without actually copying them.
         */
       long  transCount =  fileChannel.transferTo(0,fileChannel.size(),socketChannel);

        System.out.println("发送字节数:"+transCount+",耗时:"+(System.currentTimeMillis()-start));
        fileChannel.close();
    }
}

服务端:

public class NewServer {
    public static void main(String[] args) throws  Exception {
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        ServerSocket serverSocket =  serverSocketChannel.socket();
        serverSocket.bind(new InetSocketAddress(8899));
        serverSocket.setReuseAddress(true);

        ByteBuffer byteBuffer =  ByteBuffer.allocate(4096);

        while(true){

            try {
                SocketChannel socketChannel =  serverSocketChannel.accept();
                socketChannel.configureBlocking(true);

                int readcount = 0;
                while(-1!=readcount){
                    readcount = socketChannel.read(byteBuffer);
                    byteBuffer.rewind();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }

        }
    }
}

图示:
这里写图片描述
数据首先通过DMA从硬件设备(硬盘)读取到内核空间,然后将内核空间数据copy对接到socket buffer,socket buffer是一个缓冲区,之后socket buffer数据拷贝到协议引擎写到服务器端。这里减去了传统io在内核和用户之间的拷贝,但是内核里边的拷贝还是存在。
到时到了Linux2.4又有了改善:
这里写图片描述

再看最后一个图,Linux2.4以后的版本:
这里写图片描述
socket buffer 在这里不是一个缓冲区了,而是一个文件描述符,描述的是数据在kernel buffer的数据从哪里开始,长度是多少,里边基本上不存储数据大部分是指针,然后协议引擎protocol engine也是通过DMA 拷贝的方式从文件描述符socket buffer读取。
首先首先从硬件设备读取数据到kernel buffer,kernel buffer可能是多个字节数组,然后socket buffer 通过gatter的方式直接从kernel buffer映射(从哪个位置,读取多少长度,即gatter操作)数据,最后协议引擎protocol engine通过socket buffer的映射读到kernel buffer数据,再也没有数据拷贝的问题。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wzq6578702/article/details/78572055

智能推荐

mysql timestamp 差值_MySQL用 TIMESTAMPDIFF() 函数计算时间差-程序员宅基地

文章浏览阅读1.1k次。TIMESTAMPDIFF() 函数将计算两个日期或日期时间表达式之间的整数时间差。其中,我们可以通过参数指定时间差的单位,如:秒、分钟、小时等。语法:TIMESTAMPDIFF(interval,datetime1,datetime2)参数说明:interval:日期比较返回的时间差单位。可以使如下值:FRAC_SECOND:表示间隔是毫秒SECOND:秒MINUTE:分钟HOUR:小时DAY:..._mysql timestamp 作差

PTA 计算天数_7-1 计算天数pta-程序员宅基地

文章浏览阅读6.1k次,点赞7次,收藏28次。本题要求编写程序计算某年某月某日是该年中的第几天。输入格式:输入在一行中按照格式“yyyy/mm/dd”(即“年/月/日”)给出日期。注意:闰年的判别条件是该年年份能被4整除但不能被100整除、或者能被400整除。闰年的2月有29天。输出格式:在一行输出日期是该年中的第几天。输入样例1:2009/03/02输出样例1:61输入样例2:2000/03/02输出样例2:62思路:根据每年小于等于7的月份中,偶月份为30天,奇月份每月31天,2月份除外,2月份闰年29天,非闰年_7-1 计算天数pta

blender简单模型上色_blender上色-程序员宅基地

文章浏览阅读1.3w次,点赞3次,收藏16次。通过UV和色卡来完成简单的上色原先我们的上色方式是通过导出模型的UV图,然后对UV模块分别进行上色,这种方式呢,过于复杂,而且对导出的UV布局图要求过高。之后在完善项目的时候,发现大佬们好像都是用的色卡来完成的模型上色,当时百思不得其解,现在专门学习了一下,原来是一个很简单的事情。1、准备一张色卡,并且在blender中对映材质这里呢我提供了一张包含一些绿色和橙色系得简单色卡,大家可以用PS自己取色扩充,如下图所示。接下来把这张色卡图拖入到shading中得节点面板,便会生成一个节点,并且连接当_blender上色

2021-10-07_有四种水果:苹果(apples)、梨(pears)、橘子(oranges)和葡萄(grapes),单-程序员宅基地

文章浏览阅读548次。noi题库1017. 价格查询题目描述编程实现以下功能:查询水果的单价。有4种水果,苹果(apples)、梨(pears)、桔子(oranges)和葡萄(grapes),单价分别是3.00元/公斤,2.50元/公斤,4.10元/公斤和10.20元/公斤。运行程序后,首先在屏幕上显示以下菜单(编号和选项)(见样例)。当用户输入编号1~4,显示相应水果的单价(保留1位小数);输入0,退出查询;输入其他编号,显示价格为0。输入输入一个整数。输出输出对应的结果。样例输入3样例输入[1] ap_有四种水果:苹果(apples)、梨(pears)、橘子(oranges)和葡萄(grapes),单价分别是3.

获取CloudFlare上的所有域名的ID (zone_identifier) - by PHP_cloudflare怎么导出所有域名-程序员宅基地

文章浏览阅读7k次。效果图CF_api_get_zone_ids.php<?php /** * Title: 获取CloudFlare上的所有域名的ID (zone_identifier) * Author: Rudon <[email protected]> * Date: 2019-03-08 * * https:..._cloudflare怎么导出所有域名

移动物联网卡构建智慧医疗体系,加强医院管理效率_中移物联网医院-程序员宅基地

文章浏览阅读640次。生活品质的提升,促进了人们对医疗健康领域的进一步关注。然而我国人口基数庞大、医疗资源缺稀,“看病难、看病贵”一直是政府、社会与民众难以调和的矛盾。移动物联网卡的出现使医疗救治难题出现新的曙光。作为实现万物互联的核心节点,移动物联网卡智慧医疗把医疗设备、监控系统、医疗数据等内容连接压缩起来,架构新型的物联网卡智慧医疗体系。移动物联网卡智慧医疗的出现是一项利国利民的重要项目,对促进和谐社会、构建智慧城..._中移物联网医院

随便推点

面试题--乱2-程序员宅基地

文章浏览阅读889次。windows服务器使用的远程连接端口默认 3389 查询max 记录: nslookup dig postfix的配置文件main,cf中以下哪个参数是设置邮件大小的,message_size_limit打开网站,出现以下错误Fatal error: Unable to read **** bytes in或者是Fatal error: Corrupte..._让一个使用者bobby能够进行cp/dirl/file/dir2的指令时,请说明dirl、file、dir

c++期末上机oj题目汇总二(2018北邮信通版)纯干货_北邮c++期末考试-程序员宅基地

文章浏览阅读2.4k次,点赞9次,收藏73次。学长学姐回忆版本6-11今天一气呵成上传系列,就是脖子有点酸题组六1.大小写转换2.计算有多少个盈数3.输出最大值,平均数和及格人数4.统计字母个数5.学生类..._北邮c++期末考试

airtest踩坑日记_cannot find any visible node by query uiobjectprox-程序员宅基地

文章浏览阅读2.4k次,点赞4次,收藏5次。本来发现airtest,以为是个神器,终于可以摆脱按键精灵的束缚了,结果好家伙,这个玩意就是网易开发的bug集,全是bug,一步一步踩坑过来的,以下为记录的bug以及应对方法:(PS:移动原生的测试人员建议直接用poco吧,坑太多,不建议踩,而且它也是调用的poco)一、OpenCV Error: Assertion failed cv2.error: C:\projects\opencv-python\opencv\modules\imgproc\src\color.cpp:9716: error.._cannot find any visible node by query uiobjectproxy of

汇编语言与汇编器(目前有哪些汇编语言与汇编器)_汇编语言编译器-程序员宅基地

文章浏览阅读7.4k次,点赞9次,收藏23次。以下内容源于网络资源的学习与整理,如有其侵权请告知删除。_汇编语言编译器

SWIFT_信用证swift是实时的吗-程序员宅基地

文章浏览阅读99次。百科x混知:图解国际资金清算系统发展历程1973年5月,来自美国、加拿大和欧洲的15个国家的239家银行宣布正式成立SWIFT,其总部设在比利时的布鲁塞尔,它是为了解决各国金融通信不能适应国际间支付清算的快速增长而设立的非盈利性组织,负责设计、建立和管理SWIFT国际网络,以便在该组织成员间进行国际金融信息的传输和确定路由。国际资金清算系统(SWIFT)由环球同业银行金融电讯协会管理,SWIFT的使用,使银行的结算提供了安全、可靠、快捷、标准化、自动化的通讯业务,从而大大提高了银行的结算速度。_信用证swift是实时的吗

程序员岁月的那些碎片记忆_java时光记忆项目-程序员宅基地

文章浏览阅读2.5k次。这几天做了个时间轴展示程序,为了测试,把windows系列的出品时间作为例子,效果如下:在制作的过程,勾起了我曾经熟悉的一个个画面,算算,从大三学习科普课, 接触了小型机学习basic算起,使用电脑历史也有25年了,作为业余程序员也有20年了,一下这些曾经熟悉的东西,你还认识吗,你也接触过吗?dos ucdos(中文系统) wps(排版编辑软件) dbase3(数据库管理系统) Foxbase(_java时光记忆项目

推荐文章

热门文章

相关标签