浅说零拷贝

传统IO问题

传统的IO将一个文件通过socket写出

1
2
3
4
5
6
7
8
File f = new File("data.txt");
RandomAccessFile file = new RandomAccessFile(f, "r");

byte[] buf = new byte[(int) f.length()];
file.read(buf);

Socket socket = ...;
socket.getOutputStream().write(buf);

内部工作流程

  1. java 本身并不具备IO读写能力，因此read方法调用后，要从java程序的用户态切换至内核态，去调用操作系统(Kernel)的读能力，将数据读入内核换中去。这期间用户线程阻塞，操作系统使用DMA(Direct memory Access)来实现文件读，其间也不会使用cpu(DMA也可以理解为硬件单元，用来解放cpu完成文件IO)
  2. 从内核态切换回用户态，将数据从内核缓冲区读入用户缓冲区(即byte[] buf)，这期间cpu会参与拷贝，无法利用DMA
  3. 调用write方法，这时将数据从用户缓冲区(byte[] buf)写入socket缓冲区，cpu会参与拷贝
  4. 接下来要向网卡写数据，这项能力java又不具备，因此又得从用户态切换至内核态，调用操作系统的写能力，使用DMA将socket缓冲区的数据写入网卡，不会使用cpu

java的IO实际不是物理设备级别的读写，而是缓存的复制，底层的真正读写是操作系统来完成的

  • 用户态与内核态的切换发生了3次，这个操作比较重量级
  • 数据拷贝了4次

NIO优化

通过DirectByteBuf

  • ByteBuffer.allocae(10) -返回HeapByteBuffer，表示java内存

  • ByteBuffer.allocaeDirect(10) -返回DirectByteBuffer，使用的是操作系统内存

java可以使用DirectByteBuf将堆外内存映射到jvm内存中来直接访问使用

  • 这块内存不受jvm垃圾回收的影响，因此内存地址固定，有助于IO读写
  • java中的DirectByteBuf对象仅维护了此内存的虚引用，内存回收分成两步
    • DirectByteBuf对象被垃圾回收，将虚引用加入引用队列
    • 通过专门线程访问引用队列，根据虚引用释放堆外内存
  • 减少了一次数据拷贝，用户态与内核态的切换次数没有减少

进一步优化(底层采用了linux2.1后的提供的sendFile方法)，java中对应着两个channel调用transferTo/TransferFrom方法拷贝数据

1.java调用transferTo方法后，要从java程序的用户态切换至内核态，使用DMA
将数据读入内核缓冲区，不会使用cpu

2.数据从内核缓冲区传输到socket缓冲区，cpu会参与拷贝

3.最后使用DMA将socket缓冲区的数据写入网卡，不会使用cpu

进一步优化( Linux2.4)

1.java调用transferTo方法后，要从java程序的用户态切换至内核态，使用DMA将数据读入内核缓冲区，不会使用cpu

2.只会将一些offset和length信息拷入socket缓冲区，几乎无消耗

3.使用DMA将内核缓冲区的数据写入网卡，不会使用cpu

整个过程仅只发生了一次用户态与内核态的切换，数据拷贝了2次。所谓的【零拷贝】，并不是真正的无拷贝，而是在不会拷贝到重复数据到jvm内存中，零拷贝的优点有

  • 更少的用户态与内核态的切换
  • 不利用cpu计算，减少cpu缓存伪共享
  • 零拷贝适合小文件传输