Nio VS Bio
1. stream vs channel
- stream不会自动缓冲数据,channel会利用系统提供的发送缓冲区、接收缓冲区(更为底层)
- stream仅支持阻塞API,channel同时支持阻塞、非阻塞API,网络channel可配合selector实现多路复用
- 二者均为全双工,即读写可以同时进行
2. IO模型
同步阻塞、同步非阻塞、同步多路复用、异步阻塞(没有此情况)、异步非阻塞
- 同步:线程自己去获取结果(一个线程)
- 异步:线程自己不去获取结果,而是由其它线程送结果(至少两个线程)
当调用一次channel.read或stream.read后,会切换至操作系统内核态来完成真正数据读取,而读取又分为两个阶段,分别为: - 等待数据阶段
- 复制数据阶段
- 阻塞IO
- 非阻塞IO
- 多路复用
- 信号驱动:异步IO
- 阻塞IOvs多路复用
3. 零拷贝
3.1 传统IO问题
传统的IO将一个文件通过socket写出:
File f = new File("helloword/data.txt");
RandomAccessFile file = new RandomAccessFile(file, "r");
byte[] buf = new byte[(int)f.length()];
file.read(buf);
Socket socket = ...;
socket.getOutputStream().write(buf);
内部工作流程是这样的:
- java本身并不具备IO读写能力,因此read方法调用后,要从java程序的用户态切换至内核态,去调用操作系统(Kernel)的读能力,将数据读入内核缓冲区。这期间用户线程阻塞,操作系统使用DMA(Direct Memory Access)来实现文件读,其间也不会使用cpu。
- 从内核态切换回用户态,将数据从内核缓冲区读入用户缓冲区(即 byte[] buf),这期间 cpu 会参与拷贝,无法利用DMA。
- 调用write方法,这时将数据从用户缓冲区(byte[] buf)写入 socket 缓冲区,cpu会参与拷贝。
- 接下来要向网卡写数据,这项能力java又不具备,因此又得从用户态切换至内核态,调用操作系统的写能力,使用DMA将socket 缓冲区的数据写入网卡,不会使用cpu。
可以看到中间环节较多,java的IO实际不是物理设备级别的读写,而是缓存的复制,底层的真正读写是操作系统来完成的
- 用户态与内核态的切换发生了3次,这个操作比较重量级
- 数据拷贝了共4次
3.2 NIO优化
通过DirectByteBuf直接使用操作系统内存作为缓存:
- ByteBuffer.allocate(10) HeapByteBuffer 使用的还是java内存
- ByteBuffer.allocateDirect(10) DirectByteBuffer 使用的是操作系统内存 大部分步骤与优化前相同,不再赘述。唯有一点:java可以使用DirectByteBuf将堆外内存映射到jvm内存中来直接访问使用
- 这块内存不受jvm垃圾回收的影响,因此内存地址固定,有助于IO读写
- java中的DirectByteBuf对象仅维护了此内存的虚引用,内存回收分成两步
- DirectByteBuf对象被垃圾回收,将虚引用加入引用队列
- 通过专门线程访问引用队列,根据虚引用释放堆外内存
- 减少了一次数据拷贝,用户态与内核态的切换次数没有减少
进一步优化(底层采用了linux 2.1后提供的sendFile方法),java中对应着两个channel调用transferTo/transferFrom方法拷贝数据
- java调用transferTo方法后,要从java程序的用户态切换至内核态,使用 DMA将数据读入内核缓冲区,不会使用cpu
- 数据从内核缓冲区传输到socket 缓冲区,cpu会参与拷贝
- 最后使用DMA将socket 缓冲区的数据写入网卡,不会使用cpu
可以看到:
- 只发生了一次用户态与内核态的切换
- 数据拷贝了3次
进一步优化(linux 2.4):
- java调用transferTo方法后,要从java程序的用户态切换至内核态,使用DMA将数据读入内核缓冲区,不会使用cpu
- 只会将一些offset和length信息拷入socket 缓冲区,几乎无消耗
- 使用DMA将 内核缓冲区的数据写入网卡,不会使用cpu
整个过程仅只发生了一次用户态与内核态的切换,数据拷贝了2次。所谓的【零拷贝】,并不是真正无拷贝,而是在不会拷贝重复数据到 jvm 内存中,零拷贝的优点有
- 更少的用户态与内核态的切换
- 不利用cpu计算,减少cpu缓存伪共享
- 零拷贝适合小文件传输
4. AIO
AIO用来解决数据复制阶段的阻塞问题:
- 同步意味着,在进行读写操作时,线程需要等待结果,还是相当于闲置 - 异步意味着,在进行读写操作时,线程不必等待结果,而是将来由操作系统来通过回调方式由另外的线程来获得结果
异步模型需要底层操作系统(Kernel)提供支持
- Windows系统通过IOCP实现了真正的异步IO
- Linux系统异步IO在2.6版本引入,但其底层实现还是用多路复用模拟了异步IO,性能没有优势。在2007年引入2.6.22+版本:通过io_uring原生实现了真正的内核级异步I/O