Java NIO 核心知识总结

一、NIO 简介

在传统的 Java I/O 模型（BIO）中，每当线程发起 I/O 操作时，它会被阻塞直到操作完成。假设系统有多个并发连接时，每个连接都需要独立的线程进行处理。这就会带来显著的性能问题，因为线程的创建和上下文切换有一定的开销。

为了解决这个问题，Java 1.4 引入了 NIO（New IO，也称为 Non-blocking IO），它突破了传统阻塞 I/O 模型的局限性，提供了非阻塞、基于缓冲区和通道的 I/O 机制，能够在少量线程的支持下同时处理多个连接，从而显著提升了 I/O 的效率和并发处理能力。

NIO 的核心特性

1. 非阻塞（Non-blocking）：
   在 NIO 中，线程不会像 BIO 那样被阻塞，等待 I/O 操作完成。相反，NIO 允许线程在发起 I/O 请求时，继续做其他事情，直到 I/O 操作准备好为止。这样，线程可以更高效地使用 CPU 资源，不会浪费在等待数据的过程中。

2. 基于缓冲区（Buffer）：
   在 NIO 中，数据不是直接从 I/O 操作流中读取或写入，而是通过缓冲区进行处理。缓冲区提供了一种将数据从操作系统传输到应用程序的机制，可以在应用程序中高效地读取和写入数据。

3. 基于通道（Channel）：
   通道提供了与文件或网络连接进行交互的通道，是 NIO 的一个重要组成部分。与传统的流相比，通道是双向的，可以实现读取和写入操作。通过通道，数据可以从源端直接传输到缓冲区，并且可以在通道间进行高效的传递。

4. 选择器（Selector）：
   选择器是 NIO 中一个非常关键的组件，它提供了一个 I/O 多路复用 机制，使得单个线程可以同时处理多个通道（多个连接）。通过 Selector，线程可以注册多个通道，然后通过轮询的方式检查哪些通道已经准备好进行 I/O 操作，这样就避免了为每个连接创建一个线程，节省了大量的系统资源。

NIO 的工作原理

• 通道（Channel）：用来进行数据的输入和输出，类似于传统的流，但通道支持双向的数据传输。
• 缓冲区（Buffer）：存储从通道中读取或写入的数据。读取和写入操作都通过缓冲区进行。
• 选择器（Selector）：用于非阻塞地监控多个通道，判断哪些通道准备好执行 I/O 操作。当一个通道准备好 I/O 操作时，选择器会通知线程处理该操作。

NIO 与 BIO 的对比

特性	BIO	NIO
I/O 模型	阻塞（阻塞式 I/O）	非阻塞（非阻塞式 I/O）
资源消耗	每个连接一个线程，高并发时资源消耗大	通过 Selector 监控多个连接，使用少量线程
适用场景	连接数少、并发低	高并发、高延迟的网络应用
性能	并发高时性能瓶颈	高并发、高延迟网络下性能优越
实现复杂度	简单，易于理解	较复杂，需要掌握通道、缓冲区、选择器

NIO 性能优势的局限

尽管 NIO 提供了很好的并发处理能力，但它并不是在所有场景下都能提供比 BIO 更好的性能。NIO 的性能优势主要体现在 高并发 和 高延迟 的网络环境中。当连接数较少、并发程度较低或者网络传输速度较快时，NIO 的性能优势并不明显。在这种情况下，传统的 BIO 模型反而可能更简单、高效。

总结

NIO 引入了 非阻塞 I/O，通过使用 缓冲区、通道和选择器，使得 Java 可以在少量线程下高效处理大量并发的 I/O 操作。它的优势体现在高并发、高延迟的网络应用中，可以显著提高系统的 I/O 性能。然而，对于连接数较少、并发较低的场景，传统的 BIO 模型可能会更简单、有效。

二、NIO 核心组件

NIO（New I/O）提供了比传统 BIO（阻塞 I/O）更高效的处理并发 I/O 的能力，它主要由以下三大核心组件构成：

1. Buffer（缓冲区）
2. Channel（通道）
3. Selector（选择器）

这些组件通过协作，实现了高效的 I/O 操作。下面详细介绍每个核心组件的功能与用法。

Buffer（缓冲区）

在传统的 BIO 中，数据是通过流进行读写的，而 NIO 中所有的数据读写都通过 Buffer 进行操作。Buffer 可以看作是一个简单的数组，数据被从 Channel 读取到 Buffer 中，或者从 Buffer 写入到 Channel 中。

关键概念：

• 容量（capacity）：缓冲区可以存储的最大数据量。
• 位置（position）：下一个要读取或写入数据的位置。
• 界限（limit）：缓冲区中可以读/写的边界。
• 标记（mark）：可以设置一个标记，表示某个位置，方便后续恢复。

缓冲区的常见方法：

• allocate(int capacity)：分配一个指定容量的缓冲区。
• flip()：将缓冲区从写模式切换到读模式，设置 limit 为当前 position，并将 position 设置为 0。
• clear()：清空缓冲区，准备下一次写入操作，position 设置为 0，limit 设置为 capacity。
• put()：向缓冲区写入数据。
• get()：从缓冲区读取数据。

示例代码：

ByteBuffer buffer = ByteBuffer.allocate(8);
buffer.put((byte)1);
buffer.put((byte)2);
buffer.flip();
while (buffer.hasRemaining()) {
    System.out.println(buffer.get());
}
buffer.clear();

Channel（通道）

Channel 是一个双向的数据传输通道，NIO 使用通道来进行数据的读写。与传统的流不同，通道是双向的，它既能从数据源读取数据，也能向数据源写入数据。

常见的 Channel 类型：

• FileChannel：用于文件操作。
• SocketChannel：用于客户端与服务器之间的 TCP 网络通信。
• ServerSocketChannel：用于服务器端监听客户端连接。
• DatagramChannel：用于 UDP 网络通信。

常用方法：

• read(ByteBuffer buffer)：从通道读取数据到缓冲区。
• write(ByteBuffer buffer)：将缓冲区中的数据写入到通道。

示例代码：

RandomAccessFile file = new RandomAccessFile("test.txt", "rw");
FileChannel channel = file.getChannel();
ByteBuffer buffer = ByteBuffer.allocate(1024);
channel.read(buffer);
buffer.flip(); // 切换到读模式
while (buffer.hasRemaining()) {
    System.out.println((char) buffer.get());
}

Selector（选择器）

Selector 是 NIO 中的一个关键组件，它允许单个线程处理多个 Channel，从而提高 I/O 操作的效率。Selector 实现了基于事件驱动的 I/O 多路复用，当某个通道准备好进行 I/O 操作时，Selector 会通知应用程序。

主要事件类型：

• OP_ACCEPT：表示 ServerSocketChannel 上有新的连接请求。
• OP_CONNECT：表示 SocketChannel 完成连接。
• OP_READ：表示通道准备好读取数据。
• OP_WRITE：表示通道准备好写入数据。

Selector 操作：

1. 注册事件：使用 Selector 注册 Channel，指定监听的事件类型（如读、写等）。
2. 轮询：通过 select() 方法轮询通道，获取那些准备好进行 I/O 操作的通道。
3. 事件处理：遍历准备好的事件，并根据事件类型执行相应的操作。

示例代码：

Selector selector = Selector.open();
ServerSocketChannel serverChannel = ServerSocketChannel.open();
serverChannel.configureBlocking(false);
serverChannel.bind(new InetSocketAddress(8080));
serverChannel.register(selector, SelectionKey.OP_ACCEPT);

while (true) {
    int readyChannels = selector.select();
    if (readyChannels == 0) continue;

    Set<SelectionKey> selectedKeys = selector.selectedKeys();
    Iterator<SelectionKey> iterator = selectedKeys.iterator();

    while (iterator.hasNext()) {
        SelectionKey key = iterator.next();
        if (key.isAcceptable()) {
            // 接受连接
            ServerSocketChannel server = (ServerSocketChannel) key.channel();
            SocketChannel client = server.accept();
            client.configureBlocking(false);
            client.register(selector, SelectionKey.OP_READ);
        } else if (key.isReadable()) {
            // 读取数据
            SocketChannel client = (SocketChannel) key.channel();
            ByteBuffer buffer = ByteBuffer.allocate(256);
            client.read(buffer);
            buffer.flip();
            System.out.println(new String(buffer.array(), 0, buffer.limit()));
            client.register(selector, SelectionKey.OP_WRITE);
        } else if (key.isWritable()) {
            // 写数据
            SocketChannel client = (SocketChannel) key.channel();
            ByteBuffer buffer = ByteBuffer.wrap("Hello Client!".getBytes());
            client.write(buffer);
            client.register(selector, SelectionKey.OP_READ);
        }
        iterator.remove();
    }
}

总结

• Buffer 用于数据的存取，它是 NIO 中数据读写的核心；
• Channel 提供了 I/O 操作的双向通道，它通过 Buffer 实现与数据源的交互；
• Selector 实现了多路复用，它通过事件驱动的方式，使得单线程可以同时处理多个 Channel。

通过这三个组件的协作，NIO 能够有效地提高系统的并发处理能力，尤其适用于高并发、低延迟的网络应用。

三、零拷贝概念

零拷贝（Zero Copy）是一种优化技术，旨在通过减少数据在内存中的拷贝次数，提高 I/O 操作的效率。传统的 I/O 操作通常涉及多次数据复制（从内核空间到用户空间，反之亦然），这些操作会占用 CPU 资源，并可能导致性能瓶颈。

零拷贝通过直接将数据从一个存储区域传输到另一个存储区域（如直接从硬盘到网络或内存），避免了不必要的内存拷贝，减少了 CPU 的负担，提高了 I/O 性能。常见的零拷贝实现技术包括 mmap、sendfile 和 sendfile + DMA gather copy。

零拷贝技术对比

技术	CPU 拷贝次数	DMA 拷贝次数	系统调用	上下文切换次数
传统方法	2	2	read + write	4
mmap + write	1	2	mmap + write	4
sendfile	1	2	sendfile	2
sendfile + DMA gather copy	0	2	sendfile	2

零拷贝的技术实现

1. mmap + write：使用内存映射，将文件映射到内存中，进程可以直接操作内存中的数据，避免了通过系统调用读取文件。此方式的优点是可以通过减少用户空间和内核空间的切换来优化 I/O 性能。

2. sendfile：直接将文件从内核空间传输到网络，避免了数据从内核到用户空间的拷贝。此方式通常应用于服务器应用程序，如 Web 服务器和文件传输服务，能够显著提高网络传输效率。

3. sendfile + DMA gather copy：在 sendfile 基础上增加了 DMA（直接内存访问）技术，进一步优化了数据的传输效率，减少了 CPU 拷贝和上下文切换的开销。

Java 中的零拷贝支持

Java 提供了以下两种方式来实现零拷贝：

1. MappedByteBuffer（基于 mmap）

MappedByteBuffer 通过内存映射技术将文件映射到内存中，进程可以直接操作内存中的数据，避免了从用户空间到内核空间的拷贝。底层调用了 Linux 内核的 mmap 系统调用。

示例代码：

private void loadFileIntoMemory(File xmlFile) throws IOException {
  FileInputStream fis = new FileInputStream(xmlFile);
  // 创建 FileChannel 对象
  FileChannel fc = fis.getChannel();
  // FileChannel.map() 将文件映射到直接内存并返回 MappedByteBuffer 对象
  MappedByteBuffer mmb = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size());
  xmlFileBuffer = new byte[(int)fc.size()];
  mmb.get(xmlFileBuffer);
  fis.close();
}

在这个示例中，FileChannel 使用 map() 方法将文件映射到内存，返回一个 MappedByteBuffer 对象，之后可以直接通过该缓冲区进行数据操作。

2. FileChannel.transferTo() 和 FileChannel.transferFrom()（基于 sendfile）

FileChannel 提供了 transferTo() 和 transferFrom() 方法，底层实现调用了 sendfile 系统调用，能够直接将文件从磁盘传输到网络，而不需要经过用户空间的缓冲区。

示例代码：

import java.io.*;
import java.nio.channels.*;

public class ZeroCopyExample {
    public void transferFile(File src, SocketChannel dest) throws IOException {
        try (FileChannel srcChannel = new FileInputStream(src).getChannel()) {
            long position = 0;
            long count = srcChannel.size();
            while (position < count) {
                position += srcChannel.transferTo(position, count - position, dest);
            }
        }
    }
}

在此示例中，FileChannel 的 transferTo() 方法用于将文件数据从 srcChannel 直接传输到 SocketChannel（即网络通道）。这种方式大大减少了中间的数据拷贝，提升了 I/O 性能。

零拷贝的优势

1. 减少 CPU 消耗：零拷贝通过避免不必要的数据拷贝，减轻了 CPU 的负担。
2. 减少上下文切换：零拷贝减少了用户空间和内核空间之间的上下文切换，从而提升了性能。
3. 提高数据传输速度：通过直接从一个存储区域到另一个存储区域传输数据，避免了多次数据复制和内存拷贝，提升了 I/O 操作的效率。

适用场景

• 高性能网络应用：如 Web 服务器、文件传输协议（FTP）服务器、视频流媒体服务等需要高效的数据传输。
• 大规模数据传输：如日志传输、数据库备份和恢复等场景。
• 实时数据处理系统：如消息队列、数据流处理系统等，要求低延迟、高吞吐量。

通过合理使用零拷贝技术，Java 应用能够有效提升 I/O 操作性能，特别是在需要处理大量数据和高并发的场景下，能够带来显著的性能提升。

总结

如果我们需要使用 NIO 构建网络程序的话，不建议直接使用原生 NIO，编程复杂且功能性太弱，推荐使用一些成熟的基于 NIO 的网络编程框架比如 Netty。Netty 在 NIO 的基础上进行了一些优化和扩展比如支持多种协议、支持 SSL/TLS 等等。