NIO 基础
non-blocking io 非阻塞 IO
三大组件
1.1 Channel & Buffer
channel 有一点类似于 stream,它就是读写数据的双向通道,可以从 channel 将数据读入 buffer,也可以将 buffer 的数据写入 channel,而之前的 stream 要么是输入,要么是输出,channel 比 stream 更为底层
常见的 Channel 有:
- FileChannel
- DatagramChannel(UDP传输通道)
- SocketChannel(TCP传输通道,客户端和服务器端都可用)
- ServerSocketChannel(TCP传输通道,主要作用域服务器传输)
buffer 则用来缓冲读写数据,常见的 buffer 有:
- ByteBuffer(作用字节缓冲,是个抽象类)
- MappedByteBuffer
- DirectByteBuffer
- HeapByteBuffer
- ShortBuffer(以下都是作用不同数据类型的缓冲区)
- IntBuffer
- LongBuffer
- FloatBuffer
- DoubleBuffer
- CharBuffer
1.2 Selector
selector 单从字面意思不好理解,需要结合服务器的设计演化来理解它的用途
多线程版设计
最早开发服务器采用的就算多线程版本,如下原理:
一个线程执行一个连接,占用内存太大
⚠️ 多线程版缺点
- 内存占用高
- 线程上下文切换成本高
(解释:都说线程越多越好,线程多效率就高。但是线程多主要看cpu核心数,如果cpu核心不多,导致线程一样回阻塞,并且一直在切换线程,一直要记录线程的状态,不停的切换,也就是上下文切换,成本很高) - 只适合连接数少的场景
线程池版设计
尽管使用线程池,同一时间也只能处理一个连接,要把这个连接处理完以后,才能切换另一个请求去处理。
⚠️ 线程池版缺点
- 阻塞模式下,线程仅能处理一个 socket 连接
- 仅适合短连接场景
selector 版设计
selector 的作用就是配合一个线程来管理多个 channel,获取这些 channel 上发生的事件,这些 channel 工作在非阻塞模式下,不会让线程吊死在一个 channel 上。适合连接数特别多,但流量低的场景(low traffic)
调用 selector 的 select() 会阻塞直到 channel 发生了读写就绪事件,这些事件发生,select 方法就会返回这些事件交给 thread 来处理
2. ByteBuffer
有一普通文本文件 data.txt,放在项目根目录下,内容为
1234567890abcd
maven依赖:
<dependencies>
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-all</artifactId>
<version>4.1.39.Final</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok-maven-plugin</artifactId>
<version>1.18.12.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.5</version>
</dependency>
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>19.0</version>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.3</version>
</dependency>
<dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-java</artifactId>
<version>3.11.3</version>
</dependency>
</dependencies>
使用 FileChannel 来读取文件内容
import lombok.extern.slf4j.Slf4j;
import java.io.FileInputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
@Slf4j
public class TestByffer {
public static void main(String[] args) {
// 读取文件使用FileChannel
try (FileChannel channel = new FileInputStream("data.txt").getChannel()) {
// 准备缓存区
ByteBuffer buffer = ByteBuffer.allocate(10);
while (true){ // 因为缓冲区大小为10,不可能一次就能读完数据,所以要循环去读
// 从channel读数据,写到buffer
int len = channel.read(buffer); // 返回值是读到的字节数,如果是-1,就表示没有读到数据了
log.debug("读取到的字节数 {}"+len);
if (len == -1){
break;
}
// 切换buffer读模式
buffer.flip();
// 打印buffer内容
while (buffer.hasRemaining()) { // 判断有数据就循环打印
byte b = buffer.get();
log.debug("实际字节 {}"+ (char) b); // 字节强转字符
}
// 每次读完数据以后,切换为写模式
buffer.clear();
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
日志配置文件:
<?xml version="1.0" encoding="UTF-8"?>
<configuration
xmlns="http://ch.qos.logback/xml/ns/logback"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://ch.qos.logback/xml/ns/logback logback.xsd">
<!-- 输出控制,格式控制-->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%date{HH:mm:ss} [%-5level] [%thread] %logger{17} - %m%n </pattern>
</encoder>
</appender>
<!--<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!– 日志文件名称 –>
<file>logFile.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!– 每天产生一个新的日志文件 –>
<fileNamePattern>logFile.%d{yyyy-MM-dd}.log</fileNamePattern>
<!– 保留 15 天的日志 –>
<maxHistory>15</maxHistory>
</rollingPolicy>
<encoder>
<pattern>%date{HH:mm:ss} [%-5level] [%thread] %logger{17} - %m%n </pattern>
</encoder>
</appender>-->
<!-- 用来控制查看那个类的日志内容(对mybatis name 代表命名空间) -->
<logger name="com.biao" level="DEBUG" additivity="false">
<appender-ref ref="STDOUT"/>
</logger>
<logger name="io.netty.handler.logging.LoggingHandler" level="DEBUG" additivity="false">
<appender-ref ref="STDOUT"/>
</logger>
<root level="ERROR">
<appender-ref ref="STDOUT"/>
</root>
</configuration>
输出
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 读到字节数:10
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 1
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 2
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 3
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 4
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 5
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 6
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 7
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 8
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 9
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 0
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 读到字节数:4
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - a
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - b
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - c
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - d
10:39:03 [DEBUG] [main] c.i.n.ChannelDemo1 - 读到字节数:-1
2.1 ByteBuffer 正确使用姿势
结合着上面的那个实例更方便理解:
- 向 buffer 写入数据,例如调用 channel.read(buffer)
- 调用 flip() 切换至读模式
- 从 buffer 读取数据,例如调用 buffer.get()
- 调用 clear() 或 compact() 切换至写模式
- 重复 1~4 步骤
2.2 ByteBuffer 结构
ByteBuffer 有以下重要属性
- capacity 代表buffer的容量,能装多少数据
- position 读写指针,读到哪了,写到哪了
- limit 读写限制,读写多少个字节
一开始
写模式下,position 是写入位置,limit 等于容量,下图表示写入了 4 个字节后的状态
flip 动作发生后,position 切换为读取位置,limit 切换为读取限制
表示读的一次数据读到哪里,就定位到哪里,限制住最多只能写到那里的下标指针位置
读取 4 个字节后,状态
clear 动作发生后,状态
切换为写模式,position就回到0的位置重新开始写
compact 方法,是把未读完的部分向前压缩,limit也会移到最后,然后切换至写模式