Netty学习笔记(一)-入门

简介

Netty是一个应用于网络编程领域的NIO网络框架,通过屏蔽底层Socket编程细节,封装了提供上层业务使用的API,简化了网络应用的开发过程。Netty需要关注以下几点:

  • IO模型、线程模型
  • 事件处理机制
  • API接口的使用
  • 数据协议、序列化的支持

Netty的IO模型是基于非阻塞IO实现的,底层通过JDK NIO中的Selector实现,Selector可以同时轮询多个Channel,采用epoll模式后只需要一个线程负责Selector的轮询。

IO多路复用的场景中,需要一个Event Dispather负责将读写事件分发给对应的Event Handler,事件分发器主要有两种:

  • Reactor:采用同步IO,实现简单,适用于处理耗时短的场景,耗时长的IO操作容易出现阻塞。
  • Proactor:采用异步IO,实现逻辑复杂,性能更高

Netty的优点:

  • 易用:将NIO的API进一步封装,提供了开箱即用的工具
  • 稳定:修复了NIO的bug
  • 可扩展:可以通过启动参数选择Reactor线程模型
  • 低消耗:Netty性能优化
    • 对象池复用
    • 零拷贝

NIO基础

NIO是一种同步非阻塞的IO模型,NIO与普通IO的最大区别就是非阻塞,通过每个线程通过Selector去监听多个Channel,并且读写数据是以块为单位,与BIO相比,大大提升了IO效率。

BIO存在的问题:

  • accept、read、write都是同步阻塞,处理IO时,线程阻塞。
  • BIO模型严重依赖线程,线程资源比较宝贵。
    • Linux中用task_struct管理,创建或销毁线程使用系统调用,开销大,并且进程切换也存在开销
    • 每个线程在JVM中占用1MB内存,连接数量大的时候,极易产生OOM

Standard IO是对字节流进行读写,读写单位是字节,NIO将IO抽象成块,读写单位是块。

基本概念:

  • Channel:对原IO包中流的模拟,可以通过它来读取和写入数据,数据流向是双向的。

    • FileChannel:从文件中读取数据
    • DatagramChannel:通过UDP读写网络数据
    • SocketChannel:通过TCP读写网络数据
    • ServerSocketChannel:监听新的TCP连接,对每个新连接都创建一个SocketChannel
  • Buffer:Channel中的数据都需要通过Buffer进行传递,本质上是数组

    • ByteBuffer、CharBuffer等
    • Buffer的内部变量:
      • capacity:最大容量
      • position:当前读写处的下标位置
      • limit:还可读写的下标位置
  • Selector:NIO采用的Reactor模型,一个线程使用一个Selector通过轮询的方式去监听多个Channel上面的事件,将Channel配置为非阻塞,那么Selector检测到当前Channel没有IO事件,就会轮询其他Channel。

内存映射文件:是一种读写文件的方式,比常规基于流或者Channel的IO快。

//将文件的前1024字节映射到内存中,map()方法返回一个MappedByteBuffer
MappedByteBuffer mbb = fc.map(FileChannel.MapMode.READ_WRITE, 0, 1024);

案例

public class SimpleServer {
    public static void main(String[] args) {
        /**
         * ServerBootstrap:服务端启动器,负责组装、协调netty组件
         * NioEventLoopGroup:thread + selector
         * NioServerSocketChannel:对原生NIO的ServerSocketChannel封装
         * ChannelInitializer:对channel进行初始化
         */
        new ServerBootstrap()
                .group(new NioEventLoopGroup())
                .channel(NioServerSocketChannel.class)
                .childHandler(new ChannelInitializer<NioSocketChannel>() {
                    //连接建立后执行initChannel
                    @Override
                    protected void initChannel(NioSocketChannel ch) throws Exception {
                        //StringDecoder:将Bytebuffer转为string
                        ch.pipeline().addLast(new StringDecoder());
                        //自定义handler
                        ch.pipeline().addLast(new ChannelInboundHandlerAdapter() {
                            @Override
                            public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
                                System.out.println(msg);
                            }
                        });
                    }
                })
                .bind(8080);
    }
}

public class SimpleClient {
    public static void main(String[] args) throws IOException, InterruptedException {
        new Bootstrap()
                .group(new NioEventLoopGroup())
                .channel(NioSocketChannel.class)
                .handler(new ChannelInitializer<NioSocketChannel>() {
                    @Override
                    protected void initChannel(NioSocketChannel ch) throws Exception {
                        ch.pipeline().addLast(new StringEncoder());
                    }
                })
                .connect(new InetSocketAddress("localhost", 8080))
                //阻塞直到连接建立
                .sync()
                //代表连接对象
                .channel()
                //发送数据
                .writeAndFlush("hello world");
    }
}

Netty组件

  • Core:提供了底层网络通信的抽象和实现,支持零拷贝的ByteBuffer、可扩展的事件模型、通信API
  • 协议支持层:对主流协议的编解码实现,还支持自定义应用层协议。
  • 传输服务层:提供了网络传输能力的抽象和实现,支持Socket、HTTP tunnel、VM pipe等方式

从业务逻辑上可以分为:

  • 网络通信层:执行网络IO的操作,支持多种网络协议和IO模型,数据被读取到内核缓冲区时,会触发各种网络事件,事件会分发给上层处理,包括以下组件:
    • Bootstrap:负责整个Netty的启动、初始化、服务器连接等过程,主要负责客户端的引导,可以连接远程服务器,只绑定一个EventLoopGroup
    • ServerBootStrap:负责服务端的引导。用于服务端启动绑定本地端口,绑定两个EventLoopGroup。这两个被称为Boss和Worker。
      • Boss负责监听网络连接事件,新的连接到达,将Channel注册到Worker
      • Worker分配一个EventLoop处理Channel的读写实现,通过Selector进行事件循环
    • Channel:网络通信的载体,提供了较NIO的Channel更高层次的抽象。会有生命周期,每一种状态都会绑定事件回调。
  • 事件调度层:通过Reactor线程模型对各类事件进行处理,通过Selector主循环线程集成多种事件,实际的处理逻辑交给服务编排层的Handler完成。
    • EventLoopGroup:本质是一个线程池,负责接收IO请求,并分配线程去执行。内部有EventLoop。是Reactor线程模型的具体实现方式,通过传入不同参数,支持Reactor的三种线程模型:
      • 单线程模型:EventLoopGroup内部包含一个EventLoop,Boss和Worker同时使用一个EventLoopGroup。
      • 多线程模型:EventLoopGroup内部包含多个EventLoop,Boss和Worker同时使用一个EventLoopGroup。
      • 主从多线程模型:EventLoopGroup内部包含多个EventLoop,Boss是主Reactor,Worker是从Reactor,使用不同的EventLoopGroup,主Reactor负责新连接的Channel创建,然后将Channel注册到从Reactor。
    • EventLoop:本质上是一个单线程执行器,内部维护一个Selector,处理Channel在生命周期内的所有IO事件,比如accept、connect、read、write等。同一时间与一个线程绑定,负责处理多个Channel。
  • 服务编排层:负责组装各类服务,实现对网络事件的处理
    • ChannelPipeline:负责组装各种ChannelHandler,内部通过双向链表来管理ChannelHandler,IO事件触发时,依次调用ChannelHandler来对数据进行拦截和处理。
      • 客户端和服务端都有各自的ChannelPipeline,数据从客户端发向服务端,该过程称为出站。反之为入站。
    • ChannelHandler:负责数据的编解码和加工处理,每一个都会绑定一个ChannelHandlerContext。
    • ChannelHandlerContext:用于保存ChannelHandler的上下文,通过它可以知道handler和pipeline的关联关系,可以实现handler之间的交互。

本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!