TensorFlow推出新接口

传统的Buffered IO使用read(2)读取文件的过程什么样的?

假设要去读一个冷文件(Cache中不存在)，open(2)打开文件内核后建立了一系列的数据结构，接下来调用read(2)，到达文件系统这一层，发现Page Cache中不存在该位置的磁盘映射，然后创建相应的Page Cache并和相关的扇区关联。然后请求继续到达块设备层，在IO队列里排队，接受一系列的调度后到达设备驱动层，此时一般使用DMA方式读取相应的磁盘扇区到Cache中，然后read(2)拷贝数据到用户提供的用户态buffer中去(read(2)的参数指出的)。

整个过程有几次拷贝?

从磁盘到Page Cache算第一次的话，从Page Cache到用户态buffer就是第二次了。

而mmap(2)做了什么?

mmap(2)直接把Page Cache映射到了用户态的地址空间里了，所以mmap(2)的方式读文件是没有第二次拷贝过程的。

那Direct IO做了什么?

这个机制更狠，直接让用户态和块IO层对接，直接放弃Page Cache，从磁盘直接和用户态拷贝数据。

好处是什么?

写操作直接映射进程的buffer到磁盘扇区，以DMA的方式传输数据，减少了原本需要到Page Cache层的一次拷贝，提升了写的效率。

对于读而言，第一次肯定也是快于传统的方式的，但是之后的读就不如传统方式了(当然也可以在用户态自己做Cache，有些商用数据库就是这么做的)。

除了传统的Buffered IO可以比较自由的用偏移+长度的方式读写文件之外，mmap(2)和Direct IO均有数据按页对齐的要求，Direct IO还限制读写必须是底层存储设备块大小的整数倍(甚至Linux 2.4还要求是文件系统逻辑块的整数倍)。所以接口越来越底层，换来表面上的效率提升的背后，需要在应用程序这一层做更多的事情。所以想用好这些高级特性，除了深刻理解其背后的机制之外，也要在系统设计上下一番功夫。

阻塞/非阻塞与同步/异步

了解了IO的概念，现在我们来讲解什么是阻塞、非阻塞、同步、异步。

阻塞/非阻塞

针对的对象是调用者自己本身的情况

阻塞

指调用者在调用某一个函数后，一直在等待该函数的返回值，线程处于挂起状态。

非阻塞

指调用者在调用某一个函数后，不等待该函数的返回值，线程继续运行其他程序(执行其他操作或者一直遍历该函数是否返回了值)

同步/异步

针对的对象是被调用者的情况

同步

指的是被调用者在被调用后，操作完函数所包含的所有动作后，再返回返回值

异步

指的是被调用者在被调用后，先返回返回值，然后再进行函数所包含的其他动作。

五种IO模型

下面以recvfrom/recv函数为例，这两个函数都是操作系统的内核函数，用于从(已连接)socket上接收数据，并捕获数据发送源的地址。

recv函数原型：

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!