首页 > 文件和文件夹的个数是否对磁盘的IO有影响?

文件和文件夹的个数是否对磁盘的IO有影响?

linuxwindows的亦或是其他操作系统文件系统 中,文件的个数文件夹的个数文件夹的层级数是否对磁盘的IO有影响? 如果有,那么大概的阈值是多少?超过这个阈值会明显影响性能?


在linux下面如果文件多了,连ls都会卡得几乎没反应。这个我已经遇到了.....
但阈值多少也是和硬件有关的吧
你可以写个脚本生成空的文件或文件夹,然后记录不同的文件数量下ls得到返回的时间


在windows下面的话,文件夹的数量多,文件夹子目录深会对桌面的响应产生影响,个人用户的话,影响应该不明显,服务器的话,没有测试过。windows文件和文件目录好像可以通过日志检索,速度应该也不会慢。


回答一下LZ的问题,这里仅针对Linux下的情况来说:

文件的个数、文件夹的个数、文件夹的层级数是否对磁盘的IO有影响

要想了解问题的本质,需要知道一个文件和一个文件夹(以下都称为目录)在Linux下面是怎么表示的。

文件系统是个很大的范畴,这里简要说以下几点:

0. 文件是什么
1. 文件名有什么用
2. 怎样根据文件名找到文件
3. 目录是怎样索引的

针对以上几点做出解释

0. 文件是什么

文件其实是一种对磁盘中存储的一堆零散的数据的一种描述.
在Linux上,一个文件由一个inode 表示.inode在系统管理员看来是每一个文件的唯一标识.
在系统里面,inode是一个结构,存储了关于这个文件的大部分信息。

我们创建一个文件然后看看文件都有哪些信息:$>stat 命令

zb@ubuntu:/tmp$ touch a
zb@ubuntu:/tmp$ stat a
File: `a'
Size: 0             Blocks: 0          IO Block: 4096   regular empty file
Device: 801h/2049d  Inode: 786623      Links: 1
Access: (0664/-rw-rw-r--)  Uid: ( 1000/      zb)   Gid: ( 1000/      zb)
Access: 2014-08-21 23:07:23.311074036 -0700
Modify: 2014-08-21 23:07:23.311074036 -0700
Change: 2014-08-21 23:07:23.311074036 -0700
Birth: -

Inode号就是这个文件的唯一标识,可以看做是数据库中的主键.
一个inode 一般占了128KB或者是256KB,是的,有可能比文件本身还大.
inode中存储了一个文件的以下信息:

1. 文件大小
2. 文件的存储位置
3. 用户的GID, UID
4. 文件的访问权限
5. 时间戳
6. 硬链接数()

inode号在系统中是会用完的,查看系统的inode整体信息可以用命令 (LZ问题:文件的个数是否会影响,答案是的)

$>df -i

zb@ubuntu:/tmp$ df -i
Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/sda1      1245184 163895 1081289   14% /
udev            123823    484  123339    1% /dev
tmpfs           126215    403  125812    1% /run
none            126215      5  126210    1% /run/lock
none            126215      4  126211    1% /run/shm

如果你的系统中零散的小文件很多,是会浪费掉很多的inode的.

有可能导致的情况就是磁盘任然有空间但是创建文件缺失败了 (LZ问题:文件的个数是否会影响,答案是的)


1. 文件名有什么用

文件名的作用在于找到inode

文件名不由inode保存,实际上系统是不关心文件名的,对于系统中任何的操作,大部分情况下你都是通过文件名来做的,
但系统最终都要通过找到文件对应的inode来操作文件,由inode结构中 *i_op指向的接口来操作.

2. 怎样根据文件名找到文件

目录也是文件

要想明白这一点,就需要知道在内核中,目录也是一个文件,也有对应的inode.
只不过inode中存储文件实际内容的不是文件内容而是一个 dentry(dir entry)结构, 可以看做一个对文件的描述的内存结构

3. 目录是怎样索引的

把inode看做指针就明白了

/data/shells/text.txt中,/data 既是一个文件也是一个目录

找到根目录/ 的dentry中的inode 找到 data 的 dentry,根据'data' dentry中的inode找到'shells' dentry和inode.
然后递归的查找下去,最终找到test.txt的inode.
系统是知道 / 的dentry是在哪里的.
文件名就存在于dentry中,路径中的每一级的路径名也算做是其文件名
在dentry结构中有一个指向父节点的指针,也就是 '../',值得一提的是 '..'是指向上层目录的一个硬链接

回答楼主的答案:

文件的个数、文件夹的个数、文件夹的层级数是否对磁盘的IO有影响?

文件的个数、文件夹的个数 是会影响到对于找到文件时候的IO的,要知道有时候目录结构也是保存在磁盘的.
但是在找到了文件后,对磁盘IO影响就不大了。
文件夹的层级数 会对索引造成更多的操作,这是肯定的.和上一个问题答案一样.
大概的阈值是多少? 这个就是用 $> df -i 看看你的 Inodes IUsed IFree三个值了


原理上讲,磁盘IO是以扇区为单位的,如果文件比较分散的话,会增加机械寻道的概率,应该会有一些影响,具体不知道怎么测算。

【热门文章】
【热门文章】