Linux大文件重定向與管道的效率是怎樣的

2024-08-27 23:55:17

字體：大中小

供稿：網(wǎng)友

　　這篇文章主要講解了“Linux大文件重定向和管道的效率是怎樣的”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Linux大文件重定向和管道的效率是怎樣的”吧！

　　導(dǎo)讀大家先看一下二個命令，假如huge_dump.sql文件很大，然后猜測一下哪種導(dǎo)入方式效率會更高一些?
　　# 命令1，管道導(dǎo)入
　　shell> cat huge_dump.sql | mysql -uroot;
　　# 命令2，重定向?qū)?br />　　shell> mysql -uroot < huge_dump.sql;
　　大家先看一下上面二個命令，假如huge_dump.sql文件很大，然后猜測一下哪種導(dǎo)入方式效率會更高一些?

　　這個問題挺有意思的，我的第一反應(yīng)是：沒比較過，應(yīng)該是一樣的，一個是cat負(fù)責(zé)打開文件，一個是bash

　　這種場景在MySQL運(yùn)維操作里面應(yīng)該比較多，所以就花了點(diǎn)時間做了個比較和原理上的分析：

　　我們先構(gòu)造場景：

　　首先準(zhǔn)備一個程序b.out來模擬mysql對數(shù)據(jù)的消耗：

　　int main(int argc, char *argv[])
　　 while(fread(buf, sizeof(buf), 1, stdin) > 0);
　　    return 0;
　　}
　　
　　$ gcc -o b.out b.c
　　$ ls|./b.out
　　再來寫個systemtap 腳本用來方便觀察程序的行為。

　　$ cat test.stp
　　function should_log(){
　　 return (execname() == "cat" ||
　　      execname() == "b.out" ||
　　      execname() == "bash") ;
　　}
　　probe syscall.open,
　　      syscall.close,
　　      syscall.read,
　　      syscall.write,
　　      syscall.pipe,
　　      syscall.fork,
　　      syscall.execve,
　　      syscall.dup,
　　      syscall.wait4
　　{
　　 if (!should_log()) next;
　　 printf("%s -> %s/n", thread_indent(0), probefunc());
　　}
　　
　　probe kernel.function("pipe_read"),
　　      kernel.function("pipe_readv"),
　　      kernel.function("pipe_write"),
　　      kernel.function("pipe_writev")
　　{
　　 if (!should_log()) next;
　　 printf("%s -> %s: file ino %d/n", thread_indent(0), probefunc(), __file_ino($filp));
　　}
　　probe begin { println(":~") }

　　好了，場景齊全了，我們接著來比較下二種情況下的速度，第一種管道：

　　# 第一種管道方式
　　$ time (cat huge_dump.sql|./b.out)
　　
　　real    0m0.596s
　　user    0m0.001s
　　sys     0m0.919s
　　從執(zhí)行時間數(shù)看出來速度有3倍左右的差別了，第二種明顯快很多。

　　是不是有點(diǎn)奇怪?好吧我們來從原來上面分析下，還是繼續(xù)用數(shù)據(jù)說話：

　　這次準(zhǔn)備個很小的數(shù)據(jù)文件，方便觀察然后在一個窗口運(yùn)行stap

　　$ echo hello > huge_dump.sql
　　$ sudo stap test.stp
　　:~
　　     0 bash(26570): -> sys_read
　　     0 bash(26570): -> sys_read
　　     0 bash(26570): -> sys_write
　　     0 bash(26570): -> sys_read
　　     0 bash(26570): -> sys_write
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> sys_pipe
　　     0 bash(26570): -> sys_pipe
　　     0 bash(26570): -> do_fork
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> do_fork
　　     0 bash(13775): -> sys_close
　　     0 bash(13775): -> sys_read
　　     0 bash(13775): -> pipe_read: file ino 20906911
　　     0 bash(13775): -> pipe_readv: file ino 20906911
　　     0 bash(13776): -> sys_close
　　     0 bash(13776): -> sys_close
　　     0 bash(13776): -> sys_close
　　     0 bash(13776): -> do_execve
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> sys_close
　　     0 bash(13775): -> sys_close
　　     0 bash(26570): -> sys_wait4
　　     0 bash(13775): -> sys_close
　　     0 bash(13775): -> sys_close
　　     0 b.out(13776): -> sys_close
　　     0 b.out(13776): -> sys_close
　　     0 bash(13775): -> do_execve
　　     0 b.out(13776): -> sys_open
　　     0 b.out(13776): -> sys_close
　　     0 b.out(13776): -> sys_open
　　     0 b.out(13776): -> sys_read
　　     0 b.out(13776): -> sys_close
　　     0 cat(13775): -> sys_close
　　     0 cat(13775): -> sys_close
　　     0 b.out(13776): -> sys_read
　　     0 b.out(13776): -> pipe_read: file ino 20906910
　　     0 b.out(13776): -> pipe_readv: file ino 20906910
　　     0 cat(13775): -> sys_open
　　     0 cat(13775): -> sys_close
　　     0 cat(13775): -> sys_open
　　     0 cat(13775): -> sys_read
　　     0 cat(13775): -> sys_close
　　     0 cat(13775): -> sys_open
　　     0 cat(13775): -> sys_close
　　     0 cat(13775): -> sys_open
　　     0 cat(13775): -> sys_read
　　     0 cat(13775): -> sys_write
　　     0 cat(13775): -> pipe_write: file ino 20906910
　　     0 cat(13775): -> pipe_writev: file ino 20906910
　　     0 cat(13775): -> sys_read
　　     0 b.out(13776): -> sys_read
　　     0 b.out(13776): -> pipe_read: file ino 20906910
　　     0 b.out(13776): -> pipe_readv: file ino 20906910
　　     0 cat(13775): -> sys_close
　　     0 cat(13775): -> sys_close
　　     0 bash(26570): -> sys_wait4
　　     0 bash(26570): -> sys_close
　　     0 bash(26570): -> sys_wait4
　　     0 bash(26570): -> sys_write

（編輯：武林網(wǎng)）

上一篇：linux怎樣永久修改主機(jī)名

下一篇：Linux軟鏈接和硬鏈接的差別是什么