linux文件管理之管道与重定向_daxiao6820的博客-程序员秘密

技术标签: awk  shell  操作系统  


==============================================================

内容提要:
输入输出重定向、管道;
重定向的作用;
文件描述符 0 1 2 &>;
输入输出重定向实现;
管道 | 基本原理;
匿名管道及命名管道的区别;
管道的应用实战
==============================================================

本节作业:

 

1.完成课堂中学习的所有内容


2. 管道及重定向练习
1)统计/usr/bin/目录下的文件个数;
2)取出当前系统上所有用户的shell,要求,每种shell只显示一次,并且按顺序进行显示;
3)思考:如何显示/var/log目录下每个文件的内容类型?
4)取出/etc/inittab文件的第6行;
5)取出/etc/passwd文件中倒数第9个用户的用户名和shell,显示到屏幕上并将其保存至/tmp/users文件中;
6)显示/etc目录下所有以pa开头的文件,并统计其个数;
7)不使用文本编辑器,将alias cls=clear一行内容添加至当前用户的.bashrc文件中;

 

 

I/O重定向

 

I/O Redirection
====================================================================================
标准输入、标准输出、标准错误
输出重定向及综合案例
输入重定向及结合案例


标准输入、标准输出、标准错误

file descriptors (FD,文件描述符 或 Process I/O channels):
进程使用文件描述符来管理打开的文件
[[email protected] ~]# ls /proc/$$/fd
0 1 2 3 4

0, 1, and 2, known as standard input, standard output, and standard error




输出重定向 (覆盖,追加)
正确输出: 1> 1>> 等价于 > >>
错误输出: 2> 2>>

案例1:输出重定向(覆盖)
[[email protected] ~]# date 1> date.txt

案例2:输出重定向(追加)
[[email protected] ~]# date >> date.txt


案例3:错误输出重定向
[[email protected] ~]# ls /home/ /aaaaaaaaa >list.txt
ls: 无法访问/aaaaaaaaa: 没有那个文件或目录
[[email protected] ~]# ls /home/ /aaaaaaaaa >list.txt 2>error.txt //重定向到不同的位置


案例4: 正确和错误都输入到相同位置
[[email protected] ~]# ls /home/ /aaaaaaaaa &>list.txt //混合输出

案例5: 正确和错误都输入到相同位置
[[email protected] ~]# ls /home/ /aaaaaaaaa >list.txt 2>&1 //重定向到相同的位置

案例6:重定向到空设备/dev/null
[[email protected] ~]# ls /home/ /aaaaaaaaa >list.txt 2>/dev/null //空设备,即将产生的输出丢掉
[[email protected] ~]# ls /home/ /aaaaaaaaa &>/dev/null //空设备,即将产生的输出丢掉

cp /etc/passwd /dev/null ???
cp /etc/passwd /etc/passwd1 2>/dev/null ???



sudo rm /dev/null
sudo mknod -m 666 /dev/null c 1 3



案例7:脚本中使用重定向
# vim ping.sh
#!/usr/bin/bash
ping -c1 172.16.120.254 &>/dev/null
if [ $? -eq 0 ];then
echo "up.."
else
echo "down.."
fi
# bash ping.sh

案例8:脚本中使用重定向
# vim ping2.sh
#!/usr/bin/bash
ping -c1 172.16.120.254 &>/dev/null
if [ $? -eq 0 ];then
echo "172.16.120.254 up.." > /up.txt
else
echo "172.16.120.254 down.." >/down.txt
fi
# bash ping2.sh

>new.txt ???
>/etc/passwd ???
>/etc ???




输入重定向
标准输入: < 等价 0<
案例1:
[[email protected] ~]# mail -s "ssss" alice //没有改变输入的方向,默认键盘
111
222
333
^D
[[email protected] ~]# su - alice
[[email protected] ~]$ mail
Mail version 8.1 6/6/93. Type ? for help.
"/var/spool/mail/alice": 1 message 1 new
>N 1 [email protected] Mon Oct 29 14:09 18/657 "ssss"
&

[[email protected] ~]# mail -s "test01" alice < /etc/hosts //输入重定向,来自于文件

案例2:
[[email protected] ~]# grep 'root' //没有改变输入的方向,默认键盘,此时等待输入...
yang sss
sssrootssss..
sssrootssss..

[[email protected] ~]# grep 'root' < /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

案例3:
[[email protected] ~]# dd if=/dev/zero of=/file1.txt bs=1M count=2
[[email protected] ~]# dd </dev/zero >/file2.txt bs=1M count=20

案例4:mysql表结构导入
[[email protected] ~]# mysql -uroot -p123 < bbs.sql

案例5:at
[[email protected] ~]# at now +5 min
at> useradd yang99
at> <EOT>
job 1 at 2015-06-09 11:57

[[email protected] ~]# vim at.txt
useradd yang100
useradd yang102
[[email protected] ~]# at now +2 min < at.txt
job 2 at 2015-06-09 11:55

sudo: sorry, you must have a tty to run sudo
sudo: sorry, you must have a tty to run sudo




综合案例1: 利用重定向建立多行的文件
[[email protected] ~]# echo "111" > file1.txt
[[email protected] ~]# cat file1.txt
111

[[email protected] ~]# cat >file2.txt
111
222
333
444
^D
[[email protected] ~]# cat file2.txt

请问:file2.txt有几行?




[[email protected] ~]# cat >>file3.txt
aaa
bbb
ccc
ddd
^D
[[email protected] ~]# cat file3.txt

请问:file3.txt有几行?



[[email protected] ~]# cat >file4 <<EOF
> 111
> 222
> 333
> EOF
[[email protected] ~]# cat file4
111
222
333


综合案例2: 脚本中利用重定向打印消息
[[email protected] ~]# vim yang.sh
#!/usr/bin/bash
cat <<-EOF
+------------------------------------------------+
| |
| ====================== |
| 虚拟机基本管理centos |
| by localhost |
| ====================== |
| 1. 安装虚拟机 |
| 2. 重置所有Linux虚拟机 |
| 3. 重置Windows虚拟机 |
| 4. 重置Windows虚拟机 [完全] |
| 5. 重置指定的虚拟机 |
| q. 退出管理程序 |
| |
+------------------------------------------------+
EOF


综合案例3
[[email protected] ~]# ls; date &>/dev/null

[[email protected] ~]# ls &>/dev/null; date &>/dev/null

[[email protected] ~]# (ls; date) &>/dev/null

[[email protected] ~]# (while :; do date; sleep 2; done) &>date.txt

[[email protected] ~]# (while :; do date; sleep 2; done) &>date.txt &
[1] 6595
[[email protected] ~]# tailf date.txt
Tue Apr 12 22:04:32 CST 2016
Tue Apr 12 22:04:34 CST 2016
Tue Apr 12 22:04:36 CST 2016
Tue Apr 12 22:04:38 CST 2016
Tue Apr 12 22:04:40 CST 2016
Tue Apr 12 22:04:42 CST 2016
Tue Apr 12 22:04:44 CST 2016
Tue Apr 12 22:04:46 CST 2016
Tue Apr 12 22:04:48 CST 2016

[[email protected] ~]# jobs
[1]+ Running ( while :; do
date; sleep 2;
done ) &>date.txt &
[[email protected] ~]# kill %1
[[email protected] ~]# jobs

[[email protected] ~]# (./configure && make && make install) &>/dev/null

使用文件描述符重定向
使用文件描述符的重定向都使用了&符号
cmd >&n 把输出送到文件描述符n
cmd m>&n 把输出到文件符m的信息重定向到文件描述符n
cmd >&- 关闭标准输出
cmd <&n 输入来自文件描述符n
cmd m<&n m来自文件描述符n
cmd <&- 关闭标准输入
cmd <&n- 移动输入文件描述符n而非复制它。
cmd >&n- 移动输出文件描述符 n而非复制它。

2>&1:将stderr重定向到标准输出

重定向组合使用
cmd 2>file <==>cmd &> file <==>cmd >& file
cmd > file 2>&1
cmd > f1 2>f2
tee files

cmd >/dev/null 2>&1 <==> &> /dev/null

特殊应用:
cat > catfile <<EOF

扩展点:subshell
[[email protected] ~]# (umask 777; touch file8888)
[[email protected] ~]#
[[email protected] ~]# ll file8888
---------- 1 root root 0 Apr 12 22:11 file8888
[[email protected] ~]#
[[email protected] ~]# umask
0022


进程管道 Piping


====================================================================================
• Use redirection characters to control output to files.
• Use piping to control output to other programs.

files: > 2> file1.txt /dev/pts/2 /dev/tty1 /dev/null /dev/sda
programs: |

进程管道
用法:command1 | command2 |command3 |...


[[email protected] ~]# ll /dev/ |less
[[email protected] ~]# ps aux |grep 'sshd'
[[email protected] ~]# rpm -qa |grep 'httpd' //查询所有安装的软件包,过滤包含httpd的包
[roo[email protected] ~]# yum list |grep 'httpd'

案例1:将/etc/passwd中的用户按UID大小排序
[[email protected] ~]# sort -t":" -k3 -n /etc/passwd //以: 分隔,将第三列按字数升序
[[email protected] ~]# sort -t":" -k3 -n /etc/passwd -r //逆序
[[email protected] ~]# sort -t":" -k3 -n /etc/passwd |head
-t 指定字段分隔符--field-separator
-k 指定列
-n 按数值

案例2:统计出最占CPU的5个进程
[[email protected] ~]# ps aux --sort=-%cpu |head -6

案例3:统计当前/etc/passwd中用户使用的shell类型
思路:取出第七列(shell) | 排序(把相同归类)| 去重
[[email protected] ~]# awk -F: '{print $7}' /etc/passwd
[[email protected] ~]# awk -F: '{print $7}' /etc/passwd |sort
[[email protected] ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq
[[email protected] ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq -c
131 /bin/bash
1 /bin/sync
1 /sbin/halt
63 /sbin/nologin
1 /sbin/shutdown
-F: 指定字段分隔符
$7 第七个字段

案例4: 统计网站的访问情况 top 20
思路: 打印所有访问的连接 | 过滤访问网站的连接 | 打印用户的IP | 排序 | 去重
[[email protected] ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c
4334 192.168.0.66
1338 192.168.10.11
1482 192.168.10.125
44 192.168.10.183
3035 192.168.10.213
375 192.168.10.35
362 192.168.10.39
[[email protected] ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20

案例5: 打印当前所有IP
[[email protected] ~]# ip addr |grep 'inet ' |awk '{print $2}' |awk -F"/" '{print $1}'
127.0.0.1
192.168.2.115

案例6:打印根分区已用空间的百分比(仅打印数字)
[[email protected] ~]# df -P |grep '/$' |awk '{print $5}' |awk -F"%" '{print $1}'


tee管道

[[email protected] ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
127.0.0.1
172.16.60.1
[[email protected] ~]# cat ip.txt
inet 127.0.0.1/8 scope host lo
inet 172.16.60.1/24 brd 172.16.60.255 scope global eth0


[[email protected] ~]# ip addr |grep 'inet ' |tee -a ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
127.0.0.1
172.16.60.1

[[email protected] ~]# date |tee date.txt
Sat Mar 11 10:22:31 CST 2017

注意:
1、管道命令只处理前一个命令正确输出,不处理错误输出。
2、管道命令右边命令,必须能够接收标准输入流命令才行。

作业:
1. 了解匿名管道和命名管道的区别?

匿名管道由pipe函数创建并打开。
命名管道由mkfifo函数创建,打开用open
FIFO(命名管道)与pipe(匿名管道)之间唯一的区别在它们创建与打开的方式不同,一量这些工作完成之后,它们具有相同的语义。



2. 如何创建命名管道?


在Linux系统下,命名管道可由两种方式创建(假设创建一个名为“fifoexample”的有名管道):
(1)mkfifo("fifoexample","rw");
(2)mknod fifoexample p
mkfifo是一个函数,mknod是一个系统调用


点击这里 点击这里
通配符 含义
* 匹配零个或多个字符。
? 匹配任意单个字符。
[0-9] 匹配范围内的数字。
[abc] 匹配已出的任意字符。



查看sda开头的所有设备文件:
[[email protected] ~]# ls /dev/sda*
/dev/sda /dev/sda1 /dev/sda2
查看sda后面有一个字符的设备文件:
[[email protected] ~]# ls /dev/sda?
/dev/sda1 /dev/sda2
查看sda后面包含0-9数字的设备文件:
[[email protected] ~]# ls /dev/sda[0-9]
/dev/sda1 /dev/sda2
查看sda后面是1或3或5的设备文件:
[[email protected] ~]# ls /dev/sda[135]
/dev/sda1
另外bash解释器还支持很多的特殊字符扩展:

点击这里 点击这里
字符 作用
\(反斜杠) 转义后面单个字符
''(单引号) 转义所有的字符
""(双引号) 变量依然生效
``(反引号) 执行命令语句




PATH变量


alias命令用于设置命令的别名,格式为:“alias 别名=命令”。
例如担心复制文件时误将文件覆盖,那么执行alias cp=”cp -i”则每次覆盖都会询问用户。
unalias命令用于取消命令的别名,格式为:“unalias 别名”。

当用户执行了一条”ls“命令后发生了什么事情?
步骤一:如果是以绝对/相对路径输入的命令则直接执行(如执行/bin/ls)。
步骤二:检查是否为alias别名命令。
步骤三:由bash判断其是“内部命令”还是“外部命令”。
内部命令:属于解释器内部的
外部命令:独立于解释器外的命令文件
步骤四:通过$PATH变量中定义的路径进行命令查找。

查看$PATH变量的方法:echo $PATH

$PATH变量是“解释器的助手”,它负责告诉bash用户要执行的命令可能存放在那里,然后bash就会在这些目录里寻找。

转载于:https://www.cnblogs.com/anttech/p/10597679.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/daxiao6820/article/details/101782422

智能推荐

免费而优秀的图表JS插件、js图表、html图表--百度的Echart、Highcharts、阿里的G2、Chart.js_上官飞蓬的博客-程序员秘密

免费而优秀的图表JS插件1.百度的EchartECharts,缩写来自Enterprise Charts,是百度推出的一款开源的,商业级数据图表,它最初是为了满足百度公司商业体系里各种业务系统(如凤巢、广告管家等等)的报表需求。2.Highcharts中文网站:http://www.hcharts.cn/Highcharts是国外的一款功能强大、开源、美观、图表

overflow-scrolling:touch bug_5月初的博客-程序员秘密

当你给一个元素设置过position:absolute;或者position:relative;后再增加-webkit-overflow-scrolling: touch;属性后,你会发现,滑动几次后可滚动区域会卡主,不能在滑动,这时给元素增加个z-index值就可以了。-webkit-overflow-scrolling: touch; position:absolute; z-index:1; ...

JavaScript基础:手写Promise(2)_手写promise能提高js吗_innagine的博客-程序员秘密

书接上回,本次推文将会继续讲解Promise的开发,以提高异步编程的能力。一、回顾上次推文代码回顾:class MyPromise{ static PENDING = 'pending'; static FULFILLED = 'fulfilled'; static REJECTED = 'rejected'; constructor(executor){ this.status = MyPromise.PENDING; this.value = nul.

eclipse中Refresh Gradle Project时遇到Supplied javaHome is not a valid folder错误_hz_1943的博客-程序员秘密

解决方法:在eclipse中打开Navigator View,修改.settings文件夹下的org.eclipse.jdt.core.prefs文件(应该是gradle插件创建的)中的connection.java.home。关于.settings文件夹可以参考该文档:http://blog.csdn.net/jmyue/article/details/11400779

Linux拷贝数据死机了,Linux系统“死机”时怎么办?_weixin_39600291的博客-程序员秘密

如果问题能够再现,那么问题已经解决 80% 了。对于操作系统核心而言,如果有问题的再现方法,那么可以说是已经解决 99% 了。经常遇到的问题是系统可以正常运行一段时间,然后死机。如果不好再现问题,那么只有根据死机现场遗留的东西来进行分析了。如果系统没有死干净,比如磁盘中断和文件系统是好的,那么也许能有日志信息保留在文件中,不过这样的好运气我是从来没有遇到过的。如果键盘中断还能响应 (按下Num L...

Odoo | 技巧 | 源码功能-浅谈Odoo提供的附件机制(基于Odoo8)_odoo 附件无法识别类型_[Kenny]的博客-程序员秘密

Odoo提供的附件机制存储位置可配置:   通过 设置-参数-系统参数 定义的关键字ir_attachment.location来控制附件的存储方式。 1.如果未维护记录或者维护记录值不为db,默认存储路径为应用服务器上的/var/lib/odoo/filestore/数据库名称/文件夹,例如/var/lib/odoo/filestore/ 868/9c。2.将文件的路径写入s...

随便推点

8个WEB前端创意HTML5动画应用精选_帅的相对论的博客-程序员秘密

和十几年前相比,现在的网页加入了很多动画元素,从之前的Flash到现在的HTML5,动画样式越来越丰富,动画制作也越来越便捷。本文精选了几款非常富有创意的HTML5动画应用,欣赏一下吧。1、HTML5图片相册重力感应特效今天我们要来分享一款和HTML5重力感应相关的动画特效,这是一个图片相册,点击按钮即可让排列整齐的图片散落开来。这款HTML5重力感应动画特效可以允许你用鼠标拖拽甩动图片,

python Only timezones from the pytz library are supported_liujingqiu的博客-程序员秘密

最近在使用测试平台时,使用到定时任务时,遇到的问题:新建失败:Only timezones from the pytz library are supported各种方法百度等,均不得其解。这个问题的出现,相同的代码,在不同的电脑上表现出来的形式,排除法分析可能会是python版本或者python库版本问题。后面在一个帖子中,看到,将tzlocal 的版本改为2.1当使用pip list查看到,当前出错的tzlocal版本是 3.0于是试着重新安装了tzlocal ,pip install tz

vue前端接收excel文件流并下载_前端 用地址获取 文件excel_想要吐泡泡的鱼的博客-程序员秘密

请求如下axios({ url: '接口地址', method: 'get', //当前请求的请求方式 params: parameter, //如果还有其他参数,在这里传递 responseType: 'blob' //一定要记得加这行,设置服务器响应的数据类型为blob类型 })```后台直接返回文件流var res = 上面请求返回的文件流/////接下来是处理文件流并下载逻辑```javascriptlet blob = new Blob([re

相机参数标定:张正友标定法_削笔刀的博客-程序员秘密

一、镜头畸变:用广角镜头拍摄的特写照片,其中被摄对象的鼻子与面部的其它器官相比会显得出奇的大。这就是用广角镜头拍摄的很多照片所具有的一种透视畸变形式的特征。这种失真发生的原因其实就是透视,正常透视,众所周知,眼睛感觉远近的一种方法就是利用物体的相对大小,也就是“近大远小”。在摄影中,也是用相同方法表达透视关系的:平行的铁轨会随着我们向远处了望而显得越来越靠近,直至汇聚成一点。这一现象的本质就是...

Python的getattr(),setattr(),delattr(),hasattr()_python sattr_Shawn.Hu的博客-程序员秘密

http://www.cnblogs.com/zhangjing0502/archive/2012/05/16/2503702.htmlgetattr()函数是Python自省的核心函数,具体使用大体如下:获取对象引用getattrGetattr用于返回一个对象属性,或者方法class A:       def __init__(self):

推荐文章

热门文章

相关标签