BlogJava-xiaomage234-随笔分类-shell

linux nc(netcat)命令详解

小马歌 — Wed, 16 Sep 2015 01:01:00 GMT

NetCat，在网络工具中有ldquo;瑞士军刀rdquo;美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩

NetCat，在网络工具中有“瑞士军刀”美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩减版甚至更小）、功能实用，被设计为一个简单、可靠的网络工具，可通过TCP或UDP协议传输读写数据。同时，它还是一个网络应用Debug分析器，因为它可以根据需要创建各种不同类型的网络连接。

一、版本
通常的Linux发行版中都带有NetCat（简称nc），甚至在拯救模式光盘中也由busybox提供了简版的nc工具。但不同的版本，其参数的使用略有差异。
NetCat 官方地址：

引用[root@hatest1 ~]# cat /etc/asianux-release
Asianux release 2.0 (Trinity SP2)
[root@hatest1 ~]# cat /etc/redflag-release
Red Flag DC Server release 5.0 (Trinity SP2)
[root@hatest1 ~]# type -a nc
nc is /usr/bin/nc
[root@hatest1 ~]# rpm -q nc
nc-1.10-22

建议在使用前，先用man nc看看帮助。这里以红旗DC Server 5.0上的1.10版本进行简单说明。
假设两服务器信息：

server1: 192.168.10.10
server2: 192.168.10.11

二、常见使用
1、远程拷贝文件
从server1拷贝文件到server2上。需要先在server2上，，用nc激活监听，

server2上运行： nc -l 1234 > text.txt

server1上运行： nc 192.168.10.11 1234 < text.txt

注：server2上的监听要先打开

2、克隆硬盘或分区
操作与上面的拷贝是雷同的，只需要由dd获得硬盘或分区的数据，然后传输即可。
克隆硬盘或分区的操作，不应在已经mount的的系统上进行。所以，需要使用安装光盘引导后，进入拯救模式（或使用Knoppix工具光盘）启动系统后，在server2上进行类似的监听动作：

nc -l -p 1234 | dd of=/dev/sda

server1上执行传输，即可完成从server1克隆sda硬盘到server2的任务：

dd if=/dev/sda | nc192.168.10.11 1234

※ 完成上述工作的前提，是需要落实光盘的拯救模式支持服务器上的网卡，并正确配置IP。

3、端口扫描
可以执行：

# nc -v -w 2 192.168.10.11 -z 21-24
nc: connect to 192.168.10.11 port 21 (tcp) failed: Connection refused
Connection to 192.168.10.11 22 port [tcp/ssh] succeeded!
nc: connect to 192.168.10.11 port 23 (tcp) failed: Connection refused
nc: connect to 192.168.10.11 port 24 (tcp) failed: Connection refused
-z后面跟的是要扫描的端口

4、保存Web页面

# while true; do nc -l -p 80 -q 1 < somepage.html; done

5、模拟HTTP Headers

引用[root@hatest1 ~]# nc 80
GET / HTTP/1.1
Host: ispconfig.org
Referrer: mypage.com
User-Agent: my-browser

HTTP/1.1 200 OK
Date: Tue, 16 Dec 2008 07:23:24 GMT
Server: Apache/2.2.6 (Unix) DAV/2 mod_mono/1.2.1 mod_python/3.2.8 Python/2.4.3 mod_perl/2.0.2 Perl/v5.8.8
Set-Cookie: PHPSESSID=bbadorbvie1gn037iih6lrdg50; path=/
Expires: 0
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Cache-Control: private, post-check=0, pre-check=0, max-age=0
Set-Cookie: oWn_sid=xRutAY; expires=Tue, 23-Dec-2008 07:23:24 GMT; path=/
Vary: Accept-Encoding
Transfer-Encoding: chunked
Content-Type: text/html
[......]

在nc命令后，输入红色部分的内容，然后按两次回车，即可从对方获得HTTP Headers内容。

6、聊天
nc还可以作为简单的字符下聊天工具使用，同样的，server2上需要启动监听：

server2上启动：# nc -lp 1234
server1上传输：# nc 192.168.10.11 1234

这样，双方就可以相互交流了。使用Ctrl+D正常退出。

7、传输目录
从server1拷贝nginx-0.6.34目录内容到server2上。需要先在server2上，用nc激活监听，

server2上运行：# nc -l 1234 |tar xzvf -

server1上运行：# tar czvf - nginx-0.6.34|nc 192.168.10.11 1234

8、用nc命名操作memcached

1）存储数据：printf “set key 0 10 6rnresultrn” |nc 192.168.10.11 11211
2）获取数据：printf “get keyrn” |nc 192.168.10.11 11211
3）删除数据：printf “delete keyrn” |nc 192.168.10.11 11211
4）查看状态：printf “statsrn” |nc 192.168.10.11 11211
5）模拟top命令查看状态：watch “echo stats” |nc 192.168.10.11 11211
6）清空缓存：printf “flush_allrn” |nc 192.168.10.11 11211 (小心操作，清空了缓存就没了）

小马歌 2015-09-16 09:01 发表评论

linux mount 工作组服务器

小马歌 — Wed, 04 Jul 2012 07:34:00 GMT

#!/bin/sh

defaultHost=//192.168.0.1/proj
defaultUserName=root
mountPath=/path/proj
host=$defaultHost
userName=$defaultUserName

if [ $# -eq 1 ]
then
    host=$1
    umount -l $mountPath
elif [ $# -eq 2 ]
then
    host=$1
    userName=$2
    umount -l $mountPath
elif [ $# -eq 3 ]
then
    host=$1
    userName=$2
    mountPath=$3
    umount -l $mountPath
fi
scmd="mount -t cifs -o user=$userName,password=workstation,rw,file_mode=0777,dir_mode=0777 $host $mountPath"
echo $scmd
eval $scmd

小马歌 2012-07-04 15:34 发表评论

实用的shell脚本命令和脚本【原创】

小马歌 — Thu, 15 Mar 2012 10:31:00 GMT

最常用的10大shell命令:

1 grep key ./file* -IR

2 find . -name "xxx" --exec rm -rf {} \;

3 rsync -avP -e ssh --exclude="config" /src/* /dest/

4 tail -5 /etc/passwd | awk -F: 'BEGIN{t=0}{t=t+$3}END{print t}'

5 sed -i 's/abc/123/' tmp

6 ps aux |grep mysql

7 df -lh

8 du /usr/local/ -lh --max-depth=1

9 cat /etc/passwd | sort |uniq -c |wc -l

10 netstat -an | awk '/^tcp/ {++arr[$NF];++arr["TOTAL_REQ"]} END{for(key in arr)print key,"\t",arr[key]}' | sort

测试脚本:

#!/bin/bash

#stat by datestr

function stathour()

{

datestr=$1

for file in `ls ./thumnail_log/TESTSERVER_downloadstat_${datestr}* | awk '{print $NF}'`

echo $file

awk '{print $10}' $file |sort -n |uniq -c

done

}

function statday()

{

datestr=$1

echo $datestr

awk '{print $10}' ./thumnail_log/TESTSERVER_downloadstat_${datestr}* |sort -n |uniq -c

}

function statperson()

{

datestr=$1

echo $datestr

awk '{if($10=1)print $1,$10}' ./thumnail_log/TESTSERVER_downloadstat_${datestr}* |sort -n |uniq -c |sort -n |wc -l

}

function getstartday()

{

local startday=""

if [ $# -lt 1 ]

then

startday="2012-03-09"

else

startday=$1

echo $startday

}

today=`date -d "tomorrow" +'%Y-%m-%d'`

startday=`getstartday $1`

cmd=$2

if [ -z $2 ];then

cmd="d"

echo "cmd:$cmd"

while [ $startday != $today ]

#echo $startday

case $cmd in

h) stathour $startday;;

d) statday $startday;;

p) statperson $startday;;

*) echo 'wrong cmd!';;

esac

startday=$(date -d "$startday +1 day" +%Y-%m-%d)

done

小马歌 2012-03-15 18:31 发表评论

linux SHELL技巧

小马歌 — Mon, 02 Mar 2009 10:02:00 GMT

1.删除0字节文件
find -type f -size 0 -exec rm -rf {} \;

2.查看进程
按内存从大到小排列
ps -e   -o "%C   : %p : %z : %a"|sort -k5 -nr

3.按cpu利用率从大到小排列
ps -e   -o "%C   : %p : %z : %a"|sort   -nr

4.打印说cache里的URL
grep -r -a   jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'

5.查看http的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config   sed在这个文里Root的一行，匹配Root一行，将no替换成yes.

7.1.如何杀掉mysql进程：
ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9 (从中了解到awk的用途)

killall -TERM mysqld

kill -9 `cat /usr/local/apache2/logs/httpd.pid`   试试查杀进程PID

8.显示运行3级别开启的服务:
ls /etc/rc3.d/S* |cut -c 15-   (从中了解到cut的用途，截取数据)

9.如何在编写SHELL显示多个信息，用EOF
cat << EOF
+--------------------------------------------------------------+
|       === Welcome to Tunoff services ===                |
+--------------------------------------------------------------+
EOF

10. for 的巧用(如给mysql建软链接)
cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done

11. 取IP地址：
ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6-   或者

ifconfig   | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'

12.内存的大小:
free -m |grep "Mem" | awk '{print $2}'

13.
netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort

14.查看Apache的并发请求数及其TCP连接状态：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.
find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'

CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。

--------------------------------------------------------------------------------------------------------------------
16   CPU负载   # cat /proc/loadavg
检查前三个输出值是否超过了系统逻辑CPU的4倍。

18   CPU负载   #mpstat 1 1
检查%idle是否过低(比如小于5%)

19   内存空间   # free
检查free值是否过低   也可以用 # cat /proc/meminfo

20   swap空间   # free
检查swap used值是否过高   如果swap used值过高，进一步检查swap动作是否频繁：
# vmstat 1 5
观察si和so值是否较大

21   磁盘空间   # df -h
检查是否有分区使用率(Use%)过高(比如超过90%)   如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：
# du -cks * | sort -rn | head -n 10

22   磁盘I/O负载   # iostat -x 1 2
检查I/O使用率(%util)是否超过100%

23   网络负载   # sar -n DEV
检查网络流量(rxbyt/s, txbyt/s)是否过高

24   网络错误   # netstat -i
检查是否有网络错误(drop fifo colls carrier)   也可以用命令：# cat /proc/net/dev

25 网络连接数目   # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n

26   进程总数   # ps aux | wc -l
检查进程个数是否正常 (比如超过250)

27   可运行进程数目   # vmwtat 1 5
列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍

28   进程   # top -id 1
观察是否有异常进程出现

29   网络状态   检查DNS, 网关等是否可以正常连通

30   用户   # who | wc -l
检查登录用户是否过多 (比如超过50个)   也可以用命令：# uptime

31   系统日志   # cat /var/log/rflogview/*errors
检查是否有异常错误记录   也可以搜寻一些异常关键字，例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages

32   核心日志   # dmesg
检查是否有异常错误记录

33   系统时间   # date
检查系统时间是否正确

34   打开文件数目   # lsof | wc -l
检查打开文件总数是否过多

35   日志   # logwatch –print   配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。
缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。
可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。

36.杀掉80端口相关的进程
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh

37.清除僵死进程。
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9

38.tcpdump 抓包，用来防止80端口被人攻击时可以分析数据
# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

39.然后检查IP的重复数并从小到大排序注意 "-t\ +0"   中间是两个空格
# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0

40.查看有多少个活动的php-cgi进程
netstat -anp | grep php-cgi | grep ^tcp | wc -l

chkconfig --list | awk '{if ($5=="3:on") print $1}'
41.kudzu查看网卡型号
kudzu --probe --class=network

小马歌 2009-03-02 18:02 发表评论

(转）Linux SHELL if 命令参数说明

小马歌 — Mon, 24 Mar 2008 04:10:00 GMT

俺反正是经常忘啊，用的时候总是翻箱倒柜的找也不是个事，把它们列在这里吧。

–b 当file存在并且是块文件时返回真
-c 当file存在并且是字符文件时返回真
-d 当pathname存在并且是一个目录时返回真
-e 当pathname指定的文件或目录存在时返回真
-f 当file存在并且是正规文件时返回真
-g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真
-h 当file存在并且是符号链接文件时返回真，该选项在一些老系统上无效
-k 当由pathname指定的文件或目录存在并且设置了“粘滞”位时返回真
-p 当file存在并且是命令管道时返回为真
-r 当由pathname指定的文件或目录存在并且可读时返回为真
-s 当file存在文件大小大于0时返回真
-u 当由pathname指定的文件或目录存在并且设置了SUID位时返回真
-w 当由pathname指定的文件或目录存在并且可执行时返回真。一个目录为了它的内容被访问必然是可执行的。
-o 当由pathname指定的文件或目录存在并且被子当前进程的有效用户ID所指定的用户拥有时返回真。

UNIX Shell 里面比较字符写法：

-eq 等于
-ne 不等于
-gt 大于
-lt 小于
-le 小于等于
-ge 大于等于
-z 空串
= 两个字符相等
!= 两个字符不等
-n 非空串

小马歌 2008-03-24 12:10 发表评论

用shell的find命令删除n天前的文件

小马歌 — Fri, 21 Dec 2007 15:43:00 GMT

主要是利用find命令的mtime参数n[n为整数]，表示最后修改时间在n*24小时之前。
n要带符号。
可实际上 +0 的含义并不是表示0小时之前，而是表示24小时之前，跟 n=1的含义一样。

值得一提的是还有两个类似的参数 atime和ctime。
atime表示文件的最后访问时间，ctime表示文件的最后状态修改时间.

这里将完整的脚本贴出来：

1#!/bin/bash
2#删除tmp目录下符合 *.htm模式的文件，不进行递归。
3ARCHDIR=/tmp/
4ARCHDAY=+0
5 find $ARCHDIR -mtime $ARCHDAY -a -type f -a -name "*.htm" -maxdepth 1 -exec ls -l {} \;
6 find $ARCHDIR -mtime $ARCHDAY -a -type f -a -name "*.htm" -maxdepth 1 -exec /bin/rm {} \;

小马歌 2007-12-21 23:43 发表评论

BlogJava之unix shell编程

小马歌 — Sun, 09 Dec 2007 03:42:00 GMT

通俗点讲，shell就是跟unix系统核心服务之间的调用接口，它是解释执行的，不需要编译，这点很爽。
shell的功能很强大，基本unix有的服务，都可以通过shell去调用，对于系统管理员是必备的技能，可以节约不少时间，提高效率。
shell里，awk,sed,grep这3种类型功能最强大。
awk提供字符串处理功能，方便进行分析统计；
sed是流文本编辑命令工具，功能大于vi；
grep能根据正则表达式进行查找，支持管道过滤。
这里根据工作用到的一个每天定时清除n天之前的mysql数据库文件为例。
主要是依据每天生成的表的日期字符串跟7天前字符串的值进行比较。[这里是大小比较]

1#!/bin/bash
2datestr=`date --date="7 day ago" +%Y%m%d`
3find /usr/local/mysql-standard-4.1.7-pc-linux-i686/data/movie_pvfrom/ -name '*.frm' -a -name '*_200*' -o -name '*.MYD' -a -name '*_2
400*' -o -name '*.MYI' -a -name '*_200*' > tmp
5fileList=`more < tmp`
6for fileName in $fileList
7do
8MovedDir2=`echo $fileName|awk -F/ '{print $NF}'|awk -F_ '{print substr($NF, 0, 8)}'`
9if [ $MovedDir2 -lt $datestr ]
10then
11echo $fileName
12rm $fileName
13fi
14done

一行一行解释一下：
1，表示这个脚本以bash shell来解释执行；
2，date命令，设置变量datestr为7天前的年月日格式的值;
3,4, 查找数据库文件目录下的.frm,.MYD,.MYI文件，并且文件名含有"_200"字符串，将这些文件的路径重定向到 tmp文件;
5,将tmp的数据读到变量fileList;
6,7,14,循环结构，每次读一行数据；
8，设置变量MovedDir2的值为一行数据的最后一个"/"分隔号值的最后一个"_"分隔号的前8位字符.
[假设一行数据为"/usr/local/mysql-standard-4.1.7-pc-linux-i686/data/movie_end/end_20071206.MYI"，那么变量MovedDir2的值为 20071206]
9,10,13,判断变量MovedDir2的值是否小于datestr的值，条件判断结构；
11，回显变量fileName的值；
12，删除变量fileName定位的文件；

demo总结：
1，循环，判断结构的使用；
2，date,find,awk,rm命令的利用；
3，重定向符 ">"的使用，管道"|"的使用。

小马歌 2007-12-09 11:42 发表评论