linux各种命令手册

1 编程命令

2 运维命令

3 常见命令

4 高级命令

5 查找命令

5.1 awk高级语法

可参考一些语音awk命令解释日志 Awk 命令学习总结、AWk命令系列学习（linux shell)

->awk BEGIN 和 END

【调用方式】awk -f file.awk data.txt

#!/bin/ awk -f
#文件命为file.awk
#运行前【不会读文本行】
BEGIN { 
   
	math = 0
	english = 0
	computer = 0
	printf "NAME NO . MATH ENGLISH COMPUTER TOTAL\n"
	printf "----------------------------------------------------\n"
}
#运行中【一行一行载入文本】
{ 
   
	math+=$3
	english+=$4
	computer+=$5
	printf "%-6s %-6s %4d %8d %8d %8dln", $1, $2, $3, $4,$5, $3+$4+$5
}
#运行后【不会读文本行】
END { 
   
	printf "----------------------------------------------------\n"
	printf "TOTAL :%10d %8d %8d n", math,english, computer
	printf "AVERAGE:%10.2f %8.2f %8.2fln", math/NR, english/NR, computer/NR
}

->按照第1列升序【sort-n按照数字,-r降序】并将第1列(指定列)后的空格换为csv的逗号【默认按照空格隔开】

cat demo.txt|sort -k 1 | \
awk '{printf("%s,",$1);for(i=2;i<=NF;i++) printf("%s ", $i);print $NF}}' > demo.txt 

->实现excel中的vlookup【假设a.txt和b.txt都是逗号分隔符】

# a.txt以csv的逗号隔开
北京,0004
南京,0003
东京,0006
# b.txt以csv的逗号隔开
1,北京
2,东京
3,临汾
4,南京
5,天津
awk -v path=a.txt -F ',' ' BEGIN { while((getline<path) >0){ seen[$1]=$2; # 修改key,value #print $1,seen[$1] # 这是为了调试 }} {#这里开始遍历b.txt for(i=1;i<=NF;i++) { printf("%s,",$i); } if($2 in seen) printf("%s", seen[$2]); # 修改key,value else printf("none"); printf("\n"); }' b.txt | head -n 10

# 【新写法】NF==FNR用来判断当前是读入第一个文件【执行第一个{}】还是第二个文件【执行第二个{}】
awk -F ',' ' NR==FNR{seen[$1]=$2;next} { for(i=1;i<=NF;i++) { printf("%s,",$i); } if($2 in seen) printf("%s", seen[$2]); else printf("none"); printf("\n"); }' a.txt b.txt | head -n 10

1,北京,0004
2,东京,0006
3,临汾,none
4,南京,0003
5,天津,none

->实现excel中的vlookup【假设a.txt和b.txt都是空格分隔符】

# a.txt以空格隔开
北京 0004
南京 0003
东京 0006
# b.txt以空格隔开
1 北京
2 东京
3 临汾
4 南京
5 天津
awk 'NR==FNR{seen[$1]=$2;next} { if($2 in seen) printf("%s %s", $0, seen[$2]); else printf("%s none", $0); printf("\n"); }' a.txt b.txt | head -n 10

->实现excel中的vlookup【假设a.txt和b.txt都是TAB分隔符】

# a.txt以TAB隔开
北京	0004
南京	0003
东京	0006
# b.txt以空格隔开
1	北京
2	东京
3	临汾
4	南京
5	天津
awk -F '\t' 'NR==FNR{seen[$1]=$2;next} { if($2 in seen) printf("%s %s", $0, seen[$2]); else printf("%s none", $0); printf("\n"); }' a.txt b.txt | head -n 10

5.2 批量输出绝对路径下的所有音频并更名

# find 后面紧跟绝对路径才会输出绝对路径
wav_paths=`find /data1/data16k/aishell1/wav/dev -name "*.wav" | grep -i "dev"`
#echo $wav_paths
for x in ${wav_paths};do
    echo "do something"
    #将绝对路径$x如/data1/data16k/aishell1/wav/dev/S0736/BAC009S0736W0411.wav
    #文件名前面加上目录名(说话人)S0736-BAC009S0736W0411.wav
    #$(dirname $x)为/data1/data16k/aishell1/wav/dev/S0736
    #$(basename $(dirname $x))为S0736
    #$(basename $x)为BAC009S0736W0411.wav
    #更改后的文件名S0736后面加上后缀test
    mkdir -p $(dirname $x)test
    cp $x $(dirname $x)test/$(basename $(dirname $x))test-$(basename $x)
    echo $x;
done

5.3 批量移动和改文件夹产生新数据集

wav_paths=`find /data1/speechResource/data16k/DEMO16k_train -name "*.wav"|grep -i "wav"`
for x in ${wav_paths};do
    #$(dirname $x)为/data1/speechResource/data16k/DEMO16k_train/wav/HAO
	dir_root=$(dirname $x)
    base_name=$(basename $x)
    #HAO-demo.wav会替换为HAOtest-demo.wav
    base_name_new=`echo ${ 
    base_name//-/test-}`
    #DEMO16k_train/HAO会替换为DEMO16k_test/HAOtest
	target_root=`echo ${ 
    dir_root//train/test}test`
	mkdir -p ${target_root}
	cp $x ${target_root}/${base_name_new}
done

6 vim命令

• 【vim提示visual模式不能鼠标复制粘贴】

vim ~/.vimrc
# 增加如下内容
if has('mouse')
        set mouse-=a
endif

7 解压缩命令

# linux下本身提供了zip和unzip程序
# ubuntu安装方法
sudo apt-get install p7zip-full unrar p7zip p7zip-rar rar unrar
# centos安装方法
yum install zip unzip p7zip p7zip-plugins
yum -y install rar unrar #需要配置源，自行搜索

【发现7z a压缩和解压命令太长了，可以用alias配置到~/.bashrc里，7zz(zip), 7zu(unzip)】
ubuntu(centos)环境变量设置
【配置以下快捷命令】
alias 7zz='7z a'
alias 7zx='7z x'

8 传输文件命令

9 docker命令

【切记】安装好docker和nvidia-docker后要重启哦，不然启动的容器会报无法找到special GPU
Docker Hub
nvidia/cuda:10.2-cudnn7-devel-centos7 镜像地址

# 创建一个镜像
sudo docker run --gpus all --name anjos -d -it -p 5000:22 \
-v /data1:/data1 -v /data:/data \
nvidia/cuda:10.2-cudnn7-devel-centos7 /bin/bash
# 启动
sudo docker start anjos
# 进入(用id也可以)
sudo docker exec -it anjos bash
# 删除镜像
sudo docker rmi imageid
# 删除容器
sudo docker rm containerid
# 查看所有容器
sudo docker ps -a
# 查看所有已经成功启动的容器
sudo docker ps

10 时间相关

10.1 统计时间差(秒级)

start_time=`date +%s`
end_time=`date +%s`
cost_time=$[ end_time - start_time ]
echo "耗时 = $cost_time senconds"

10.2 日期遍历

#!bin/bash
beg='2020-01-01'
end='2020-06-30'
begTime=`date -d "$beg" +%s`
endTime=`date -d "$end" +%s`
echo "[beg end]=[$beg $end]=[${begTime} ${endTime}]"
while [[ $begTime -le $endTime ]]
do
	echo " current beg=${beg} end=${end}"
	cmd="doing something"
	#T+1更新到beg
	beg=`date -d "${beg} 1 day" +%Y-%m-%d`
	begTime=`date -d "${beg}" +%s`
done

11 tmux命令

可以很好的解决当ssh断开的时候程序死掉的问题

yum -y install tmux

请见2.5 ubuntu(centos)环境变量设置，设置了快捷命令方式

12 git命令

【任何提交要先git add .后方可git commit -m 然后再git push】

git config --global user.name "anjos"
git config --global user.email whaozl@163.com
# 记住密码
git config credential.helper store

# 这里修改了Makefile这个文件
git add word/Makefile
git commit -m "修改Makefile"
git push

12.1 远程分支重新命名,更改远程分支head指针

1 【查看所有分支】
git branch -a

2【重新命名】本地分支（没有推送到远程的）

a:【重命名本地分支名】（远程分支对应的本地分支名）
git branch -m oldName newName

b: 【删除远程分支】
git push --delete origin oldName

c:上传新命名的本地分支
git push origin newName

d:把修改后的本地分支与远程分支关联
git branch --set-upstream-to origin/newName

13 A机器和B机器ssh免密设置

• Step1: A机器操作——产生公钥和私钥
  一直敲回车即可(切记无需设置什么-t rsa -C ‘abc@qq.com’)，然后在~/.ssh下生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)文件

ssh-keygen

• Step2: A机器操作——复制公钥到B机器

# 也可以将10.10.10.5配置到/etc/hosts中起一个别名
ssh-copy-id kaldi@10.10.10.5
# 指定端口指定公钥方式
ssh-copy-id -i ~/.ssh/id_rsa.pub '-p 22222 kaldi@10.10.10.5'

• Step3：A机器操作——免密登录B机器

# 指定端口方式（如果默认无需加-p）
ssh zhangming@10.10.10.5 -p 22222

• 【警告】A机器免密登录B机器——仍需密码

#查B机器日志原因：Authentication refused:bad ownership or modes for file
tail /var/log/secure -n 20
#【原因】ssh禁止home目录和~/.ssh目录对组有写权限
chmod -R g-w /home/kaldi
chmod -R 700 /home/kaldi/.ssh
chmod -R 600 /home/kaldi/.ssh/authorized_keys

14 gcc相关

• 【gcc编译链接模板命令】这部分可参考LINUX下C语言编程调用函数、链接头文件以及库文件 undefined reference to

# 编译、链接两步
g++ -I./haolib -std=c++11 -g -c hao-test.cc -o hao-test.o
g++ hao-test.o -L./haolib -lhao -lpthread -o hao-test

# 编译、链接一步
g++ -std=c++11 -g -o hao-test hao-test.cc -L./haolib -lhao -lpthread

20 java

(1) java8 steam Map值转化

Map<String, Integer> result = map.entrySet().stream()
                  .collect( 
                          Collectors.toMap(Map.Entry::getKey,
                             entry -> entry.getValue().size())));

21 python

Reference

linux使用awk实现excel中的vlookup行数匹配效果
AWK高级编程 转载
Linux Shell 高级编程技巧1—-深入讨论（awk、<<）
shell 强大的awk
Linux Shell常用技巧(五) awk编程
awk之NR==FNR问题