1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
#!/bin/bash

# 配置信息：日志文件路径
LOG_DIR="/var/log/webserver"
LOG_PREFIX="access.log"

target_date="$1"    # 接收脚本程序传递的第1个参数

# 日志文件路径
LOG_FILE="${LOG_DIR}/${LOG_PREFIX}.${target_date}"


# 函数：记录错误日志
function log_error() {
  # local 的作用是限定变量仅能在当前函数中使用
  local message="$1"
  # $(命令..) 用于在shell中执行linux中的命令 
  echo "[ERROR] $(date '+%Y-%m-%d %H:%M:%S') - $message" >&2
}

# 函数：日期格式校验
function checkDateFormat(){
    # 使用 =~ 来判断一个变量是否匹配指定的正则表达式
    if ! [[ "$target_date" =~ ^[0-9]{4}-[0-9]{2}-[0-9]{2}$ ]]; then
        # 调用log_error函数，并传递参数
        log_error "日期格式无效，请使用YYYY-MM-DD日期格式。"
        echo "使用: $0 <YYYY-MM-DD>" >&2
        echo "      分析指定日期的web服务器日志文件。" >&2
        exit 1   # exit 0 ：正常运行程序并退出程序    exit 1 ：非正常运行导致退出程序
    fi
}

# 函数：检查日志文件是否存在
function checkLogfileExists(){
   if [ ! -f "$LOG_FILE" ]; then
    echo "错误: 日志文件 $LOG_FILE 未找到。"
    exit 1
   fi
}

# 函数：需求1 - 统计总请求数
function totalRequest(){
    total_requests=$(wc -l < "$LOG_FILE")
    echo "总请求数: $total_requests"
}

# 函数：需求2 - 统计不同状态码的请求数
function httpStatusRequest(){
    echo "不同状态码的请求数:"
    awk '{print $9}' "$LOG_FILE" | sort | uniq -c | sort -nr
}

# 函数：需求3 - 统计不同请求方法的请求数
function httpMethodRequest(){
    echo "不同请求方法的请求数:"
    awk '{print $6}' "$LOG_FILE" | cut -d'"' -f2 | cut -d' ' -f1 | sort | uniq -c | sort -nr
}


# 函数：需求4 - 找出请求量最多的前5个IP地址
function httpRequestCountTop5(){
    echo "请求量最多的前 5 个 IP 地址:"
    awk '{print $1}' "$LOG_FILE" | sort | uniq -c | sort -nr | head -n 5
}

# 函数：需求5 - 统计每天的请求数
function httpDayRequest(){
    echo "每天的请求数:"
    awk '{print substr($4, 2, 11)}' "$LOG_FILE" | sort | uniq -c | sort -k2
}

# 主函数 ： 调用其他函数执行
function app(){
   checkDateFormat     # 检查日期格式是否合规
   
   checkLogfileExists  # 检查日志文件是否存在
   totalRequest        # 统计总请求数
   httpStatusRequest   # 统计不同状态码的请求数
   httpMethodRequest   # 统计不同请求方法的请求数
   httpRequestCountTop5 # 找出请求量最多的前5个IP地址
   httpDayRequest      # 统计每天的请求数
}

# 调用主函数
app

1
2
3
4
5
6
7
8
9
10
# 配置信息
# CPU的阈值
变量1=80
# 内存的阈值
变量2=80
# 硬盘的阈值
变量3=80

# 文件磁盘
FILEDIDK="/"

1
2
3
4
5
6
7
8
9
10
11
# 配置文件路径
CONFIG_FILE="/export/config.conf"  ## 注意：使用绝对路径

# 判断配置文件是否存在
if [ ! -f "$CONFIG_FILE" ]; then
    echo "[$(date '+%Y-%m-%d %H:%M:%S')]  错误: 配置文件 $CONFIG_FILE 未找到。" >&2
    exit 1  # 如果文件不存在则退出程序
fi

# 配置文件存在，则加载该配置文件
source "$CONFIG_FILE"

1
2
3
4
5
6
7
# 获取 CPU 使用率
CPU_USAGE=$(top -bn1 | grep "Cpu(s)" | awk '{print $2 + $4}')

# 检查 CPU 使用率
if (( $(awk "BEGIN{print ($cpu_usage > $CPU_THRESHOLD)? 1 : 0}") )); then
    echo "警告: CPU 使用率超过 $CPU_THRESHOLD%，当前使用率为 $CPU_USAGE%"
fi

1
2
3
4
5
6
7
# 获取内存使用率
MEMORY_USAGE=$(free | awk '/Mem/{printf("%.0f"), $3*100/$2 }')

# 检查内存使用率
if (( $MEMORY_USAGE > $MEMORY_THRESHOLD )); then
    echo "警告: 内存使用率超过 $MEMORY_THRESHOLD%，当前使用率为 $MEMORY_USAGE%"
fi

1
2
3
4
5
6
7
# 获取磁盘使用率
DISK_USAGE=$(df -h $FILESYSTEM | awk 'NR==2 {print substr($5, 1, length($5)-1)}')

# 检查磁盘使用率
if (( $DISK_USAGE > $DISK_THRESHOLD )); then
    echo "警告: $FILESYSTEM 文件系统磁盘使用率超过 $DISK_THRESHOLD%，当前使用率为 $DISK_USAGE%"
fi

1
2
3
4
5
6
7
# 预设阈值
CPU_THRESHOLD=80     # CPU
MEMORY_THRESHOLD=80  # 内存
DISK_THRESHOLD=80    # 磁盘

# 指定要监控的文件系统
FILESYSTEM="/"

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#!/bin/bash

# 配置文件路径
CONFIG_FILE="/export/config.conf"  ## 注意：使用绝对路径
# 日志文件路径
LOG_FILE="/export/resource_monitor.log" ##注意：使用绝对路径

# 加载配置文件
load_config() {
    if [ ! -f "$CONFIG_FILE" ]; then
        echo "[$(date '+%Y-%m-%d %H:%M:%S')]  错误: 配置文件 $CONFIG_FILE 未找到。" >&2
        exit 1
    fi
    source "$CONFIG_FILE"
}

# 检查 CPU 使用率
check_cpu() {
    local cpu_usage=$(top -bn1 | grep "Cpu(s)" | awk '{print $2 + $4}')
    echo "[$(date '+%Y-%m-%d %H:%M:%S')]  CPU 检查结果: 当前使用率为 $cpu_usage%" >> "$LOG_FILE"
    
    if (( $(awk "BEGIN{print ($cpu_usage > $CPU_THRESHOLD)? 1 : 0}") )); then
        local alert_msg="警告: CPU 使用率超过 $CPU_THRESHOLD%，当前使用率为 $cpu_usage%"
        echo "$alert_msg" >&2
        echo "$(date '+%Y-%m-%d %H:%M:%S') - $alert_msg" >> "$LOG_FILE"
    fi
}

# 检查内存使用率
check_memory() {
    local memory_usage=$(free | awk '/Mem/{printf("%.0f"), $3*100/$2 }')
    echo "[$(date '+%Y-%m-%d %H:%M:%S')]  内存检查结果: 当前使用率为 $memory_usage%" >> "$LOG_FILE"
    
    if (( $memory_usage > $MEMORY_THRESHOLD )); then
        local alert_msg="警告: 内存使用率超过 $MEMORY_THRESHOLD%，当前使用率为 $memory_usage%"
        echo "$alert_msg" >&2
        echo "$(date '+%Y-%m-%d %H:%M:%S') - $alert_msg" >> "$LOG_FILE"
    fi
}

# 检查磁盘使用率
check_disk() {
    local disk_usage=$(df -h "$FILESYSTEM" | awk 'NR==2 {print substr($5, 1, length($5)-1)}')
    echo "[$(date '+%Y-%m-%d %H:%M:%S')]  磁盘检查结果: $FILESYSTEM 文件系统当前使用率为 $disk_usage%" >> "$LOG_FILE"
    
    if (( $disk_usage > $DISK_THRESHOLD )); then
        local alert_msg="警告: $FILESYSTEM 文件系统磁盘使用率超过 $DISK_THRESHOLD%，当前使用率为 $disk_usage%"
        echo "$alert_msg" >&2
        echo "$(date '+%Y-%m-%d %H:%M:%S') - $alert_msg" >> "$LOG_FILE"
    fi
}

# 主函数
main() {
    load_config
    check_cpu
    check_memory
    check_disk
}

main    

1
2
3
4
5
# 第1步 ： 编辑 crontab
crontab -e

# 第2步 ： 添加新任务
*/1 * * * * /export/system_monitor.sh

1
2
3
echo "Hello" > file.log
echo "Hello" 1> file.log
command >output.log 2>error.log #分离输出和错误

1
echo "hell" 2>&1

1
2
echo "info..." >&2
echo "Error: something went wrong" >&2 #将错误消息打印到stderr（常用于脚本）

1
2
3
4
5
6
## 准备工作：创建1.txt文件
banana
apple
pear
orange
pear

1
sort 1.txt

1
sort -u 1.txt

1
2
3
4
5
6
7
8
9
10
11
12
## 准备工作：创建2.txt文件
1
3
5
7
11
2
4
6
10
8
9

1
2
3
# 可以先使用：sort 2.txt 看看是什么结果
sort -n 2.txt  # 默认升序
sort -n -r 2.txt  # 把升序变为降序

1
2
3
4
5
6
7
#准备工作：创建 score.txt文件
zs 68 99 26
ls 98 66 96
ww 38 33 86
zl 78 44 36
we 88 22 66
zb 98 44 46

1
2
# 根据第二段成绩 进行倒序显示所有内容
sort -t ' ' -k2nr score.txt

1
2
3
cut  选项  文件
或
命令结果 | cut [选项]

1
2
3
4
5
## 准备工作： 创建3.txt文件
111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii

1
2
3
4
5
# 分析：截取出3.txt文件中前2行
head -2  3.txt

# 分析：截取出3.txt文件中前2行第5个字符
head -2  3.txt | cut -c  5

1
2
3
4
5
# 截取出3.txt文件中前2行以”:”进行分割的第1,2段内容
head -2  3.txt | cut -d ':' -f 1,2  #逗号只表示间隔符，取第1段和第2段

# 以下方式也可以
head -2  3.txt | cut -d ':' -f 1-2  #减号表示区域符， 取第1段到第2段之间的所有的内容

1
2
# 截取出3.txt文件中前2行以”:”进行分割的第2段到最后的内容
head -2  3.txt | cut -d ':' -f 2-

1
2
3
4
5
6
7
## 准备工作：创建4.txt文件
111
222 bbb
333 aaa bbb 
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee

1
wc 4.txt

1
wc -l 4.txt

1
ls /etc | wc -w

1
2
3
4
5
6
7
8
9
10
## 准备工作：创建5.txt文件
张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70

1
2
# 对5.txt文件中按第二列数据进行数值排序(降序)，且去重复
cat 5.txt | sort  | uniq

1
cat 5.txt | sort -k2nr | uniq -c