网页批量下载文件

需求：今天需要下载下面这个页面中所有rpm文件

解决：利用wget实现比较简单

#!/bin/bash
cd /tmp/base
wget -r -np -nd -c -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36" --accept=rpm https://update.cs2c.com.cn/NS/V10/V10SP2/os/adv/lic/base/aarch64/Packages/

参数说明：

• -r, –recursive（递归）
• -np, –no-parent（不追溯至父级）
• -nd 不创建目录
• -c, –continue 接着下载没下载完的文件 (断点续传)
• -U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.
• –accept=LIST 分号分隔的被接受扩展名的列表，也可以指定多个扩展名，只需用逗号分隔即可

参考：

1.https://cyhour.com/628/