使用wget 镜像下载网站
文章标签:
html 文件下载
example:
wget -r -k -p www.example.com
其中:
- -r 表示递归
- -k 表示做链接转换,这样可以本地阅读
- -p 表示下载网页所需的图片、css、js文件
比如,我们要下载 索罗斯的个人网站
https://www.georgesoros.com/
首先要设置好http_proxy 和 https_proxy
然后执行
wget -r -k -p https://www.georgesoros.com/
就可以了
这里要指出的是,在 -r 递归模式下,默认的最大深度是5层。如果要手动指定深度要使用 -l 参数。
比较遗憾的是,wget 不支持多线程下载,整个过程比较缓慢。不过这样对网站比较友好。
最终用了20分钟:
FINISHED --YYYY-MM-DD HH:MM:SS--
Total wall clock time: 19m 22s
Downloaded: 1240 files, 73M in 49s (1.49 MB/s)
# ....
Converted links in 504 files in 7.7 seconds.
ps: 多看man 文件~