使用wget 镜像下载网站



example:

wget -r -k -p www.example.com


其中:

  • -r 表示递归
  • -k 表示做链接转换,这样可以本地阅读
  • -p 表示下载网页所需的图片、css、js文件


比如,我们要下载 索罗斯的个人网站
https://www.georgesoros.com/

首先要设置好http_proxy 和 https_proxy

然后执行

wget -r -k -p https://www.georgesoros.com/ 


就可以了

这里要指出的是,在 -r 递归模式下,默认的最大深度是5层。如果要手动指定深度要使用 -l 参数。

比较遗憾的是,wget 不支持多线程下载,整个过程比较缓慢。不过这样对网站比较友好。

最终用了20分钟:

FINISHED --YYYY-MM-DD HH:MM:SS--
Total wall clock time: 19m 22s
Downloaded: 1240 files, 73M in 49s (1.49 MB/s)
# ....
Converted links in 504 files in 7.7 seconds.






ps: 多看man 文件~