Linux/MacOS批量下载HTTPS目录所有文件

Posted by CryoECNU on July 15, 2021

除了FTP服务器的数据外,现在很多网站也用HTTPS形式,比如,要从NOAA的NCEI下载数据: https://www.ncei.noaa.gov/data/ FTP就不好使了。


其实,用LINUX的命令行可以很简单的遍历某一个目录下面的所有文件。

比如,要从NCEI上面下载1981年以来的NDVI数据:

wget -r -np -k -L -p https://www.ncei.noaa.gov/data/avhrr-land-normalized-difference-vegetation-index/access/