리눅스 - wget

wget 과 curl 의 공통점

• HTTP, HTTPS, FTP 프로토콜을 통해 컨텐츠를 다운로드 하는 커맨드 라인 툴
• HTTP POST request 를 지원한다. (웹사이트로 데이터를 전송할 수 있음)
• HTTP 쿠키를 지원한다.
• 스크립트처럼 사용자 인터렉션 없이 수행될 수 있도록 설계되었다.
• 오픈소스이며 무료
• 90년대 시작한 프로젝트 (wget 1995년, curl 1996년 시작)
• metalink 를 지원한다.

 

인터넷에서 파일을 받는 가장 좋은 방법이라 한다.

인터넷에서 단일 파일을 받아 현재 디렉토리에 저장한다.

wget은 여러 복잡한 다운로드 상황을 거의 다 제어할 수 있다고 한다.

사용법은 다음과 같다.

$ wget [URL주소]
$ wget https://www.google.com/

 

 

 

■  다른이름으로 저장하기

-O 옵션으로 기본으로 지정되는 이름이 아닌 원하는 파일명으로 저장시킬 수 있다.

$ wget -O [원하는 파일명] [URL주소]
$ wget -O kimchi.txt https://www.kimchi.com/

 

 

 

■  다운로드 속도 지정

다운로드 받는 속도의 한계에 제한을 둔 채로 다운로드 받을 수 있다.

$ wget --limit-rate=[속도] [URL주소]
$ wget --limit-rate=200k https://www.google.com/

 

 

 

■  이어받기

-c 옵션으로 이전에 받다가 중단되었던 다운로드를 이어서 받을 수 있다.

$ wget -c [URL주소]
$ wget -c https://www.google.com/

 

 

 

■  백그라운드에서 다운로드

-b 옵션을 사용하면 백그라운드에서 다운로드를 진행시킬 수 있다.

$ wget -b [URL주소]
$ wget -c https://www.google.com/
Continuing in background, pid 12714.
Output will be written to ‘wget-log’.

실행하면 어느 PID인지, 프로세스에 어떤 이름으로 들어갔는지 내용이 출력된다.

 

 

 

■  다운로드 가능한지 확인하기

--spider 옵션을 사용하면 다운로드 가능한 주소인지 알려준다

$ wget --spider [다운로드URL]

$ wget --spider https://www.google.com/
Spider mode enabled. Check if remote file exists.
--2021-12-15 11:38:54--  https://www.google.com/
Resolving www.google.com (www.google.com)... 172.217.174.100, 2404:6800:4004:808::2004
Connecting to www.google.com (www.google.com)|172.217.174.100|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

$ wget --spider https://www.google.com/
Spider mode enabled. Check if remote file exists.
--2021-12-15 11:42:48--  https://www.google.comp/
Resolving www.google.comp (www.google.comp)... failed: Name or service not known.
wget: unable to resolve host address ‘www.google.comp’
  또는
Spider mode enabled. Check if remote file exists. 
HTTP request sent, awaiting response... 404 Not Found 
Remote file does not exist -- broken link!!!
  등..

 

 

 

 

■  재시도 횟수 지정하기

인터넷 문제가 있거나 파일 다운로드에 실패할 경우 특정 횟수만큼 재시도 한다

$ wget --tries=[횟수] [다운로드URL]
$ wget --tries=777 https://www.google.com/

옵션을 넣지 않으면 기본으로 재시도 횟수는 20회라고 한다

 

 

 

■  여러 개의 파일 다운로드 하기

-i 옵션으로 여러 개의 파일을 다운로드 할 수 있다.

$ wget -i [다운로드URL/파일명]

----------------list.txt--------------
https://www.google.com/
https://www.youtube.com/

[다운로드URL/파일명] 에 해당하는 파일안에 기입되어있는 주소들을 다운로드 한다.

각각의 다운로드할 주소들의 구분은 한줄(엔터)로 구분된다.
위 처럼 list.txt 파일 안에 주소가 써있으면 두 주소에 대한 다운로드를 진행한다.

 

 

 

 

■  ftp 다운로드하기

ftp 주소로도 다운로드 할 수 있다

$ wget [ftp주소]
$ wget ftp://ftpmirror.your.org/pub/misc/ftp.microsoft.com/developr/TAPI/README.TXT