DownloadingWithoutBrowser 

Category: wikiX, Stuffs, Linux,

1. 브라우저없이 다운로드하기
1. 대화적인 방법이 불편할 때
2. wget 도구
3. 언제 다운로드하지? (at)
4. 다운로드가 며칠이 걸린다면?
5. 동적으로 생성한 웹페이지
6. SSL과 쿠키(cookie)
7. URL 목록 만들기
8. 대역폭을 최대로
9. 결론

브라우저없이 다운로드하기  

 http://www.whiterabbitpress.com/lg/issue70/chung.html
 영문 : http://www.linuxgazette.com/issue70/chung.html

늦은 속도로 큰 파일을 받기위해 웹브라우저를 몇시간 혹은 몇일 동안 켜둔 적이 있는가? 한 웹페이지에 링크된 파일 40개를 다운로드하기위해 지루하게 하나하나 클릭한 적이 있는가? 다운로드가 끝나기도 전에 브라우저가 죽으면? GNU/Linux에는 브라우저없이 배경에서 다운로드하는 여러 도구가 있다. 이 도구를 사용하면 (다운로드가 끝나기 전에) 로그아웃할 수도 있고 끊어진 다운로드를 이을 수도 있으며 심지어 네트웍 사용량이 적을 때 다운받도록 할 수도 있다.

대화적인 방법이 불편할 때  

큰 파일을 다운받는데 적당한 도구들이 있다. 이 글은 GNU/Linux에 포함된 lynx, wget, at, crontab으로 파일 전송 문제를 해결하는 방법을 설명한다. 스크립트도 조금 사용할 것이므로, bash에 대해 조금 알면 도움이 될 것이다.

wget 도구  

bash$ wget http://place.your.url/here

이 프로그램은 FTP나, 최근 수정된 파일 혹은 전체 웹사이트의 미러를 처리할 수 있다. (주의하지 않으면 전체 웹사이트 외에 링크된 사이트들도 다운로드할 것이다.) 웹사이트 미러(-m)는 다음과 같이 한다.

bash$ wget -m http://target.web.site/subdirectory

이 프로그램이 서버에 부하를 걸 수 있기 때문에 미러할 때는 "robots.txt" 규칙을 준수한다. 이 프로그램에는 정확히 어떤 파일을 미러할지, 따라갈 링크의 종류와 다운로드할 파일종류를 조정하는 옵션이 있다. 예를 들어 상대적인 링크만(-L)을 따라가며, GIF 이미지는 다운로드하지 않는다면(--reject=gif),

bash$ wget -m -L --reject=gif http://target.web.site/subdirectory

또한 wget는 다 받지않고 중단된 다운로드를 이을 수 있다. ("-c" 옵션) 단, 서버가 이어받기를 지원해야 한다.

bash$ wget -c http://the.url.of/incomplete/file

이어받기나 미러를 결합하여 (여러번 시도하여) 많은 파일이 있는 사이트를 완전히 미러할 수 있다. 어떻게 자동화하는지는 아래서 설명한다.

내 사무실과 같이 다운로드가 자주 끊어진다면 여러번 시도하도록 할 수 있다.

bash$ wget -t 5 http://place.your.url/here

위의 예는 5번 시도후에 포기한다. "-t inf"를 사용하면 포기하지 않는다.

프록시 방화벽을 사용한다면 어떻게하나? 환경변수 (대문자가 아니라 소문자로) http_proxy나 .wgetrc 설정파일로 사용할 프록시를 설정할 수 있다. 프록시된 연결의 문제점은 이어받기가 자주 실패할 수 있다는 점이다. 프록시 연결이 중단되면 프록시 서버는 파일의 일부만을 (전부 받았다고 생가하여) 캐쉬한다. 이어받기를 하기 위해 "wget -c"를 사용하면 프록시는 캐쉬를 보고 파일을 이미 다 받았다고 잘못된 보고를 한다. 특별한 헤더를 사용하여 대부분의 프록시가 캐쉬를 하지 않게 할 수 있다.

bash$ wget -c --header="Pragma: no-cache" http://place.your.url/here

"--header" 옵션으로 헤더를 추가하여 웹서버나 프록시의 행동을 수정할 수 있다. 어떤 사이트는 외부에서 링크된 파일을 다운로드할 수 없게 하고, 같은 사이트에서 링크된 파일만 다운로드할 수 있게 하는 경우가 있다. 이 경우 "Referer:" 헤더를 사용하여 해결할 수 있다.

bash$ wget --header="Referer: http://coming.from.this/page" http://surfing.to.this/page

어떤 나쁜 웹사이트는 특정 브라우저에서만 접속할 수 있다. 이 경우 "User-Agent:" 헤더를 사용하여 해결할 수 있다.

bash$ wget --header="User-Agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)" http://msie.only.url/here

(주의: 위의 팁은 내용의 라이센스를 어기는 것으로 고려될 수 있으며 이를 불법으로 규정하는 나쁜 법들이 있다. 지역마다 다르니 확인해봐라.)

언제 다운로드하지? (at)  

bash$ at 2300 warning: commands will be executed using /bin/sh at> wget http://place.your.url/here at> press Ctrl-D

이제 오루 11시에(2300) 다운로드가 시작된다. 스케줄러 데몬인 atd가 실행되고 있는지 확인해라.

다운로드가 며칠이 걸린다면?  

0 23 * * 1-5    wget -c -N http://place.your.url/here 0  6 * * 1-5    killall wget

이는 특정 시간 간격으로 작업을 지시하는 crontab 파일이다. 처음 5 항목은 언제 명령어를 실행할지를 지시하고, 나머지는 무엇을 실행할지를 지시한다. 처음 두 항목은 하루중 시간을 지칭한다. 그래서 wget은 오후 11시 0분, killall wget은 오전 6시 0분에 실행된다. 세번째와 네번째 항목인 *은 어떤 달의 어떤 날도 가능하다는 뜻이다. 다섯번째 항목은 작업을 수행할 요일을 지시한다. "1-5"는 월요일에서 토요일까지를 의미한다.

그래서 주중의 오후 11시에 다운로드를 시작하고, 오전 6시에 중단한다. 이제 다음 명령어를 실행하여 스케줄에 따라 명령이 실행되게 하자.

bash$ crontab crontab.txt

wget의 "-N" 옵션은 다운받기 전에 대상 파일의 수정 시간을 검사하여, 파일을 다받았다면 다운로드를 하지 않는다. 그래서 이 옵션은 아무 문제없이 사용할 수 있다. "crontab -r"은 스케줄을 제거한다. 나는 이 방법으로 많은 ISO 파일을 여럿이 사용하는 전화선으로 받았다.

동적으로 생성한 웹페이지  

bash$ wget http://lwn.net/bigpage.php3

다운로드가 중단되어 이어받기를 하면 처음부터 다시 받는다. 나의 경우 사무실의 연결이 자주 바빠지기 때문에 동적으로 생성된 HTML 파일이 다 받아졌는지 확인하는 스크립트를 작성했다.

#!/bin/bash # 파일이 없으면 만든다 touch bigpage.php3 # 다 받았는지 검사 while ! grep -qi '</html>' bigpage.php3 do   rm -f bigpage.php3   # LWN을 한 페이지로 다운로드   wget http://lwn.net/bigpage.php3 done

위의 bash 스크립트는 문서에서 HTML 파일 끝을 나타내는 "</html>"이 발견될 때까지 문서를 다운로드한다.

SSL과 쿠키(cookie)  

어떤 웹사이트는 내용을 전송하기 전에 쿠기를 전송한다. 이 경우 웹브라우저의 쿠키파일에서 적절한 정보를 "Cookie:" 헤더에 추가해야 한다. lynx와 Mozilla 쿠키파일 형식으로는, (이미 브라우저로 이 사이트에 등록한 경우)

bash$ cookie=$( grep nytimes ~/.lynx_cookies |awk '{printf("%s=%s;",$6,$7)}' )

으로 http://www.nytimes.com에서 다운로드할 때 사용할 쿠키를 얻을 수 있다. w3m의 쿠키파일은 형식이 조금 다르다.

bash$ cookie=$( grep nytimes ~/.w3m/cookie |awk '{printf("%s=%s;",$2,$3)}' )

그런후 다운로드를 한다.

bash$ wget --header="Cookie: $cookie" http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

curl을 사용한다면,

bash$ curl -v -b $cookie -o supercomp.html http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

URL 목록 만들기  

bash$ lynx -dump ftp://ftp.ssc.com/pub/lg/ |grep 'gz$' |tail -10 |awk '{print $2}' > urllist.txt

lynx의 출력을 GNU 문자처리 도구로 처리한다. 위의 예에서는 "gz"로 끝나는 URL을 뽑아서 마지막 10개만 저장한다. 간단한 bash 스크립트 명령어로 이 파일에 기록된 URL을 자동으로 다운로드할 수 있다.

bash$ for x in $(cat urllist.txt) > do > wget $x > done

이제 우리는 Linux Gazette에서 최근 열개를 다운로드했다.

대역폭을 최대로  

url1=http://ftp.eecs.umich.edu/pub/linux/mandrake/iso/Mandrake80-inst.iso url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake80-inst.iso url3=http://ftp.wayne.edu/linux/mandrake/iso/Mandrake80-inst.iso

파일 크기는 677281792다. curl의 "--range" 옵션을 이용하여 동시에 다운로드한다.

bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 & bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 & bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &

그러면 다른 서버에서 파일의 다른 부분을 다운로드를 하는 세 배경 프로세스가 생긴다. "-r" 옵션은 다운로드할 파일의 범위를 (바이트로) 지정한다. 다 마쳤으면 세 부분을 cat으로 간단히 합칠 수 있다. cat mdk-iso.part? > mdk-80.iso (CD-R을 굽기전에 md5를 확인하길 권한다.) 서로 다른 창에서 "--verbose" 옵션을 사용하여 curl을 실행하면 전송 과정을 보여준다.

결론