로봇의 웹 서버 접근 막기 글쓴이 : 적수 적수네 동네 홈페이지를 운영하면서 답답한 점이 있었습니다. WebZip이나 TelePort등의 웹페이지를 긁어 가는 툴을 이용하여 홈페이지를 긁어 가는 것이 바로 그것이었습니다. 어차피 그렇게 긁어간 홈페이지는 그 사람의 하드에서 그 사람만이 볼 수 있게 될텐데... 정말 싫더군요. 미러링을 하는 것도 아니고 단 한 줄의 메일도 없이 말입니다. 더군다나 홈페이지를 다 긁어가면 거의 300메가 이상이 되는데 그 접속 동안 이쪽 회선이나 제 서버의 부하를 제공하고 싶지 않더군요. 한동안 생각해 왔었는데 오늘 아파치 문서를 읽으면서 답을 찾았습니다. User Agent별로 접근 권한을 제한할 수 있더군요. 제가 사용하는 httpd.conf의 한 부분입니다. BrowserMatch "WebZIP" go_out BrowserMatch "Teleport" go_out BrowserMatch "GetRight" go_out 이런 식으로 하여 매치된 User Agent를 go_out라고 정의를 하였습니다. 그런 후에 디렉토리별 설정에서 제한을 걸었습니다. Options IncludesNoExec ExecCGI AllowOverride None Order allow,deny Allow from all Deny from env=go_out -------------------- 밑줄 그은 부분을 잘 살펴 보십시오. :) 이렇게 함으로써 go_out라고 정의된 User Agent는 접근 제한에 걸리게 됩니다. 물론 Agent를 바꿀 수 있는 봇 프로그램이라면 어쩔 도리가 없겠지만요. 어느 정도까지는 막을 수 있지 않을까 합니다. 마지막으로 저는 절대로 제 홈페이지를 긁어가는 것을 좋아하지 않습니다. 이쪽이 너무 느려서 그렇다고 하신다면 받아가서 미러를 돌리십시오. 자신만이 보기 위해서라면 다른 분들이 사용할 이쪽의 회선을 양보하고 싶은 생각이 전혀 없답니다.