robots.txt란?

• 웹 로봇을 제어하기 위한 규칙
• 웹사이트의 트래픽을 조절하는데 활용 꼭 필요하지는 않지만, 불필요한 트레픽을 줄일 수 있다.
• 웹 크롤링의 허용범위를 명시

몇 가지 예시

(1) 모든 문서에 대해 접근 허용
User-agent: *
Allow: /

(2) 모든 문서에 대해 접근 불허
User-agent: *
Disallow: /

(3) 모든 문서에 대해 접근 불허하나 첫 번째 페이지만 허용
User-agent: *
Disallow: /
Allow : /$

• www.naver.com/robots.txt

User-agent

• 구글, Googlebot
• 네이버, Yeti (2015년 이전에는 NaverBot) https://searchadvisor.naver.com/guide/seo-basic-firewall
• 다음, Daumoa

웹 브라우저에서 robots.txt 확인 방법

• https://www.naver.com/robots.txt
• https://www.coupang.com/robots.txt

법적 이슈