(좋은) 봇 (예 : Googlebot)이 페이지의 색인을 생성하지 못하도록 차단합니다.
에서 이 페이지 :
-------------------"User-agent : *"는이 섹션이 모든 로봇에 적용됨을 의미합니다. "Disallow : /"는 로봇이 사이트의 어떤 페이지도 방문해서는 안된다는 것을 알려줍니다.
/robots.txt를 사용할 때 두 가지 중요한 고려 사항이 있습니다.
- 로봇은 /robots.txt를 무시할 수 있습니다. 특히 웹에서 보안 취약점을 검색하는 악성 코드 로봇과 스팸 발송자가 사용하는 이메일 주소 수집기는주의를 기울이지 않습니다.
- /robots.txt 파일은 공개적으로 사용 가능한 파일입니다. 로봇이 사용하지 않기를 원하는 서버 섹션을 누구나 볼 수 있습니다.
robots.txt 사양을 참조하세요 .
User-agent: *robots.txt를 지원하는 모든 봇과 일치합니다 (예 : 같은 파일에 더 구체적인 레코드가 없음 User-agent: BotWithAName).
Disallow: / 해당 봇이 호스트의 모든 것을 크롤링하는 것을 금지합니다.
모든 봇이 robots.txt 파일을 지원하고 존중하는 것은 아닙니다.
출처
https://stackoverflow.com/questions/22080035