Robots.txt 생성기
검색엔진과 AI 봇의 웹사이트 접근을 관리하기 위한 robots.txt 파일을 생성합니다. User-agent 규칙, 크롤링 지연 시간, 사이트맵 경로를 설정하세요.
도메인을 입력하면 Sitemap URL이 자동으로 채워집니다.
빠른 템플릿
사용자 지정 규칙
사용 방법
- Googlebot, GPTBot, Claude-Web 등 User-agent(크롤러 유형)를 선택하십시오.
- 각 크롤러에 대해 Allow(허용) 또는 Disallow(차단) 경로 규칙을 추가하십시오.
- (선택 사항) 사이트맵 URL 및 Crawl-delay 설정을 입력하십시오.
- '생성'을 클릭한 후 출력 내용을 robots.txt 파일로 저장하여 웹사이트 루트 디렉터리에 업로드하십시오.
이 도구를 사용해야 하는 이유
Robots.txt는 검색엔진과 AI 크롤러의 사이트 접근 방식을 제어하는 핵심 파일입니다. 올바른 설정을 통해 민감한 페이지의 색인을 방지하면서 중요한 콘텐츠는 검색엔진과 AI 모델에 노출되도록 보장할 수 있습니다.