무료 SEO 도구 · overrank 제공
무료 Robots.txt 검증기 및 점검기
robots.txt를 붙여넣거나, 도메인만 입력하면 직접 가져와 드립니다. 모든 줄을 파싱하고 문법 오류를 표시하며, 크롤러별 차단 경로를 모두 나열하고, SEO를 조용히 망가뜨리는 흔한 함정(사이트 전체 차단, 사이트맵 차단, allow/disallow 충돌)을 짚어 드립니다.
잘못 설정된 robots.txt는 SEO에서 가장 비싼 오타입니다. 슬래시 하나만 잘못 들어가도 Google이 크롤링을 멈춥니다. 2분의 재확인은 충분히 가치가 있습니다.
✦ This is 1 of 30+ things overrank automates
깔끔한 robots.txt는 기본입니다. overrank가 테크니컬 SEO 전체를 처리해 드릴까요?
사이트맵 제출, 내부 링크, 스키마 마크업, 이미지 최적화까지 모두 자동으로.
No credit card · takes 60 seconds
Frequently asked questions
robots.txt는 무엇인가요?
robots.txt는 도메인 루트(예: https://example.com/robots.txt)에 위치하는 일반 텍스트 파일입니다. 검색 엔진 크롤러가 가져올 수 있는 경로와 없는 경로를 알려줍니다. 잘못 설정하면 콘텐츠가 아무리 좋아도 Google이 사이트 인덱싱을 조용히 거부할 수 있습니다.
가장 흔한 robots.txt 실수는 무엇인가요?
세 가지 큰 실수: (1) User-agent: *에 대한 Disallow: / - 사이트 전체를 인덱싱에서 차단하며 SEO에서 가장 비싼 오타입니다. (2) Sitemap: 줄로 Google에 사이트맵을 알려주는 것을 잊는 것. (3) Google이 URL 인코딩된 문자를 기대하는 경로 이름에 언더스코어를 사용하는 것. 본 검증기는 이 세 가지를 모두 잡아냅니다.
Google이 실제로 robots.txt를 따르나요?
네, 크롤링에 대해서는 따릅니다. 중요한 뉘앙스: robots.txt는 크롤링만 중단합니다. Google 인덱스에 이미 있는 URL은 제거하지 않습니다. 인덱싱된 URL을 제거하려면 noindex 메타 태그나 Search Console의 URL 제거 도구를 사용하세요. robots.txt만으로는 충분하지 않습니다.
차단할 것이 없어도 사이트에 robots.txt를 두어야 하나요?
네. 'User-agent: *' 다음에 'Allow: /'와 'Sitemap:' 한 줄만 있는 최소 robots.txt는 사이트가 인덱싱에 열려 있다는 것을 Google에 알려주고 사이트맵 URL을 미리 제공합니다. robots.txt의 404도 괜찮지만 명시적 허용이 더 친절합니다.
이 도구는 내 robots.txt를 저장하나요?
아니요. 서버에서 파싱하고 결과를 반환한 뒤 입력을 즉시 폐기합니다. 기록되지 않고 저장되지 않습니다.