tjddndk17

robots.txt 파일은 사이트 루트에 위치해야 합니다 ex) www.test.com/robots.txt # 모든 검색엔진 && 모든 페이지 수집 허용 User-agent: * Allow: / # 모든 검색엔진 && 모든 페이지 수집 불가 User-agent: * Disallow: / # 특정 로봇 && 특정 페이지 수집 불가 User-agent: Yeti User-agent: Googlebot Disallow: /admin Disallow: /src # 모든 로봇 && 루트 페이지만 수집 허용 User-agent: * Disallow: / Allow: /$ # sitemap을 설정하여 검색 로봇이 더 잘 수집할 수 있도록 도움 User-agent: * Allow: / Sitemap: http://ww..