이야기
robots.txt과 메타태그 200% 사용방법
robots.txt과 메타태그 200% 사용방법
* robots.txt 란?
여러분의 사이트에 검색엔진을 통해 색인이 생성되지 않도록 하려는 콘텐츠가 있다면, robots.txt 파일을 사용하여
웹을 색인하는 검색엔진 로봇(이하 "검색봇")을 차단하거나 필요한 부분만을 검색엔진에 나타나게 할 수 있습니다.
* robots.txt 작성법
- 위치
홈페이지 계정의 최상위 디렉토리
예) https://www.free5.co.kr/robots.txt
- 내용
User-agent: 로봇의 이름
Disallow: 제한할 디렉토리
Crawl-delay: 다음 방문까지의 딜레이(초)
사용예)
모든 로봇에게 모든 디렉토리를 제한할 경우
User-agent: *
Disallow: /
모든 로봇에게 aaa라는 디렉토리를 제한할 경우
User-agent: *
Disallow: /aaa
구글의 로봇에게만 허용하고 다른 로봇들에게는 모든 디렉토리를 제한할 경우
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
구글 이미지의 로봇에게 JPG 파일을 제한할 경우
User-agent: Googlebot-Image
Disallow: /*.jpg$
모든 로봇에게 모든 디렉토리를 허용하지만 1분에 한번만 방문허용
User-agent: *
Disallow:
Crawl-delay: 60
#으로 주석문을 만들 수 있습니다.
* 주요 검색엔진의 로봇이름
Google : googlebot
MSN Search : msnbot
Yahoo : yahoo-slurp
Ask/Teoma : teoma
Cuil : twiceler
GigaBlast : gigabot
Scrub The Web : scrubby
DMOZ Checker : robozilla
Nutch : nutch
Alexa/Wayback : ia_archiver
Baidu : baiduspider
Naver : naverbot, yeti
Google Image : googlebot-image
Google Mobile : googlebot-mobile
Yahoo MM : yahoo-mmcrawler
MSN PicSearch : psbot
SingingFish : asterias
Yahoo Blogs : yahoo-blogs/v3.9
---------------------------------------------------------------------------
* 메타태그(Meta tag) 란?
이름에서 짐작할 수 있듯 (x)html 태그 중 하나이고 '메타', 즉, 문서 그 자체를 설명하는 태그를 메타 태그라 합니다. 일반 (x)html 태그는 문서 내용물을 어떻게 보이게 하는가를 규정하기 위해 마크 업을 합니다. 이와 달리 메타 태그는 (x)html 문서가 어떤 내용을 담고 있고, 그 문서의 핵심어는 무엇이며, 누가 만들었는지, 문자 세트는 어떤 것을 사용하는지 등의 메타 정보를 담고 있습니다.
메타 태그는,"empty tag" 중의 하나입니다. <b>볼드체</b>처럼 열고 닫는 태그가 다 있는것이 아니라 닫는 태그는 없습니다. 즉, </meta>라는 태그는 없습니다. 그러므로 xhtml의 경우 <meta ... />처럼 자체 내에서 /로 닫으면서 마무리되어야 합니다.
반드시 <head>~</head> 사이에 놓입니다.
예제)
<meta name="robots" content="ALL">
<meta name="keywords" content="무료프로그램,무료배너,무료지원,무료홍보,무료나눔">
<meta name="Subject" content="세상에 꽁자는 없다">
<meta name="description" content="프리오">
<meta name="author" content="프리오 - 세상에 꽁자는 없다">
<meta name="writer" content="www.free5.co.kr">
<meta name="copyright" content="ⓒ 2012 free5 Corp.All Rights Reserved">
<meta name="reply-to" ConTENT="">
<meta name="content-language" content="kr">
<meta name="build" content="2012.04.16">
<meta http-equiv="Content-Type" content="text/html; charset=euc-kr">
<link rel="SHORTCUT ICON" href="https://www.free5.co.kr/img/free5.ico">
허용하고자하는 내용과,키워드를 적정하게 기록하여 <head>~</head> 넣어서 사용합니다
이 게시물을
제목
날짜
2012.06.11
2012.06.03
2012.06.01
2012.05.30
2012.05.30
2012.05.30
2012.05.30
2012.05.23
2012.05.16
2012.05.10
2012.05.03
2012.05.02
2012.05.02
2008.09.22
2012.04.23
2012.04.15
2012.04.14
2012.04.13
2012.06.11
2012.06.03
2012.06.01
2012.05.30
2012.05.30
2012.05.30
2012.05.30
2012.05.23
2012.05.16
2012.05.10
2012.05.03
2012.05.02
2012.05.02
2008.09.22
2012.04.23
2012.04.15
2012.04.14
2012.04.13