W3C HTML 추천 스펙

http://www.w3.org/TR/html401/

이거의 번역본은…

http://trio.co.kr/webrefer/html/cover.html

웹로봇 규약을 지키기위한 사이트
또한 각종 웹로봇에 대한 정보가 나와있음

www.robotstxt.org
2005년 2월 21일 추가

웹 로봇 만들기 위한 링크 모음 by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.