Yahoo!의 Slurp가 너무 자주 사이트를 방문한다면 이렇게 해보시죠?
사이트나 블로그의 크롤 어뷰징을 줄일 수 있는 몇가지 방법을 소개한다. 일단 일반적인 구글이나 야후 크롤러의 성향을 말해보자면…크롤러들은 사이트가 바뀌었다고 생각하면 일단 자주 방문을 하게 되고 이전 방문때와 비교했을때 별다르게 바뀐점이 없다는 판단을 하면 방문 횟수를 적절하게 줄여나간다.그래서 본인의 블로그 스킨을 바꾸었을때 굉장히 많은 트래픽이 몰려서 트래픽 초과를 당한적이 좀 있었다. 물론 지금은 이전보다 트래픽이 훨씬 […]
계속 읽기