Daum 검색 크롤링 0건 문제 해결 가이드

다음 웹마스터도구

최근 제 블로그를 Daum 웹마스터도구에 등록한 후, 예상치 못한 문제를 겪었습니다. 처음 Daum.net에 사이트 등록한 초기에는 1,300건 이상의 대량 크롤링이 있었지만, 이후 최근 10일간 일평균 수집(크롤링) 건수가 0건으로 멈추면서 새 글이 전혀 검색에 반영되지 않는 상황이 발생했습니다.

Daum 웹마스터도구 요약

이 글은 이 문제를 해결하기 위해 제가 진행했던 단계별 진단 및 조치 과정을 담고 있으며, 저와 같은 상황을 겪는 분들께 도움이 되기를 바랍니다.


1단계. 문제 진단: ‘수집 0건’의 의미와 현상 확인

가장 먼저 웹마스터도구 대시보드의 **[정보 분석] → [수집 정보]**에서 제 블로그의 크롤링 현황을 확인했습니다.

📉 현상 분석

  • 초기 폭발적 크롤링: 등록 직후 (2025.10.23경) 1,300건 이상의 수집이 발생했습니다.
  • 크롤링 중단: 이후 일평균 수집 건수가 장기간 0건으로 멈추었음을 확인했습니다.
  • 결론: 다음 검색 로봇(DaumBot)이 사이트 방문을 중단했음이 그래프를 통해 명확하게 확인되었습니다. (첫 번째 대시보드 스크린샷 참고)

2단계. 가장 유력한 원인 배제 (기술적 점검)

자동 크롤링이 멈추는 가장 흔한 원인들을 하나씩 점검했습니다. 웹마스터도구의 여러 메뉴를 활용했습니다.

1. 개별 글 색인 가능 여부 확인

  • 경로: [수집 요청] → [문서 등록]
  • 조치: 노출되지 않던 최신 글 두 개의 URL을 수동 등록 요청했습니다.
  • 결과: 요청 즉시 [최근 색인문서] 목록에 해당 글들이 추가되었습니다.
  • 진단: 블로그 글 자체는 색인에 문제없으며, Daum의 색인 시스템 자체는 정상 작동합니다.
수동 URL 입력으로 정상 색인 등록 확인

2. 로봇 접근 차단 여부 (robots.txt) 확인

  • 경로: [검색 최적화] → 로봇룰 분석
  • 결과: “다음 (Daum) 크롤러가 수집 및 색인이 가능한 로봇룰입니다.” (정상)
  • 진단: robots.txt 파일에 DaumBot의 접근을 막는 치명적인 오류는 없었습니다. (/wp-admin/ 등 정상적인 관리자 영역 차단만 확인)
robots.txt 상태 점검

3. 서버 접속 상태 확인

  • 경로: [검색 최적화] → 사이트 응답
  • 결과: Status Code 200응답 시간 0.851초 (정상)
  • 진단: 사이트 접속 및 서버 연결에 문제가 없으며, 응답 속도도 적절합니다.
다음 웹마스터 도구 검색최적화 상태

잠정 결론: 표면적인 **robots.txt**나 서버 연결 문제는 없었으며, 0건 문제의 원인이 웹마스터도구 내의 오류 보고서에서 확인되지 않는 간헐적/내부적 문제일 가능성이 높았습니다.

3단계. 자동 크롤링 재개를 위한 핵심 조치 (Seed URL 등록)

표면적인 문제가 없으므로, DaumBot에게 “앞으로 방문해야 할 주소 목록”을 제공하여 자동 크롤링을 재개하도록 유도했습니다.

  1. Sitemap URL 등록:
    • 경로: [수집 요청] → [수집 Seed URL 등록]
    • 내용: 블로그의 사이트맵 주소 (https://gyongsu.com/sitemap.xml 등) 등록. (전체 페이지 목록 제공)
  2. Feed URL 등록:
    • 경로: [수집 요청] → [수집 Seed URL 등록]
    • 내용: 블로그의 피드 주소 (RSS/Atom) 등록. (새 글 업데이트 정보 제공)

4단계. 최종 점검 및 다음 계획

Seed URL 등록은 DaumBot에게 스케줄을 재개하도록 요청하는 가장 강력한 수단입니다.

🟢 수집 재개 관찰

  • 24~48시간 동안 대시보드 **[수집 정보]**의 수치가 0에서 벗어나는지 집중적으로 관찰할 계획입니다.
  • 만약 이 글이 수동 등록 없이 다음 검색에 자동으로 색인된다면, Seed URL 등록이 성공적으로 작동했다는 것을 의미합니다!

🔴 최종 방어선: 고객센터 문의

  • 2~3일 후에도 크롤링 0건이 지속된다면, Daum 웹마스터도구 고객센터에 “Sitemap/Feed 등록 완료 및 기술적 문제 없음 확인 후에도 크롤링 0건이 지속되니, 내부 로봇 로그를 확인하여 중단 원인(서버 오류 코드 등)을 알려달라”는 내용을 다시 추가 문의할 계획입니다.

이 글이 다음 검색에서 잘 노출되기를 바라며, 크롤링 문제가 완전히 해결되는 대로 후속 내용을 공유하겠습니다!

(추가) 포스팅 3시간 뒤 추가 조치 없이, Daum에 사이트를 한정해서 검색해봤는데, 크롤링이 잘 되고 사이트 등록되었습니다.

3시간 뒤 등록 확인

Comments

No comments yet. Why don’t you start the discussion?

Leave a Reply

Your email address will not be published. Required fields are marked *