구글 서치콘솔에서 수많은 URL이 색인 생성에서 제외되었다는 알림을 받으면 대부분의 초보 운영자들은 자신이 무언가 치명적인 실수를 저질렀다고 생각합니다. 그러나 첨부된 이미지에서 확인되는 대량의 제외 페이지들은 사용자가 의도적으로 무언가를 차단했기 때문이 아니라 워드프레스 시스템 및 설치된 플러그인들이 검색엔진 최적화를 위해 사전에 구축해 둔 자동 방어 시스템이 정상적으로 작동하고 있음을 의미합니다.
사용자의 개입 없이 워드프레스가 스스로 페이지를 제외하는 원리
워드프레스는 전 세계에서 가장 널리 사용되는 콘텐츠 관리 시스템인 만큼 검색엔진 최적화에 최적화된 내부 설계 구조를 가지고 있습니다. 사용자가 글을 하나 작성하면 워드프레스는 단순히 그 글 하나만 생성하는 것이 아니라 글에 지정된 카테고리 페이지, 태그 분류 페이지, 작성자별 포스팅 모음 페이지 등 수많은 연관 페이지들을 시스템 내부적으로 자동 생성합니다.
이때 구글과 같은 검색 로봇이 이 모든 복제본 페이지들을 전부 긁어가서 검색창에 노출한다면 구글은 이 사이트에 알맹이가 같은 중복 콘텐츠가 가득하다고 판단하여 웹사이트의 전반적인 품질 평가 등급을 깎아내리게 됩니다. 이러한 대참사를 방지하기 위해 워드프레스에 기본적으로 탑재되어 있거나 추가로 설치한 SEO 관련 도구들이 검색 로봇이 원본 포스팅만 수집하고 껍데기 페이지들은 수집하지 못하도록 자동으로 NOINDEX 명령을 삽입하게 됩니다. 결과적으로 사용자가 아무런 설정을 만지지 않았더라도 시스템이 알아서 똑똑하게 방어벽을 쳐둔 것입니다.
소셜 공유 기능과 쿼리 매개변수가 만들어내는 가상 URL의 비밀
이미지의 URL 목록을 살펴보면 주소 뒷부분에 특이한 글자들이 길게 붙어 있는 것을 볼 수 있습니다. 구체적으로 주소 끝에 물음표와 함께 페이스북 공유를 뜻하는 단어나 추가적인 공유 식별 코드가 덧붙어 있는 형태입니다. 이것은 워드프레스 본문에 설치된 페이스북 공유 버튼, 트위터 공유 버튼, 혹은 제트팩과 같은 다기능 플러그인이 방문자의 원활한 공유 활동을 돕기 위해 임시로 생성해내는 변형 주소입니다.
방문자가 소셜 미디어로 내 글을 퍼갈 때마다 이러한 고유한 변형 주소들이 끊임없이 만들어지는데 이 주소들은 실제 독립된 페이지가 아니라 원본 글을 가리키는 이정표에 불과합니다. 검색엔진 로봇은 웹을 돌아다니다가 이 소셜 공유용 임시 주소들까지 전부 개별적인 웹페이지로 인식하여 수집하려고 시도합니다. 이때 워드프레스 시스템은 임시 공유 주소들의 무분별한 색인 등록을 차단하기 위해 공유용 주소의 헤더 영역에 NOINDEX 태그를 실시간으로 주입하여 구글의 수집을 거부합니다. 따라서 사용자가 어떠한 작업도 하지 않았음에도 불구하고 서치콘솔에는 제외된 주소의 숫자가 수백 개 단위로 계속해서 쌓이게 되는 현상이 발생합니다.
SEO 전문 플러그인이 수행하는 자동 필터링과 보호 작업
대부분의 워드프레스 사용자들은 블로그를 개설한 직후 요스트 에스이오나 랭크매스 또는 올인원 에스이오 같은 필수 최적화 플러그인을 설치하게 됩니다. 이 플러그인들은 활성화되는 즉시 사이트 내부의 모든 페이지 구조를 정밀 분석하고 검색에 불필요한 영역들을 선별하여 차단하는 기본 필터링 옵션을 작동시킵니다.
특히 블로그 내부 검색 결과 페이지나 사용자가 임의로 지정한 태그 아카이브 페이지는 알짜배기 정보가 들어있지 않은 저품질 유도 공간으로 간주하기 쉽습니다. 그리하여 최적화 플러그인들은 기본 권장 설정값에 따라 태그 아카이브와 특정 변수 주소들에 NOINDEX 명령어를 일괄 적용하여 구글 검색 로봇의 헛걸음을 막아냅니다. 즉 사용자가 이 필러 기능들을 일일이 수동으로 제어하지 않았더라도 플러그인 자체의 표준 보안 알고리즘이 가동되어 걸러진 주소들이 서치콘솔 화면에 보고되는 구조입니다.
제외된 페이지의 숫자가 늘어나도 안심해도 되는 이유
구글 서치콘솔에서 제외 상태로 분류된 페이지의 숫자가 500개 이상을 넘어가면 사이트에 중대한 저품질 경고가 떨어진 것이라 오해하기 쉽지만 이는 지극히 정상적이고 건강한 사이트 관리 과정의 일부입니다. 진짜 원본 글들의 색인 생성이 똑바로 이루어지고 있다면 이러한 찌꺼기 주소들이 깔끔하게 걸러져 제외 목록에 묶여 있는 상태가 오히려 사이트 평판 관리에 훨씬 유리합니다.
구글의 검색 로봇이 내 블로그를 방문하여 수집 활동을 벌일 수 있는 자원은 한정되어 있으므로 가치 없는 주소들을 NOINDEX로 신속하게 걷어내 주어야 핵심 정보가 담긴 신규 원본 글들을 더 빠르게 발견하고 상위 노출 기회를 부여하게 됩니다. 따라서 현재 확인되는 대량의 NOINDEX 제외 목록은 워드프레스와 최적화 플러그인이 검색 최적화 규칙에 발맞춰 사이트를 완벽히 방어하고 있다는 증거이므로 사용자가 굳이 이 현상을 해결하기 위해 억지로 설정을 바꾸거나 수집 허용 조치를 취할 필요가 전혀 없습니다.