GenAI AEO 진단 크롤러 안내

서비스

GenAI AEO(AI 답변 최적화) · https://aeo.gensapps.com/

운영

GenAI Labs(젠아이랩스)

사업자등록번호

210-32-72757

연락

contact@genailabs.kr

저희 요청은 로그에 이 사용자 에이전트로 남습니다.

GenAILabs-AEO-Audit/1.0 (+https://aeo.gensapps.com/crawler)

공개된 사이트가 AI 답변에 인용될 준비가 되어 있는지를 하나의 기준으로 측정해 기록합니다. 국내 주요 사이트를 같은 기준으로 오래 측정해 두면 "지금 우리나라 웹이 AI 답변에 얼마나 준비되어 있는가"를 자료로 말할 수 있습니다. 그 집계를 공개하는 것이 이 관측의 목적입니다.

공개하는 것은 집계와 개수뿐입니다. 사이트 이름을 붙인 점수는 그 사이트가 직접 동의한 경우에만 싣습니다. 순위표는 어떤 형태로도 내지 않습니다.

한 가지 예외가 있습니다. 월간 관측 리포트에는 80점 이상인 상위 사이트의 이름을 적습니다. 달마다 내는 월간 관측 리포트에는 기준 점수 이상인 상위 사이트의 이름만 적습니다. 그보다 낮은 사이트는 이름 없이 개수로만 적습니다. 빼 달라고 하시면 리포트에서도 함께 빠집니다.

저희가 측정하는 것은 AI 가 읽고 인용할 준비 하나뿐입니다. 내용이 사실인지, 디자인이 좋은지, 사업이 잘되는지는 측정하지 않습니다. 측정 기준은 무료 진단(FREE, 홈 포함 3페이지) 기준입니다.

정기 관측 말고 방문하는 경우가 하나 더 있습니다. 누군가 GenAI AEO 무료 진단에 사이트 주소를 넣으면 그때 한 번 방문합니다. 무료 진단은 로그인 없이 누구나 신청할 수 있어서, 신청한 사람과 관계없이 사이트마다 시간당·하루 진단 횟수를 제한하고 최근 결과가 있으면 다시 방문하지 않습니다.

아래 방법으로 관측에서 빼 달라고 하신 사이트는 무료 진단으로도 방문하지 않고, 이미 있는 결과도 새로 내보내지 않습니다.

사이트당 주기

일주일에 1회

하루에 보는 곳

지역마다 명단 크기에 맞춰 정합니다(한 달에 한 바퀴를 도는 수에 주간 표본을 더한 값)

시간대

국내 사이트 KST 03:00~08:00 · 해외 사이트 KST 11:00~18:00

한 번에 보내는 요청

1건(같은 사이트에 동시 요청을 2건 이상 보내지 않습니다)

관측 1회 요청 수

약 8~11건(robots.txt·사이트맵·llms.txt 계열과 페이지 3장)

사이트 사이 간격

8초 이상

robots.txt

관측할 때마다 새로 읽고 그대로 지킵니다. Crawl-delay 도 60초까지 지킵니다

처음 한 바퀴

명단을 처음 한 번 도는 동안에는 시간대를 두지 않고 하루 종일 돌되, 사이트 사이 간격을 20초 이상으로 벌립니다. 한 사이트가 받는 요청 수는 그대로입니다

쓰는 방식

GET 과 HEAD 만 씁니다. 양식 제출·검색·장바구니처럼 상태를 바꾸는 요청은 보내지 않습니다

보관

페이지 본문을 보관하지 않습니다. 점수와 항목별 결과, 응답 헤더 요약만 남깁니다

페이지 본문은 보관하지 않습니다. 남기는 것은 점수와 항목별 결과, 응답 시각과 HTTP 상태, 첫 페이지 본문의 SHA-256 해시, 응답 헤더 요약(ETag·Last-Modified·Content-Length)뿐입니다. 페이지에서 발견한 사람 이름이나 연락처는 어떤 형태로도 저장하지 않습니다.

• robots.txt 를 무시하지 않습니다.
• 사용자 에이전트를 숨기거나 브라우저인 척하지 않습니다.
• 403·429 를 받고 우회하지 않습니다. IP 나 사용자 에이전트를 바꾸지 않고, 막히면 막힌 대로 기록합니다.
• 로그인·유료 담벼락 뒤로 들어가지 않습니다.
• GET 과 HEAD 만 씁니다. 상태를 바꾸는 요청을 보내지 않습니다.
• 한 사이트에 동시 요청을 2건 이상 보내지 않습니다.
• 위에 적은 주기보다 더 자주 같은 사이트를 방문하지 않습니다. 주기를 바꿀 때는 이 안내를 먼저 고칩니다.
• 페이지 본문을 보관하거나 다시 공개하지 않습니다.
• 동의 없이 이름 붙은 점수를 공개하지 않습니다.
• 관측 결과를 영업 메일의 미끼로 쓰지 않습니다.
• 관측 결과를 제3자에게 팔거나 넘기지 않습니다.

1. robots.txt 에 적어 주세요

가장 빠른 방법입니다. 저희는 관측할 때마다 robots.txt 를 새로 읽으므로 다음 관측부터 자동으로 적용됩니다. 따로 알려 주지 않으셔도 됩니다.

User-agent: GenAILabs-AEO-Audit
Disallow: /

이렇게 적어 두시면 저희 관측 대상에서 완전히 빠지고, 다음 명단에도 다시 들어가지 않습니다.

2. 그 도메인의 회사 메일로 빼기를 요청해 주세요

회원 가입은 필요 없습니다. 아래에 도메인과 그 도메인의 회사 메일을 적어 주시면 확인 링크를 보내 드립니다. 링크를 누르시면 바로 빠집니다. 메일(contact@genailabs.kr)로 알려 주셔도 영업일 1일 안에 처리하고 회신드립니다.

빼 드리면 그 도메인의 지난 관측 기록을 지우고 정기 관측으로도, 누군가 무료 진단에 그 주소를 넣어도 다시 방문하지 않습니다. 다만 이미 공개한 집계는 되돌릴 수 없습니다(개수와 중앙값 안에 섞여 있어 따로 떼어 낼 수 없습니다). 이 점을 미리 알려 드립니다.

사용자 에이전트는 누구나 흉내 낼 수 있습니다. 저희 관측은 서버 한 대에서만 나가므로, 로그에 남은 접속이 정말 저희인지 의심스러우시면 contact@genailabs.kr 로 그 시각과 IP 를 보내 주세요. 영업일 1일 안에 저희 요청이 맞는지 확인해 회신드립니다. 저희가 보낸 것이 아니라면 그 사실도 그대로 알려 드립니다.