Perplexity는 robots.txt 지침을 준수합니다. Perplexity의 크롤러인 PerplexityBot은 robots.txt를 통해 허용하지 않는 사이트의 텍스트 콘텐츠 전체 또는 일부를 인덱싱하지 않습니다. 다만, 페이지가 차단되더라도 도메인, 헤드라인 및 간략한 사실 요약은 인덱싱될 수 있습니다.
콘텐츠가 Perplexity에 표시되도록 허용할 경우 AI 학습에 사용되나요?
아니요, PerplexityBot은 다른 검색 엔진과 유사하게 페이지를 색인화합니다. Perplexity는 파운데이션 모델을 구축하지 않으므로 귀하의 콘텐츠는 AI 모델 사전 학습에 사용되지 않습니다.
Perplexity의 크롤러가 robots.txt를 준수하지 않는다는 내용을 왜 접하게 되나요?
이전에는 robots.txt에 의해 차단된 URL이라 하더라도 사용자가 Perplexity에 특정 URL의 요약을 요청할 수 있었습니다. 이를 통해 사용자는 콘텐츠를 직접 복사하여 붙여넣은 것처럼 접근할 수 있었습니다. 그러나 오용을 방지하기 위해 이 기능은 비활성화되었습니다.
이제 PerplexityBot은 robots.txt를 준수하여 콘텐츠만을 크롤링합니다.
또한, Perplexity는 검색 인덱스 구축을 위해 서드파티 크롤러와 협력하고 있습니다. 당사는 이러한 제공업체들이 특히 뉴스 게시자 사이트의 robots.txt를 준수하도록 계약 내용을 업데이트했습니다.