Perplexityは、robots.txtの指示を尊重します。 当社のクローラー、PerplexityBotは、robots.txtで禁止されているサイトのテキストコンテンツ（全体または一部）をインデックス化しません。 ただし、ページがブロックされている場合でも、ドメイン、見出し、簡潔な事実に基づく要約はインデックスされる場合があります。
Perplexityにコンテンツを表示することを許可した場合、そのコンテンツはAIトレーニングに使用されますか？
いいえ。PerplexityBotは、他の検索エンジンと同様にページをインデックスします。 Perplexityは基盤モデルを構築していないため、お客様のコンテンツがAIモデルの事前学習に使用されることはありません。
Perplexityのクローラーはrobots.txtを尊重しない、と書かれているのを見かけたのはなぜですか？
以前は、robots.txtでブロックされているURLでも、Perplexityに特定のURLの要約を依頼できました。 これにより、ユーザーは、あたかも自分でコピー＆ペーストしたかのようにコンテンツにアクセスできていました。 ただし、不正使用を防ぐため、この機能は無効になっています。
現在、PerplexityBotはrobots.txtに準拠したコンテンツのみをクロールします。
さらに、Perplexityは検索インデックスの構築を支援するため、サードパーティのクローラーとも提携しています。 これらのプロバイダーも、とりわけニュース配信事業者のサイトに関して、robots.txtを尊重するよう契約を更新しました。