Perplexity robots.txt निर्देशों का सम्मान करता है। हमारा क्रॉलर, PerplexityBot, किसी भी ऐसी साइट के पूर्ण या आंशिक पाठ कॉन्टेंट को इंडेक्स नहीं करेगा जो robots.txt के माध्यम से इसकी अनुमति नहीं देती। हालाँकि, यदि कोई पेज ब्लॉक है, तो हम अब भी डोमेन, हेडलाइन और एक संक्षिप्त तथ्यात्मक सारांश को इंडेक्स कर सकते हैं।
अगर मैं अपनी सामग्री को Perplexity में दिखाने की अनुमति देता हूँ, तो क्या उसका उपयोग AI प्रशिक्षण के लिए किया जाएगा?
नहीं, PerplexityBot अन्य सर्च इंजन की तरह ही पेजों को इंडेक्स करता है। Perplexity फाउंडेशन मॉडल नहीं बनाता है, इसलिए आपके कॉन्टेंट का उपयोग AI मॉडल प्री-ट्रेनिंग के लिए नहीं किया जाएगा।
मैंने यह क्यों पढ़ा है कि Perplexity के क्रॉलर robots.txt का पालन नहीं करते?
पहले, उपयोगकर्ता Perplexity को किसी विशिष्ट URL को सारांशित करने के लिए प्रॉम्प्ट कर सकते थे, भले ही वह robots.txt द्वारा ब्लॉक हो। इससे उपयोगकर्ताओं को कॉन्टेंट तक पहुँच मिलती थी जैसे कि उन्होंने इसे स्वयं कॉपी-पेस्ट किया हो। हालाँकि, दुरुपयोग को रोकने के लिए इस फीचर को निष्क्रिय कर दिया गया है।
अब, PerplexityBot केवल robots.txt के अनुपालन में कॉन्टेंट क्रॉल करता है।
इसके अतिरिक्त, Perplexity हमारे सर्च इंडेक्स बनाने में मदद के लिए थर्ड-पार्टी क्रॉलर्स के साथ साझेदारी करता है। हमने अपने समझौतों को अपडेट किया है ताकि यह सुनिश्चित हो सके कि ये प्रदाता भी robots.txt का सम्मान करें, विशेष रूप से समाचार प्रकाशक साइटों के लिए।