Comprendre la carte des données

Lorsque vous connectez Snowflake ou Databricks à Perplexity, Computer génère un Carte des données de votre entrepôt de données ou lakehouse. Data Map capture les informations clés de votre modèle de données — les tables et colonnes importantes, les schémas de requêtes courants et les relations entre les objets — afin que Computer puisse convertir les questions en langage naturel en requêtes précises.

Considérez cela comme une carte de votre environnement de données qui aide Computer à comprendre ce qui se trouve où et comment cela est généralement utilisé. Une fois générée, la Data Map continue de s’améliorer au fil du temps : elle apprend grâce aux retours des utilisateurs, peut être modifiée directement par les administrateurs et est versionnée afin que les changements puissent toujours être examinés et annulés.

Une fois la génération de Data Map lancée, Computer explore votre modèle de données en fonction des autorisations de votre compte connecté. Ce processus examine vos schémas, tables, vues et schémas d’utilisation historiques afin de construire une compréhension complète de vos données.

La Data Map est stockée de manière sécurisée dans un dépôt versionné propre à chaque organisation, accessible uniquement aux membres de votre organisation. Chaque modification — qu’elle provienne d’une régénération, de modifications par un administrateur ou de mises à jour autoapprenantes — est enregistrée afin de pouvoir être examinée et annulée.

Il y a une carte de données par organisation, partagée par chaque membre de cette organisation. Lorsqu’un administrateur lance la génération, il le fait au nom de l’ensemble de l’organisation, et non d’un utilisateur en particulier.

La génération de la Data Map pour Snowflake est lancée par un administrateur de l’organisation depuis les paramètres du connecteur Snowflake. Perplexity propose deux connecteurs Snowflake, et les administrateurs génèrent la Data Map à partir de celui que leur organisation a configuré :

Quelle que soit l’identité utilisée, elle doit pouvoir lire les vues d’utilisation du compte Snowflake (voir Exigences ci-dessous). Si ces autorisations manquent, la génération échoue immédiatement avec une erreur d’autorisation claire plutôt que de produire une Data Map partielle.

Pour Databricks, la génération est lancée depuis les paramètres du connecteur à l’aide de l’identité OAuth Databricks de l’initiateur. Computer énumère les catalogues, schémas et tables que l’utilisateur peut voir dans Unity Catalog et lit les tables système Databricks pour les signaux d’utilisation. Ce que l’initiateur peut voir dans Unity Catalog détermine ce qui apparaît dans la Data Map.

Vous pouvez ajouter Contexte supplémentaire — téléversez des fichiers ou ajoutez des notes décrivant vos données (par exemple, ce que représentent les tables clés, les définitions métier, les schémas de requêtes courants) — pour aider Computer à interpréter vos données plus précisément. Le contexte supplémentaire est intégré à chaque exécution de génération et est non affecté par la régénération, afin que vous puissiez continuer à l’enrichir au fil du temps sans craindre de le perdre.

Une fois la génération terminée, le Générer une carte des données le bouton de la fenêtre modale du connecteur devient Voir les connaissances«. En cliquant Voir les connaissances ouvre le Éditeur de la carte des données», où les administrateurs peuvent parcourir, modifier et gérer tout ce que Computer a appris à propos de vos données. Régénérer la carte des données est également disponible depuis la fenêtre modale du connecteur une fois qu’une Data Map initiale existe — voir Régénération de la carte des données pour ce qu’il fait et ce qui est conservé.

La génération d’une carte des données peut prendre jusqu’à 90 minutes", selon la taille et la complexité de votre entrepôt de données ou lakehouse. Vous n'avez pas besoin de laisser la page ouverte — le processus s'exécute en arrière-plan et le Voir les connaissances le bouton apparaîtra dans la fenêtre modale du connecteur une fois l’opération terminée.

L’éditeur de la carte des données est la vue destinée aux administrateurs de votre carte des données, accessible depuis les outils d’administration de l’organisation. Il sépare les connaissances Snowflake et Databricks en sections distinctes, et le contexte métier sous-jacent, les clusters de tables et les modèles de requêtes sont organisés sous forme de fichiers que vous pouvez lire et modifier directement.

Depuis l’éditeur, les administrateurs peuvent :

Les modifications directes dans l’éditeur sont durables pour une utilisation normale, mais elles coexistent avec le contenu généré automatiquement et ne sont pas conservés si vous régénérez la carte des données pour cet entrepôt — voir Régénération de la carte des données below.

La Data Map s’améliore à mesure que votre équipe l’utilise. Lorsqu’un utilisateur corrige l’agent de données dans un fil de discussion — par exemple, "use fct_queries au lieu de query_events pour les comptages de requêtes" ou "exclure type = 'internal' « à partir des métriques de volume de requêtes" — Computer capture ce retour et l’utilise pour améliorer la Data Map pour tout le monde.

Le pipeline est conçu pour être safe, révisable", et partagé(e) à l’échelle de l’organisation:

Lorsqu’un utilisateur fournit un retour dans une session Data Scientist, Computer consigne une correction structurée — le fichier concerné, la section, la modification proposée et le contexte de la session qui l’a générée. La Data Map elle-même n’est jamais modifiée en direct depuis une session utilisateur ; les retours sont toujours d’abord enregistrés dans ce journal.

Une fois par jour, Computer examine les corrections enregistrées au cours des 24 dernières heures pour chaque organisation et produit un seul élément consolidé mise à jour proposée vers la carte des données :

Le résultat est présenté dans l’éditeur de Data Map sous la forme d’une proposition unique que les administrateurs peuvent examiner.

Administrateurs approuver la proposition (les modifications sont appliquées à la carte des données) ou rejeter it (la proposition est abandonnée). L’approbation est ce qui « déploie » les changements — la prochaine question de données que votre équipe posera utilisera la Data Map mise à jour. Il n’y a pas d’étape de publication distincte.

Ce schéma avec intervention humaine est intentionnel : il permet à Computer d’apprendre en continu à partir de l’utilisation réelle, tout en laissant aux administrateurs le contrôle de ce qui est considéré comme une vérité de référence digne de confiance.

Les administrateurs peuvent exécuter Régénérer la carte des données à tout moment depuis la fenêtre modale du connecteur. Aujourd’hui, la régénération est un reconstruire à partir de zéro pour l’entrepôt que vous régénérez:

Étant donné que la régénération remplace la Data Map d’un entrepôt ainsi que toutes les modifications apportées par un administrateur, elle doit être exécutée intentionnellement. Une régénération plus sûre qui préserve les modifications de l’administrateur — ainsi qu’une option distincte et explicite de « réinitialisation complète » — figurent sur la feuille de route, mais ne sont pas encore disponibles dans le produit.

L'identité utilisée pour générer la Data Map — le compte de service pour l’authentification par paire de clés / PAT, ou l’utilisateur Snowflake de l’administrateur à l’origine pour l’authentification OAuth — doit pouvoir lire ces deux vues dans le SNOWFLAKE.ACCOUNT_USAGE schema:

Si vous n’avez pas déjà accordé cet accès lors de la configuration initiale, exécutez la commande suivante en tant que ACCOUNTADMIN:

Puis vérifiez depuis le rôle de connexion :

Si ACCESS_HISTORY n'est pas disponible (édition Standard de Snowflake), la génération revient à QUERY_HISTORY seul. La Data Map fonctionnera toujours, mais avec un signal légèrement moins précis sur le lignage des colonnes et le nombre d’accès aux tables.

Pour obtenir les instructions complètes de configuration, consultez Connecter Perplexity à Snowflake.

La génération Databricks utilise l’identité OAuth de l’initiateur et hérite de ses autorisations Unity Catalog — aucun droit supplémentaire n’est requis. Voici quelques points pratiques à connaître :

Pour obtenir les instructions complètes de configuration, consultez Connexion de Perplexity avec Databricks.