Comprendere la mappa dei dati

Quando colleghi Snowflake o Databricks a Perplexity, Computer genera una mappa dei dati del tuo data warehouse o lakehouse. La mappa dei dati acquisisce informazioni chiave sul tuo modello di dati — tabelle e colonne importanti, modelli di query comuni e relazioni tra gli oggetti — in modo che Computer possa tradurre le domande in linguaggio naturale in query accurate.

Pensa alla mappa dei dati come a una mappa del tuo ambiente dati che aiuta Computer a capire cosa si trova dove e come viene tipicamente utilizzato. Una volta generata, la mappa dei dati continua a migliorare nel tempo: apprende dal feedback degli utenti, può essere modificata direttamente dagli admin ed è versionata, così le modifiche possono sempre essere riesaminate e ripristinate.

Una volta avviata la generazione della mappa dei dati, Computer esplora il tuo modello di dati utilizzando le autorizzazioni dell'account connesso. Questo processo analizza schemi, tabelle, viste e modelli di utilizzo storico per costruire una comprensione completa dei tuoi dati.

La mappa dei dati viene archiviata in modo sicuro in un repository versionato per organizzazione, accessibile solo ai membri della tua organizzazione. Ogni modifica — sia da rigenerazione, modifiche degli admin o aggiornamenti di autoapprendimento — viene registrata in modo che possa essere riesaminata e ripristinata.

Esiste una sola mappa dei dati per organizzazione, condivisa da ogni membro di quella organizzazione. Quando un admin avvia la generazione, lo fa per conto dell'intera organizzazione, non di un singolo utente.

La generazione della mappa dei dati per Snowflake viene avviata da un admin dell'organizzazione dalle impostazioni del connettore Snowflake. Perplexity fornisce due connettori Snowflake e gli admin generano la mappa dei dati da quello configurato dalla loro organizzazione:

Qualunque identità venga usata deve poter leggere le viste account-usage di Snowflake (vedi Requisiti di seguito). Se tali grant mancano, la generazione fallisce subito con un chiaro errore di autorizzazione anziché produrre una mappa dei dati parziale.

Per Databricks, la generazione viene avviata dalle impostazioni del connettore usando l'identità OAuth di Databricks dell'utente che avvia il processo. Computer enumera i cataloghi, gli schemi e le tabelle che quell'utente può vedere in Unity Catalog e legge le tabelle di sistema di Databricks per ottenere segnali di utilizzo. Ciò che l'utente che avvia il processo può vedere in Unity Catalog definisce ciò che finisce nella mappa dei dati.

Puoi aggiungere Contesto supplementare — caricare file o aggiungere note che descrivono i tuoi dati (ad es. cosa rappresentano le tabelle chiave, definizioni di business, modelli di query comuni) — per aiutare Computer a interpretare i tuoi dati con maggiore precisione. Il contesto aggiuntivo viene incluso in ogni esecuzione di generazione ed è non influenzato dalla rigenerazionequindi puoi continuare ad aggiungerlo nel tempo senza preoccuparti di perderlo.

Al termine della generazione, il Genera mappa dei dati pulsante nella finestra modale del connettore diventa Visualizza conoscenza. Facendo clic su Visualizza conoscenza si apre Editor della mappa dei datida cui gli amministratori possono esplorare, modificare e gestire tutto ciò che Computer ha appreso sui tuoi dati. Rigenera mappa dei dati è disponibile anche nella finestra modale del connettore una volta che esiste una mappa dei dati iniziale — vedi Rigenerare la mappa dei dati per sapere cosa fa e cosa viene conservato.

La generazione di una mappa dei dati può richiedere fino a 90 minutia seconda delle dimensioni e della complessità del tuo data warehouse o lakehouse. Non è necessario lasciare la pagina aperta: il processo viene eseguito in background e il Visualizza conoscenza pulsante apparirà nella finestra modale del connettore al termine.

L'Editor della mappa dei dati è la vista della tua mappa dei dati destinata agli amministratori, accessibile dagli strumenti di amministrazione dell'organizzazione. Separa la conoscenza di Snowflake e Databricks in sezioni distinte, mentre il contesto aziendale sottostante, i cluster di tabelle e i pattern di query sono organizzati come file che puoi leggere e modificare direttamente.

Dall'editor, gli amministratori possono:

Le modifiche dirette nell'editor sono permanenti per l'uso normale, ma coesistono con i contenuti generati automaticamente e non vengono conservate se rigeneri la mappa dei dati per quel warehouse — vedi Rigenerare la mappa dei dati di seguito.

La mappa dei dati migliora quanto più il tuo team lo utilizza. Quando un utente corregge l'agente dati in una sessione — ad esempio, "usa fct_queries anziché query_events per il conteggio delle query" oppure "escludi type = 'internal' dalle metriche del volume delle query" — Computer acquisisce quel feedback e lo usa per migliorare la mappa dei dati per tutti.

Il flusso è progettato per essere sicuro, revisionabile, e condiviso in tutta l’organizzazione:

Quando un utente invia un feedback in una sessione di Data Scientist, Computer registra una correzione strutturata — il file che dovrebbe essere interessato, la sezione, la modifica proposta e il contesto della sessione che l’ha generata. La mappa dei dati stessa non viene mai modificata in tempo reale da una sessione utente; il feedback viene sempre prima registrato in questo log.

Una volta al giorno, Computer esamina le correzioni registrate nelle 24 ore precedenti per ciascuna organizzazione e produce un unico aggiornamento proposto alla mappa dei dati:

Il risultato viene mostrato nell’Editor della mappa dei dati come un’unica proposta che gli admin possono esaminare.

Gli admin approvare la proposta (le modifiche vengono applicate alla mappa dei dati) oppure rifiutare lo (la proposta viene scartata). L’approvazione è ciò che “distribuisce” le modifiche: la prossima domanda sui dati che il tuo team porrà utilizzerà la mappa dei dati aggiornata. Non esiste un passaggio separato di pubblicazione.

Questo schema con supervisione umana è intenzionale: consente a Computer di apprendere continuamente dall’uso reale, mantenendo al contempo gli amministratori in controllo di ciò che è considerato affidabile come verità di riferimento.

Gli amministratori possono eseguire Rigenera mappa dei dati in qualsiasi momento dal modal del connettore. Al momento, la rigenerazione è una ricostruzione da zero per il warehouse che rigeneri:

Poiché la rigenerazione sostituisce la mappa dei dati di un warehouse e tutte le modifiche amministrative apportate, va eseguita intenzionalmente. Una rigenerazione più sicura che preserva le modifiche amministrative — e un \"ripristino completo\" esplicito separato — sono nella roadmap, ma non sono ancora disponibili nel prodotto.

L'identità usata per generare la mappa dei dati — l'account di servizio per l'autenticazione con key-pair / PAT, oppure l'utente Snowflake dell'amministratore che avvia l'operazione per l'autenticazione OAuth — deve poter leggere entrambe queste viste nello SNOWFLAKE.ACCOUNT_USAGE schema:

Se non hai già concesso questo accesso durante la configurazione iniziale, esegui quanto segue come ACCOUNTADMIN:

Quindi verifica dal ruolo di connessione:

Se ACCESS_HISTORY non è disponibile (Snowflake Standard Edition), la generazione ricorre a solo QUERY_HISTORY. mappa dei dati continuerà comunque a funzionare, ma con segnali leggermente meno precisi sulla lineage delle colonne e sui conteggi di accesso alle tabelle.

Per le istruzioni complete di configurazione, vedere Collegare Perplexity a Snowflake.

La generazione di Databricks utilizza l'identità OAuth dell'utente che avvia l'operazione e eredita le sue autorizzazioni Unity Catalog: non sono necessari permessi aggiuntivi. Ecco alcuni aspetti pratici da sapere:

Per le istruzioni complete di configurazione, vedere Collegare Perplexity a Databricks.