View a markdown version of this page

Analizza e visualizza dati JSON annidati con Amazon Athena e Amazon Quick Sight - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitectureTools (Strumenti)EpicheRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Analizza e visualizza dati JSON annidati con Amazon Athena e Amazon Quick Sight

Anoop Singh, Amazon Web Services

Riepilogo

Questo modello spiega come tradurre una struttura di dati annidata in formato JSON in una vista tabulare utilizzando Amazon Athena e quindi visualizzare i dati in Amazon Quick Sight.

Puoi utilizzare dati in formato JSON per feed di dati basati su API provenienti da sistemi operativi per creare prodotti di dati. Questi dati possono anche aiutarti a comprendere meglio i tuoi clienti e le loro interazioni con i tuoi prodotti, in modo da personalizzare le esperienze degli utenti e prevedere i risultati.

Prerequisiti e limitazioni

Prerequisiti

  • Un attivo Account AWS

  • Un file JSON che rappresenta una struttura di dati annidata (questo modello fornisce un file di esempio)

Limitazioni:

  • Le funzionalità JSON si integrano bene con le funzioni orientate a SQL esistenti in Athena. Tuttavia, non sono compatibili con ANSI SQL e si prevede che il file JSON contenga ogni record su una riga separata. Potrebbe essere necessario utilizzare la ignore.malformed.json proprietà in Athena per indicare se i record JSON non validi devono essere trasformati in caratteri nulli o generare errori. Per ulteriori informazioni, consulta Best practice per la lettura dei dati JSON nella documentazione di Athena.

  • Questo modello considera solo piccole e semplici quantità di dati in formato JSON. Se desideri utilizzare questi concetti su larga scala, prendi in considerazione l'applicazione del partizionamento dei dati e il consolidamento dei dati in file più grandi.

Architecture

Il diagramma seguente mostra l'architettura e il flusso di lavoro per questo modello. Le strutture di dati annidate sono archiviate in Amazon Simple Storage Service (Amazon S3) in formato JSON. In Athena, i dati JSON vengono mappati su una struttura dati Athena. Quindi crei una vista per analizzare i dati e visualizzare la struttura dei dati in Quick Sight.

Analisi e visualizzazione di dati JSON annidati su AWS.

Tools (Strumenti)

Servizi AWS

  • Amazon Simple Storage Service (Amazon S3) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati. Questo modello utilizza Amazon S3 per archiviare il file JSON.

  • Amazon Athena è un servizio di query interattivo che ti aiuta ad analizzare i dati direttamente in Amazon S3 utilizzando SQL standard. Questo modello utilizza Athena per interrogare e trasformare i dati JSON. Con poche azioni in Console di gestione AWS, puoi indirizzare Athena ai tuoi dati in Amazon S3 e utilizzare SQL standard per eseguire query singole. Athena è serverless, quindi non c'è alcuna infrastruttura da configurare o gestire e paghi solo per le query che esegui. Athena si ridimensiona automaticamente ed esegue le query in parallelo, quindi i risultati sono rapidi, anche con set di dati di grandi dimensioni e query complesse.     

  • Amazon Quick Sight è un servizio di business intelligence (BI) su scala cloud che ti aiuta a visualizzare, analizzare e generare report sui dati in un'unica dashboard. Quick Sight ti consente di creare e pubblicare facilmente dashboard interattive che includono approfondimenti sull'apprendimento automatico (ML). Puoi accedere a queste dashboard da qualsiasi dispositivo e incorporarle nelle tue applicazioni, portali e siti Web.

Esempio di codice

Il seguente file JSON fornisce una struttura di dati annidata che è possibile utilizzare in questo modello.

{
  "symbol": "AAPL",
  "financials": [
    {
      "reportDate": "2017-03-31",
      "grossProfit": 20591000000,
      "costOfRevenue": 32305000000,
      "operatingRevenue": 52896000000,
      "totalRevenue": 52896000000,
      "operatingIncome": 14097000000,
      "netIncome": 11029000000,
      "researchAndDevelopment": 2776000000,
      "operatingExpense": 6494000000,
      "currentAssets": 101990000000,
      "totalAssets": 334532000000,
      "totalLiabilities": 200450000000,
      "currentCash": 15157000000,
      "currentDebt": 13991000000,
      "totalCash": 67101000000,
      "totalDebt": 98522000000,
      "shareholderEquity": 134082000000,
      "cashChange": -1214000000,
      "cashFlow": 12523000000,
      "operatingGainsLosses": null
    }
  ]
}

Epiche

OperazioneDescriptionCompetenze richieste

Crea un bucket S3.

Per creare un bucket per archiviare il file JSON, accedi a Console di gestione AWS, apri la console Amazon S3, quindi scegli Crea bucket. Per ulteriori informazioni, consulta Creazione di un bucket nella documentazione di Amazon S3. 

Amministratore di sistema

Aggiungi i dati JSON annidati.

Carica il tuo file JSON nel bucket S3. Per un file JSON di esempio, consulta la sezione precedente. Per istruzioni, consulta Caricamento di oggetti nella documentazione di Amazon S3.

Amministratore di sistema
OperazioneDescriptionCompetenze richieste

Crea una tabella per mappare i dati JSON.

  1. Apri la console Athena.

  2. Crea un database seguendo le istruzioni contenute nella documentazione di Athena.

  3. Dal menu Database, scegli il database che hai creato.

  4. Nell'editor di query, inserisci un'CREATE TABLEistruzione come la seguente:

    CREATE EXTERNAL TABLE financials_json (
    symbol string,
    financials array<
        struct<reportdate: string,
             grossprofit: bigint,
             totalrevenue: bigint,
             totalcash: bigint,
             totaldebt: bigint, 
             researchanddevelopment: bigint>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://s3bucket-for-athena/'

    dove LOCATION specifica la posizione del bucket S3 che contiene il file JSON.

  5. Scegli Esegui per creare la tabella.

Per ulteriori informazioni sulla creazione di tabelle, consulta la documentazione di Athena.

Developer

Crea una vista per l'analisi dei dati.

  1. Apri la console Athena.

  2. Crea un database seguendo le istruzioni contenute nella documentazione di Athena.

  3. Dal menu Database, scegli il database che hai creato.

  4. Nell'editor di query, inserisci un'CREATE VIEWistruzione come la seguente:

    CREATE OR REPLACE VIEW financial_json_view AS 
  SELECT 
  symbol, 
  financials[1].reportdate one_report_date, -- indexes start with 1 
  financials[1].totalrevenue one_total_revenue, 
  financials[1].reportdate another_report_date,
  financials[1].totalrevenue another_total_revenue 
FROM financials_json where symbol='AAPL' 
ORDER BY 
  1

  5. Scegli Run (Esegui) per creare la visualizzazione.

Per ulteriori informazioni sulla creazione di viste, consulta la documentazione di Athena.

Developer

Analizza e convalida i dati.

  1. Apri la console Athena.

  2. Nell'editor delle query, esegui le interrogazioni utilizzando la vista creata nel passaggio precedente.

  3. Convalida i dati rispetto al file JSON, per confermare che i nomi delle colonne e i tipi di dati siano mappati correttamente.

Developer
OperazioneDescriptionCompetenze richieste

Configura Athena come fonte di dati in Quick Sight.

  1. Apri la console Quick.

  2. Scegli Set di dati, Nuovo set di dati.

  3. Scegli Athena come fonte di dati.

  4. Scegli il database che include la vista che hai creato.

  5. Scegli la vista per cui vuoi creare un set di dati.

  6. Nella pagina Termina la creazione del set di dati, scegli Interroga direttamente i tuoi dati.

  7. Scegliere Visualize (Visualizza).

Amministratore di sistema

Visualizza i dati in Quick Sight.

  1. Dopo aver visualizzato il set di dati, scegli gli elementi visivi dal riquadro di sinistra e scegli i campi per il set di dati. Per ulteriori informazioni, consulta il tutorial nella documentazione rapida.

  2. Salvate le modifiche all'analisi.

  3. Scegli Pubblica dashboard per pubblicare gli elementi visivi che hai creato.

Analista dei dati

Risorse correlate