Come configurare AWS Kinesis Firehose per essere in grado di copiare in Redshift?

Problema

Ho impostato una function Firehose e opzioni selezionate che sembrava avrebbe prodotto i dati in streaming per finire in Redshift. Ho un singolo Firehose e un singolo tavolo objective in Redshift. I dati vengono visualizzati correttamente nel secchio intermedio S3 ma non rendendolo a Redshift.

Ho permesso alla regione Firehose CIDR [1] di accedere al cluster tramite i gruppi di protezione Redshift. Ho dato il Firehose le credenziali al cluster Redshift e ho provato le credenziali. Il cluster è accessibile a livello pubblico.

  • Qual è la differenza tra una substring pubblica e privata in un VPC di Amazon?
  • Perché non posso creare un set di record di risorsa Alias ​​per un'istanza EC2
  • Automatizza l'implementazione della guerra nella substring privata di VPC su tomcat7
  • Che cosa sono / dev / sda1 e / dev / sda2 su un'istanza EC2 di Amazon?
  • Soluzione per il sito PHP / MySQL caricamento rapido in più regioni
  • Come caricare i casi sftp di equilibrio su AWS
  • La tabella STL_LOAD_ERRORS è vuota, where vorrei vedere gli errori generati da un'istruzione di copia tentata e non rioutput. Non ci sono inoltre events di DeliveryToRedshift in CloudWatch. Questo mi port a credere che non esista nemless un tentativo di trasformarlo in Redshift.

    Sto utilizzando le opzioni Redshift COPY per specificare un file jsonpath per la copia. Attualmente ho: json "s3://app-event-data/_jsonpaths/_bigtable.jsonpath.json" . Questo file esiste in s3 in quella posizione e sembra il file jsonpath [3]. Ho anche provato ad aggiungere credenziali a quella casella, ma non è necessario.

    Aggiorna 1

    Ho abilitato la logging in Redshift che mi ha mostrato che esistono autenticazioni di successo provenienti da Firehose. Ho quindi creato un nuovo gruppo di parametri con abilitazione della logging degli utenti e il riavvio del cluster. In attesa del prossimo batch di registro.

    Riferimenti

    1. http://docs.aws.amazon.com/firehose/latest/dev/firehose-dg.pdf
    2. https://aws.amazon.com/kinesis/firehose/
    3. http://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html

    Perché ServerFault? Miglior sito di StackExchange per chiedere a proposito di Amazon AWS

    Avrei tagliato questa domanda: amazon-kinesis amazon-firehose amazon-redshift

    One Solution collect form web for “Come configurare AWS Kinesis Firehose per essere in grado di copiare in Redshift?”

    Ecco tutte le cose che ho inizialmente configurato male e eventualmente regolato per get Firehose per copiare correttamente i dati in Redshift:

    1. Assicurarsi che il secchio selezionato sia nella stessa regione del cluster redshift. È ansible specificare la REGIONE se per qualche motivo si intende addebitare ulteriori costi . Non è ansible modificare la regione di un secchio dopo averlo creato .

    selezionare la regione secchio

    Questo è un po 'confuso in un primo momento perché il selettore della regione nella console buckets dice "globale".

    immettere qui la descrizione dell'immagine

    1. Firehose non citerà gli identificatori per te, quindi se il nome della tabella fornito nel module richiede citazioni, è necessario aggiungerli da soli. Lo stesso vale per i nomi delle colonne.

    specificazione nome tabella

    1. Singole citazioni solo nelle opzioni di copia.

    2. Dare Firehose accesso al cluster Redshift, autorizzando il CIDR / IP corretto dalla scheda di protezione Redshift. Potete trovare il corretto CIDR / IP per la regione in cui hai creato Firehose qui . Non è necessario creare un nuovo gruppo Cluster Security per farlo. Puoi semplicemente aggiungere il valore predefinito. Se si aggiunge un nuovo gruppo di protezione, è necessario riconfigurare il cluster dal cruscotto per utilizzare il nuovo gruppo di protezione, non può avere 2.

    3. Redshift COPY non accetta timestamp con timezones esterni all'ora UTC. Se si utilizza un formato come RFC3339 è necessario specificare i tempi in UTC e specificare TIMEFORMAT 'auto' nelle opzioni di copia.

    4. Per avere un'idea di cosa sta succedendo quando le cose non funzionano, devi triggersre la logging degli events utente in Redshift:

      • consentendo la logging (ovviamente)

    immettere qui la descrizione dell'immagine

    • creazione di un nuovo gruppo di parametri

    immettere qui la descrizione dell'immagine

    • impostando user_activity_logging su true

    immettere qui la descrizione dell'immagine

    • modificando il cluster per utilizzare il nuovo gruppo di parametri

    immettere qui la descrizione dell'immagine

    immettere qui la descrizione dell'immagine

    • roboota il tuo cluster

    immettere qui la descrizione dell'immagine

    Enable user activity logging conseguimento della Enable user activity logging sbloccato

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.