Innehållsförteckning:

Hur schemalägger jag ett hive-jobb i oozie?
Hur schemalägger jag ett hive-jobb i oozie?

Video: Hur schemalägger jag ett hive-jobb i oozie?

Video: Hur schemalägger jag ett hive-jobb i oozie?
Video: MDV22 - Dag 1 - #2 Ledarskap i förändring – hur skapar vi engagemang? 2024, Maj
Anonim

Till schemalägg Hive-jobb använder sig av Oozie , du måste skriva en Bikupa -handling.

hql) i den.

  1. Skapa en katalog i HDFS genom att avfyra kommandot nedan.
  2. hadoop fs -mkdir -p /user/ oozie /arbetsflöden/
  3. Sätt arbetsflöde. xml, Bikupa script (create_table. hql) och bikupa -webbplats. xml i katalogen som skapades i steg 2. Du kan använda kommandot nedan.

Bara så, hur kör jag Hive script i oozie?

Kör Hive Jobs med Oozie

  1. Ange bikupans plats. xml i parametern job-xml.
  2. Ange namnet på skriptet (till exempel skript. q) som innehåller hive-frågan i skriptparametern.
  3. Lägg eventuellt till egenskaper som används av Oozie launcher-jobbet. Lägg till prefixet oozie. startprogrammet till egenskapsnamnen.

Dessutom, hur kör jag oozie arbetsflöde? Kör Oozie Workflow från kommandoraden

  1. Logga in på webbkonsolen.
  2. Kopiera oozie-exempel till din hemkatalog i webbkonsolen: cp /usr/hdp/current/oozie-client/doc/oozie-examples. tjära. gz.
  3. Extrahera filer från tar tar -zxvf oozie-examples.tar.gz.
  4. Kopiera exempelkatalogen till HDFS hadoop fs -copyFromLocal exempel.

I detta avseende, hur schemalägger jag ett Hadoop-jobb?

Hur schemalägga jobb i hadoop - Quora. Enklaste sättet är att slå in din kod i ett skalskript och schema det som en cron jobb på kantnoden (noden där du vanligtvis skickar in din jobb ). Men vanligtvis packar koden i ett skript och kör den som en jobb är svårt att felsöka. testa och underhålla.

Vad är oozie arbetsflöde?

Oozie är en arbetsflöde schemaläggningssystem för att hantera Apache Hadoop-jobb. Oozie arbetsflöde jobb är riktade acykliska grafer (DAGs) av åtgärder. Oozie Koordinatorjobb är återkommande Oozie arbetsflöde jobb som utlöses av tid (frekvens) och datatillgänglighet. Oozie är ett skalbart, pålitligt och utbyggbart system.

Rekommenderad: