Innehållsförteckning:

Hur startar jag min spark History-server?
Hur startar jag min spark History-server?

Video: Hur startar jag min spark History-server?

Video: Hur startar jag min spark History-server?
Video: Tent CAMPING in RAIN with FIRE - Dog 2024, November
Anonim

Så här aktiverar du Spark History-servern:

  1. Skapa en katalog för händelseloggar i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. När händelseloggning är aktiverad är standardbeteendet att alla loggar sparas, vilket gör att lagringen växer över tiden.

Utöver detta, hur ställer jag in en spark History-server?

Så här aktiverar du Spark History-servern:

  1. Skapa en katalog för händelseloggar i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. När händelseloggning är aktiverad är standardbeteendet att alla loggar sparas, vilket gör att lagringen växer över tiden.

På samma sätt, hur hittar jag webbadressen till min sparkhistorikserver? T.ex. för historikserver , de skulle vanligtvis vara tillgängliga på server - url >:18080/api/v1, och för ett program som körs, på https://localhost:4040/api/v1. I API:t refereras en applikation av dess applikations-ID, [app-id].

På samma sätt, vad är spark History-server?

De Spark History Server är ett övervakningsverktyg som visar information om genomförda Gnista applikationer. Denna informationen är hämtas från data som applikationer som standard skriver till en katalog på Hadoop Distributed File System (HDFS).

Vad är Sparkui?

Spark Web UI låter dig se en lista över schemaläggarens stadier och uppgifter, miljöinformation, information om de körande exekutörerna och mer. Titta på den här 30-minutersdemon för att lära dig mer om: Komponenter och livscykel för ett Spark-program. Hur din Spark-applikation körs på ett Hadoop-kluster.

Rekommenderad: