Var kan jag hitta gnistloggar?

2024 Författare: Lynn Donovan | [email protected]. Senast ändrad: 2023-12-15 23:53

Logga kataloger

Standardplatsen för SPARK_WORKER_LOG_DIR är /var/ logga / gnista /arbetstagare. Standarden logga katalog för att starta Gnista SQL Thrift-server är $HOME/ gnista -sparsamhetsserver. Gnista Skal och applikation loggar matas ut till konsolen. Logga konfigurationsfilerna finns i samma katalog som gnista -env.sh.

Med hänsyn till detta, hur får jag gnistloggar?

Gnista jobb eller ansökan från sidan Analysera kan du komma åt loggar via Application UI och Gnista Applikationsgränssnitt. sida kan du komma åt loggar via Gnista Applikationsgränssnitt. Du kan också ytterligare loggar för att identifiera felen och undantagen i Gnista jobb eller applikationsfel.

På samma sätt, hur kontrollerar du garnloggar? Visa en logga fil The loggar för en applikationsmaster kan också visas i en webbläsare i resurshanterarens gränssnitt på garn .resourcemanager.webapp.address}/cluster (https://localhost:8088 på en enda nod "kluster").

På samma sätt kan man fråga sig, hur får jag executor-loggar på Spark?

Svar

1. Instruktioner för att hämta Spark-exekutorloggarna:
2. För Amabari -- 1) Gå till Spark Service och fliken Configs: 2) Hitta posten "Advanced spark-log4j-properties".
3. För Cloudera -- Ange: spark.executor.extraJavaOptions=-Dlog4j.configuration=fil:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Hur hittar jag webbadressen till min sparkhistorikserver?

T.ex. för historikserver , de skulle vanligtvis vara tillgängliga på server - url >:18080/api/v1, och för ett program som körs, på https://localhost:4040/api/v1. I API:t refereras en applikation av dess applikations-ID, [app-id].