Innehållsförteckning:

Vilka är de viktigaste konfigurationsparametrarna som användaren måste ange för att köra MapReduce-jobbet?
Vilka är de viktigaste konfigurationsparametrarna som användaren måste ange för att köra MapReduce-jobbet?

Video: Vilka är de viktigaste konfigurationsparametrarna som användaren måste ange för att köra MapReduce-jobbet?

Video: Vilka är de viktigaste konfigurationsparametrarna som användaren måste ange för att köra MapReduce-jobbet?
Video: Use Parameters to Ask for User Input When Running a Query in Microsoft Access (Parameter Query) 2024, Maj
Anonim

De huvudsakliga konfigurationsparametrarna som användare behöver specificera i ramverket "MapReduce" är:

  • Jobs indataplatser i det distribuerade filsystemet.
  • Jobs utdataplats i det distribuerade filsystemet.
  • Inmatningsformat för data.
  • Utdataformat.
  • Klass som innehåller kartfunktionen.
  • Klass som innehåller reduceringsfunktionen.

Häri, vilka är de viktigaste konfigurationsparametrarna i ett MapReduce-program?

De viktigaste konfigurationsparametrarna i ramverket "MapReduce" är:

  • Inmatningsplats för jobb i det distribuerade filsystemet.
  • Utdataplats för jobb i det distribuerade filsystemet.
  • Inmatningsformatet för data.
  • Utdataformatet för data.
  • Klassen som innehåller kartfunktionen.
  • Klassen som innehåller reduceringsfunktionen.

Man kan också fråga sig vad är parametrarna för mappers och reducerare? De fyra parametrarna för kartläggare är:

  • LongWritable (ingång)
  • Textinmatning)
  • text (mellanutgång)
  • IntWritable (mellanliggande utgång)

Frågan är också, vilka är huvudkomponenterna i MapReduce-jobbet?

  • Huvuddrivrutinsklass som tillhandahåller jobbkonfigurationsparametrar.
  • Mapper-klass som måste utöka org. apache. hadoop. kartreducera. Mapper klass och tillhandahålla implementering för map () metod.
  • Reducer-klass som ska utöka org. apache. hadoop. kartreducera. Reducerklass.

Vad är partitioner och hur det hjälper i MapReduce-jobbprocessen?

Skiljeväggar i MapReduce jobb exekvering styr partitioneringen av nycklarna för de mellanliggande kartutgångarna. Med hjälp av hash-funktionen, nyckel (eller en delmängd av nyckeln) härleder dela . Poster som har samma nyckelvärde går in i samma dela (inom varje kartläggare).

Rekommenderad: