Innehållsförteckning:

Vilka olika filformat finns i Hadoop?
Vilka olika filformat finns i Hadoop?

Video: Vilka olika filformat finns i Hadoop?

Video: Vilka olika filformat finns i Hadoop?
Video: Hadoop Processing Frameworks 2024, April
Anonim

Lyckligtvis för dig har big data-gemenskapen i princip bestämt sig för tre optimerade filformat för användning i Hadoop kluster: Optimized Row Columnar (ORC), Avro ochParquet.

Därefter kan man också fråga sig vilka olika typer av dataformat finns?

Det finns tre typer av data kartläggning och GIS dataformat . Varje typ hanteras annorlunda.

Dataformattyper

  • Filbaserad- Shapefiler, Microstation Design Files (DGN), GeoTIFF-bilder.
  • Katalogbaserad - ESRI ArcInfo Coverages, US Census TIGER.
  • Databasanslutningar - PostGIS, ESRI ArcSDE, MySQL.

Dessutom, vilket filformat är bäst i hive? RCFile är radkolumnär filformat . Detta är en annan form av Hive filformat som erbjuder hög komprimeringsgrad på radnivå. Om du har krav på att utföra flera rader åt gången kan du använda RCFile formatera.

Med tanke på detta, vilka är de vanliga inmatningsformaten i Hadoop?

InputFormat skapar Inputsplit

  • De vanligaste InputFormat är:
  • FileInputFormat- Det är basklassen för alla filbaseradeInputFormat.
  • TextInputFormat- Det är standardinmatningsformatet för MapReduce.
  • KeyValueTextInputFormat- Det liknar TextInputFormat.
  • Följ länken för att lära dig mer om InputFormat i Hadoop.

Vad är orc-filformat i Hadoop?

ORC-filformat Den optimerade radkolumnen ( ORC ) filformat ger ett mycket effektivt sätt att lagra Hive-data. Den designades för att övervinna begränsningarna hos den andra Hive filformat . Använder sig av ORC-filer förbättrar prestandan när Hiveis läser, skriver och bearbetar data.

Rekommenderad: