Πού θα αποθηκευτούν τα ενδιάμεσα δεδομένα του χαρτογράφου;

Πού θα αποθηκευτούν τα ενδιάμεσα δεδομένα του χαρτογράφου;
Πού θα αποθηκευτούν τα ενδιάμεσα δεδομένα του χαρτογράφου;
Anonim

Η έξοδος του Mapper (ενδιάμεσα δεδομένα) αποθηκεύεται στο το Τοπικό σύστημα αρχείων (όχι HDFS) κάθε μεμονωμένου κόμβου δεδομένων χαρτογράφησης. Αυτός είναι συνήθως ένας προσωρινός κατάλογος που μπορεί να ρυθμιστεί σε ρυθμίσεις από τον διαχειριστή Hadoop.

Πού κάνει το MapReduce τα ενδιάμεσα δεδομένα;

  • Η έξοδος αντιστοίχισης (ενδιάμεσα δεδομένα) αποθηκεύεται στο τοπικό σύστημα αρχείων (ΟΧΙ HDFS) κάθε μεμονωμένου κόμβου χαρτογράφησης. …
  • νομίζω ότι αυτή είναι η παράμετρος που πρέπει να τροποποιηθεί για να αλλάξει η ενδιάμεση θέση δεδομένων..
  • mapreduce.cluster.local.dir.
  • Ελπίζω να βοηθήσει.

Πού αποθηκεύεται η έξοδος του χαρτογράφου;

9) Πού αποθηκεύεται η έξοδος Mapper; Τα δεδομένα ενδιάμεσης τιμής κλειδιού της εξόδου χαρτογράφησης θα αποθηκευτούν στο τοπικό σύστημα αρχείων των κόμβων αντιστοίχισης. Αυτή η θέση καταλόγου ορίζεται στο αρχείο διαμόρφωσης από τον διαχειριστή Hadoop.

Τι είναι τα ενδιάμεσα δεδομένα στο MapReduce;

Τα ενδιάμεσα αρχεία δεδομένων δημιουργούνται από τον χάρτη και μειώνουν τις εργασίες σε έναν κατάλογο (τοποθεσία) στον τοπικό δίσκο. … Εξαγωγή αρχείων που δημιουργούνται από τις εργασίες χάρτη που χρησιμεύουν ως είσοδος για τις εργασίες μείωσης. Προσωρινά αρχεία που δημιουργούνται από τις εργασίες μείωσης.

Πού γράφεται η έξοδος του mapper στο Hadoop;

Στο Hadoop, η έξοδος του Mapper είναι αποθηκεύεται στον τοπικό δίσκο, καθώς είναι ενδιάμεση έξοδος. Δεν υπάρχει ανάγκη αποθήκευσης ενδιάμεσων δεδομένωνσε HDFS επειδή: η εγγραφή δεδομένων είναι δαπανηρή και περιλαμβάνει αναπαραγωγή που αυξάνει περαιτέρω το κόστος και το χρόνο.

Συνιστάται: