9,048 matches
-
noduri subordonate. Nodul cu rol de comandă include JobTracker, TaskTracker, NameNode și DataNode. Un nod subordonat sau cu rol de execuție îndeplinește funcțiile specifice atât pentru DataNode cât și pentru TaskTracker. Există de asemenea posibilitatea de a dispune și de noduri cu rol de execuție specializate exclusiv pe stocarea informațiilor sau pe realizarea de operații. Categoriile acestea de noduri sunt utilizate exclusiv în aplicații nestandardizate. Hadoop necesită JRE versiunea 1.6 sau o versiune mai recentă. Scripturile standard de lansare și
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
rol de execuție îndeplinește funcțiile specifice atât pentru DataNode cât și pentru TaskTracker. Există de asemenea posibilitatea de a dispune și de noduri cu rol de execuție specializate exclusiv pe stocarea informațiilor sau pe realizarea de operații. Categoriile acestea de noduri sunt utilizate exclusiv în aplicații nestandardizate. Hadoop necesită JRE versiunea 1.6 sau o versiune mai recentă. Scripturile standard de lansare și de oprire necesită setarea ssh între nodurile din cluster. Într-un cluster mai mare, controlul asupra HDFS se
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
pe stocarea informațiilor sau pe realizarea de operații. Categoriile acestea de noduri sunt utilizate exclusiv în aplicații nestandardizate. Hadoop necesită JRE versiunea 1.6 sau o versiune mai recentă. Scripturile standard de lansare și de oprire necesită setarea ssh între nodurile din cluster. Într-un cluster mai mare, controlul asupra HDFS se execută printr-un server dedicat NameNode, care stochează indexul sistemului de fișiere și printr-un NameNode secundar, care poate genera instantanee ale structurilor de memorie cu numele nodurilor, prevenind
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
între nodurile din cluster. Într-un cluster mai mare, controlul asupra HDFS se execută printr-un server dedicat NameNode, care stochează indexul sistemului de fișiere și printr-un NameNode secundar, care poate genera instantanee ale structurilor de memorie cu numele nodurilor, prevenind astfel coruperea sistemului de fișiere și reducând pierderea informațiilor. În mod similar, un server JobTracker independent poate executa controlul asupra planificării activităților. În clusterele în care Hadoop MapReduce este implementat în conjuncție cu un sistem de fișiere alternativ, arhitectura
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
un sistem de fișiere alternativ, arhitectura HDFS care cuprinde NameNode, NameNode secundar și DataNode este substituită cu un sistem de fișiere specific echivalent. HDFS este un sistem de fișiere distribuit, scalabil și portabil, scris în Java, pentru framework-ul Hadoop. Fiecare nod dintr-o instanță Hadoop are în mod uzual un singur nod pentru stocarea informației. Un cluster de noduri pentru stocarea informațiilor formează un cluster HDFS. Situația este specifică, întrucât nodurile nu necesită prezența unui DataNode. Fiecare DataNode deservește blocuri de
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
secundar și DataNode este substituită cu un sistem de fișiere specific echivalent. HDFS este un sistem de fișiere distribuit, scalabil și portabil, scris în Java, pentru framework-ul Hadoop. Fiecare nod dintr-o instanță Hadoop are în mod uzual un singur nod pentru stocarea informației. Un cluster de noduri pentru stocarea informațiilor formează un cluster HDFS. Situația este specifică, întrucât nodurile nu necesită prezența unui DataNode. Fiecare DataNode deservește blocuri de informație din rețea prin intermediul unui protocol specific sistemului HDFS. Sistemul de
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
sistem de fișiere specific echivalent. HDFS este un sistem de fișiere distribuit, scalabil și portabil, scris în Java, pentru framework-ul Hadoop. Fiecare nod dintr-o instanță Hadoop are în mod uzual un singur nod pentru stocarea informației. Un cluster de noduri pentru stocarea informațiilor formează un cluster HDFS. Situația este specifică, întrucât nodurile nu necesită prezența unui DataNode. Fiecare DataNode deservește blocuri de informație din rețea prin intermediul unui protocol specific sistemului HDFS. Sistemul de fișiere utilizează protocolul TCP/IP pentru comunicație
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
scalabil și portabil, scris în Java, pentru framework-ul Hadoop. Fiecare nod dintr-o instanță Hadoop are în mod uzual un singur nod pentru stocarea informației. Un cluster de noduri pentru stocarea informațiilor formează un cluster HDFS. Situația este specifică, întrucât nodurile nu necesită prezența unui DataNode. Fiecare DataNode deservește blocuri de informație din rețea prin intermediul unui protocol specific sistemului HDFS. Sistemul de fișiere utilizează protocolul TCP/IP pentru comunicație, în timp ce stațiile client utilizează protocolul RPC pentru a comunica între ele. HDFS
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
64MB), utilizând mai multe mașini de calcul. Replicarea informațiilor pe mai multe mașini gazdă conferă fiabilitate și nu necesită stocare pe discuri RAID la nivelul mașinii de calcul gazdă. Valoarea implicită de replicare este 3, informațiile fiind stocate pe 3 noduri, dintre care 2 se află pe același suport și o altă replicare se face pe un suport diferit. Nodurile de date pot comunica pentru a reechilibra datele, pentru a deplasa copii ale acestora și pentru a păstra replicarea datelor la
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
stocare pe discuri RAID la nivelul mașinii de calcul gazdă. Valoarea implicită de replicare este 3, informațiile fiind stocate pe 3 noduri, dintre care 2 se află pe același suport și o altă replicare se face pe un suport diferit. Nodurile de date pot comunica pentru a reechilibra datele, pentru a deplasa copii ale acestora și pentru a păstra replicarea datelor la un nivel înalt. HDFS nu este total compatibil cu POSIX, întrucât cerințele unui sistem de fișiere POSIX diferă de
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
modul de restaurare a stării inițiale și recuperarea datelor. Se fac demersuri pentru dezvoltarea unei modalități de tranziție automată în cazul unui eșec în funcționare. Sistemul de fișiere include și un Namenode secundar, care poate crea impresia eronată că atunci când nodul primar iese din funcțiune, rolul său este preluat de nodul secundar. În realitate, nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
fac demersuri pentru dezvoltarea unei modalități de tranziție automată în cazul unui eșec în funcționare. Sistemul de fișiere include și un Namenode secundar, care poate crea impresia eronată că atunci când nodul primar iese din funcțiune, rolul său este preluat de nodul secundar. În realitate, nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile de referință care se creează astfel pot fi utilizate pentru
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
unei modalități de tranziție automată în cazul unui eșec în funcționare. Sistemul de fișiere include și un Namenode secundar, care poate crea impresia eronată că atunci când nodul primar iese din funcțiune, rolul său este preluat de nodul secundar. În realitate, nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile de referință care se creează astfel pot fi utilizate pentru a reporni un nod
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
în cazul unui eșec în funcționare. Sistemul de fișiere include și un Namenode secundar, care poate crea impresia eronată că atunci când nodul primar iese din funcțiune, rolul său este preluat de nodul secundar. În realitate, nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile de referință care se creează astfel pot fi utilizate pentru a reporni un nod primar care a avut un
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
include și un Namenode secundar, care poate crea impresia eronată că atunci când nodul primar iese din funcțiune, rolul său este preluat de nodul secundar. În realitate, nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile de referință care se creează astfel pot fi utilizate pentru a reporni un nod primar care a avut un eșec în funcționare, fara reiterarea întregului jurnal cu acțiunile
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
nodul secundar se conectează cu nodul primar și creează instantanee ale informațiilor din directorul nodului primar, care sunt apoi salvate în directoare locale sau la distanță. Imaginile de referință care se creează astfel pot fi utilizate pentru a reporni un nod primar care a avut un eșec în funcționare, fara reiterarea întregului jurnal cu acțiunile sistemului de fișiere și pentru editarea registrului în scopul creării unei structuri actualizate a directorului. Întrucât Namenode este un punct unic de stocare și management al
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
ca mai multe NameSpace să fie deservite de Namenode-uri distincte. Printre avantajele utilizării HDFS se numară transferul informațiilor de localizare între Jobtracker și Tasktracker. Jobtracker planifică acțiunile de mapare și reducere pentru Tasktracker, pe baza localizării informațiilor. De exemplu, dacă nodul A conține informațiile (x, y, z) și nodul B conține (a, b, c), Jobtracker planifică pentru B execuția sarcinilor de mapare și reducere pentru informațiile (a, b, c) și (x, y, z) pentru nodul A. Metoda reduce traficul vehiculat în
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
Namenode-uri distincte. Printre avantajele utilizării HDFS se numară transferul informațiilor de localizare între Jobtracker și Tasktracker. Jobtracker planifică acțiunile de mapare și reducere pentru Tasktracker, pe baza localizării informațiilor. De exemplu, dacă nodul A conține informațiile (x, y, z) și nodul B conține (a, b, c), Jobtracker planifică pentru B execuția sarcinilor de mapare și reducere pentru informațiile (a, b, c) și (x, y, z) pentru nodul A. Metoda reduce traficul vehiculat în rețea și previne un transfer inutil de informații
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
baza localizării informațiilor. De exemplu, dacă nodul A conține informațiile (x, y, z) și nodul B conține (a, b, c), Jobtracker planifică pentru B execuția sarcinilor de mapare și reducere pentru informațiile (a, b, c) și (x, y, z) pentru nodul A. Metoda reduce traficul vehiculat în rețea și previne un transfer inutil de informații. Acest avantaj poate să nu mai fie evident dacă Hadoop este utilizat în conjuncție cu alt sistem de fișiere, întrucât acesta poate avea un impact semnificativ
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
trebuie să dețină informații despre serverele din proximitatea locurilor în care e stocată informația. În structura ierarhică Hadoop, deasupra sistemului de fișiere se plasează motorul MapReduce, care cuprinde un JobTracker, către care aplicațiile client remit sarcinile MapReduce. JobTracker atribuie sarcinile nodurilor TaskTracker disponibile din cluster pe criteriul promixității față de informațiile prelucrate. Datorită sistemului de fișiere care cunoaște localizarea suportului, JobTracker detectează nodurile care conțin informațiile și mașinile de calcul care se află în proximitate. În cazul în care execuția sarcinii nu
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
fișiere se plasează motorul MapReduce, care cuprinde un JobTracker, către care aplicațiile client remit sarcinile MapReduce. JobTracker atribuie sarcinile nodurilor TaskTracker disponibile din cluster pe criteriul promixității față de informațiile prelucrate. Datorită sistemului de fișiere care cunoaște localizarea suportului, JobTracker detectează nodurile care conțin informațiile și mașinile de calcul care se află în proximitate. În cazul în care execuția sarcinii nu se poate realiza pe nodul în care este localizată informația, nodurile din același suport au prioritate pentru a prelua atribuțiile. Consecința
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
pe criteriul promixității față de informațiile prelucrate. Datorită sistemului de fișiere care cunoaște localizarea suportului, JobTracker detectează nodurile care conțin informațiile și mașinile de calcul care se află în proximitate. În cazul în care execuția sarcinii nu se poate realiza pe nodul în care este localizată informația, nodurile din același suport au prioritate pentru a prelua atribuțiile. Consecința o reprezintă reducerea traficului pe magistrala principală a rețelei. Dacă un JobTracker eșuează sau tergiversează execuția sarcinii, aceasta este replanificată. TaskTracker-ul de pe fiecare
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
Datorită sistemului de fișiere care cunoaște localizarea suportului, JobTracker detectează nodurile care conțin informațiile și mașinile de calcul care se află în proximitate. În cazul în care execuția sarcinii nu se poate realiza pe nodul în care este localizată informația, nodurile din același suport au prioritate pentru a prelua atribuțiile. Consecința o reprezintă reducerea traficului pe magistrala principală a rețelei. Dacă un JobTracker eșuează sau tergiversează execuția sarcinii, aceasta este replanificată. TaskTracker-ul de pe fiecare nod rulează un proces distinct pe
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
în care este localizată informația, nodurile din același suport au prioritate pentru a prelua atribuțiile. Consecința o reprezintă reducerea traficului pe magistrala principală a rețelei. Dacă un JobTracker eșuează sau tergiversează execuția sarcinii, aceasta este replanificată. TaskTracker-ul de pe fiecare nod rulează un proces distinct pe Java Virtual Machine, pentru a preveni situația în care TaskTracker eșuează dacă un proces întâmpină o eroare pe JVM. TaskTracker remite un semnal de confirmare a conectivității către JobTracker la fiecare minut pentru a-i
Apache Hadoop () [Corola-website/Science/326248_a_327577]
-
cheie. O transformare Reduce preia toate valorile unei chei specificate și generează o nouă listă a rezultatului redus. Fiecare fază are o pereche de valori de tipul (key-value) ca intrare și ieșire, tipurile de date putând fi alese de programator. Nodul master preia input-ul, îl divide în sub-probleme mai mici și le distribuie nodurilor operaționale. Un nod operațional poate să replice acest comportament într-o structură arborescentă pe mai multe niveluri. Nodul operațional procesează problema mai mică și livrează nodului
Apache Hadoop () [Corola-website/Science/326248_a_327577]