Pig kennenlernen
pig -x local A = LOAD '/home/admin/150214.CSV' USING PigStorage(';') AS (tag:int,zeit:chararray,username:chararray); DESCRIBE A; ILLUSTRATE A; B = GROUP A BY username; C = FOREACH B GENERATE group, COUNT(A.tag) as tag_count;…
Pig installieren
erweitert Hadoop Plattform installieren Download pig-0.14.0.tar.gz tar -xzvf pig-0.14.0.tar.gz sudo mv pig-0.14.0 /usr/ sudo ln -s /usr/pig-0.14.0 /usr/pig cp /usr/pig/conf/log4j.properties.template /usr/pig/conf/log4j.properties Mit vim ~/.bashrc folgende Einträge ergänzen. [code lang="bash"]export JAVA_HOME="/usr/java"…
Hadoop Projekt konfigurieren
SSH-Login ohne Kennwort Als "admin" am CentOS 7 anmelden. Anwendungen/Hilfsprogramme/Terminal ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys weitere Details: SecuringSSH…
Hadoop Plattform installieren
CentOS 7 VirtualBox 4.3.22/Neu (Aktualisierung VirtualBox 4.3.22 nötig für Gasterweiterungen vom CentOS 7) Name: CentOS 7 + Typ: Linux + Version: Red Hat (64-Bit) + Weiter 4096 MB + Weiter…
Hadoop Lesestoff
Apache Hadoop 2.6.0 How To Install Hadoop on Windows with HDP 2.0 Build and Install Hadoop 2.x or newer on Windows Hadoop Tutorial: Creating MapReduce Jobs in Java 50 Mapreduce…