Pig kennenlernen
pig -x local A = LOAD '/home/admin/150214.CSV' USING PigStorage(';') AS (tag:int,zeit:chararray,username:chararray); DESCRIBE A; ILLUSTRATE A; B = GROUP A BY username; C = FOREACH B GENERATE group, COUNT(A.tag) as tag_count;…
Pig installieren
erweitert Hadoop Plattform installieren Download pig-0.14.0.tar.gz tar -xzvf pig-0.14.0.tar.gz sudo mv pig-0.14.0 /usr/ sudo ln -s /usr/pig-0.14.0 /usr/pig cp /usr/pig/conf/log4j.properties.template /usr/pig/conf/log4j.properties Mit vim ~/.bashrc folgende Einträge ergänzen. [code lang="bash"]export JAVA_HOME="/usr/java"…
Hadoop Projekt konfigurieren
SSH-Login ohne Kennwort Als "admin" am CentOS 7 anmelden. Anwendungen/Hilfsprogramme/Terminal ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys weitere Details: SecuringSSH…
Hadoop Plattform installieren
CentOS 7 VirtualBox 4.3.22/Neu (Aktualisierung VirtualBox 4.3.22 nötig für Gasterweiterungen vom CentOS 7) Name: CentOS 7 + Typ: Linux + Version: Red Hat (64-Bit) + Weiter 4096 MB + Weiter…
Hadoop Lesestoff
Apache Hadoop 2.6.0 How To Install Hadoop on Windows with HDP 2.0 Build and Install Hadoop 2.x or newer on Windows Hadoop Tutorial: Creating MapReduce Jobs in Java 50 Mapreduce…
The Open Graph Viz Platform
Gephi is an interactive visualization and exploration platform for all kinds of networks and complex systems, dynamic and hierarchical graphs.