Installation de HBASE Zookeeper sur Archlinux


Si vous avez suivi et réussi les tutoriels précédants, HADOOP et HIVE, nul doute que vous trouverez celui-ci plus sympa, car plus court.

HBase, encore une autre base de données sur HDFS. Quelle est donc sa particularité ? Elle profite tout simplement d'une architecture en colonne, tout comme une architecture horizontale. Elle s'étend d'elle-même en profitant du vaste espace offert et géré par HDFS. Du coup, pas de verticalité. L'accès aux données se fait par bloc de famille, matérialisé par des paires clef/valeur datées.

HBASE n'est pas seul, car il s'appuie sur ZOOKEEPER, créé pour maintenir la coordination et la synchronisation au sein d’un cluster Hadoop. Nous allons donc voir l'installation et la configuration de ces deux services, dans l'espace de l'utilisateur hadoop déjà ouvert et configuré.

HBASE a besoin du langage ruby pour fonctionner en shell, de fait il nous faudra d'abord installer ce composant sur notre architecture ARCH. S'assurer d'être authentifié sous l'utilisateur hadoop puis ;

    sudo pacman -S ruby

Dès l'installation de ruby terminée, téléchargement et décompression de HBASE

    wget http://apache.mirror.gtcomm.net/hbase/stable/hbase-1.4.9-bin.tar.gz
    tar -zxvf hbase-1.4.9-bin.tar.gz

Un lien symbolique pour simplifier l'accès

    ln -s /home/hadoop/hbase-1.4.9/ ~/hbase

Un tour dans bashrc pour configurer $PATH et la variable d'environnement

    nano .bashrc
        # Set HBASE_HOME
        export HBASE_HOME=/home/hadoop/hbase
        export PATH=$PATH:$HBASE_HOME/bin

HBASE a besoin de l'emplacement de JAVA pour fonctionner

    nano ~/hbase/conf/hbase-env.sh
        export JAVA_HOME=/usr/lib/jvm/java-8-openjdk

Puis nous pointerons vers le port HDFS (9000) dans la configuration site, et vers zookeeper ;

    nano ~/hbase/conf/hbase-site.xml
        <configuration>
           <property>
              <name>hbase.rootdir</name>
              <value>hdfs://localhost:9000/hbase</value>
           </property>
           <property>
              <name>hbase.zookeeper.property.dataDir</name>
              <value>/home/hadoop/zookeeper</value>
           </property>
           <property>
             <name>hbase.cluster.distributed</name>
             <value>true</value>
           </property>
        </configuration>

Avec un ifconfig, nous pouvons constuire l'adresse web http://<adresse_ip>:16010 afin de pouvoir voir nos tables et leur contenu.

Il nous reste plus que ZOOKEEPER à installer.

    wget -c http://www-eu.apache.org/dist/zookeeper/stable/zookeeper-3.4.14.tar.gz
    tar -zxvf zookeeper-3.4.14.tar.gz
    ln -s /home/hadoop/zookeeper-3.4.14/ ~/zookeeper

et un répertoire de données à créer

     mkdir zookeeper/data

La configuration ? très simple pour une fois

    cp zookeeper/conf/zoo_sample.cfg zookeeper/conf/zoo.cfg
    nano zookeeper/conf/zoo.cfg
        Trouver : dataDir=/tmp/zookeeper
        Remplacer par : dataDir=data

Pas de variable d'environnement cette fois, HBASE s'occupe de tout. On va juste ajouter le chemin à la variable $PATH

    nano .bashrc
        export PATH=$PATH:~/zookeeper/bin

C'est déjà fini ! Il ne reste plus qu'à lancer hbase et profiter de son shell, sans oublier de sourcer bashrc au préalable

     source .bashrc
    start-hbase.sh
    hbase shell

Auteur : Michael Nandzik

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Installation de HIVE sur Archlinux

Image
Nous avons vu dans un précédent article l' installation de HADOOP sur une architecture ARCH. Pour aller plus loin et profiter du système MapReduce, intéressons-nous à HIVE, une base de données schemaless s'appuyant sur MapReduce pour échanger des données sur HDFS, profitant ainsi des données distribuées sur clusters et de la tolérence de panne en découlant. Nous resterons sur l'architecture ARCH, solide, pour déployer HIVE. Nous utiliserons une version stable en accord avec HADOOP, la version 2.3.4. Il est très déconseillé de s'aventurer pour l'instant dans des versions supérieures (V3), car buggées et pas assez éprouvées. A ce stade, Archlinux a été pleinement configuré, à savoir ; l'utilisateur hadoop a été créé le fichier hosts a été configuré proprement ssh a été installé et configuré le jdk java a été installé dans sa version 1.8 les outils additionnels ont été installés HDFS est accessible en lecture et en écriture Si ce n'est forcément...
Lire la suite

AJAX du point de vue PHP - PHP Route

Image
Ou comment piloter Javascript avec PHP Apprenez comment piloter un client web grâce à AJAX, directement depuis vos pages PHP, de façon simple, concrète et facile ! Plus besoin de scripts complexes tant du point de vue PHP que Javascript. Tout est simple et court, pas d’encapsulation, tout est réalisé à bas niveau avec des instructions simples, claires et abondamment commentées. Aucun Framework Inside. Dire que les éditeurs de Framework PHP–AJAX font leur beurre grâce à l’ignorance des autres, peut sembler cavalier voir téméraire, toutefois le constat est flagrant ; il n’existe pas ou prou à l’heure actuelle, de tutos, d’exercices, de cours ou de livres traitant d’AJAX de façon simple et abordable pour le commun des développeurs. De l’AJAX et des hommes En effet, le peu qu’on peut trouver est ridiculement compliqué, illisible voir incompréhensible. Or AJAX est une technique ridiculement facile et il est effrayant de s’en convaincre tant il y a de code comp...
Lire la suite

Installation de Apache Spark sur Archlinux avec yaourt

Image
Apache Spark est un framework d'exécution distribué, tout comme Hadoop, sauf qu'il est bien plus rapide car utilisant essentiellement la mémoire vive, contrairement à Hadoop qui utilise des fichiers sur disques. Toutefois, Spark n'a pas de système de fichier distribué. Ainsi, il s'appuis sur ce bon vieux HDFS de Hadoop. Puisque nous avons déjà installé Hadoop et HDFS, il nous suffira simplement d'installer Apache Spark tout seul, sans autre dépendance ou paquet supplémentaire. Nous choisirons donc l'archive spark-2.4.3-bin-without-hadoop en version 2.4.3 à ce jour. Python et java devront impérativement être installés au préalable. Avant de procéder à l'installation, vérifier la version à installer sur https://www-us.apache.org/dist/spark/ Nous choisirons pour cette fois, la voie facile avec "yaourt". En effet, cette commande permet d'installer les paquets depuis le très connu dépôt AUR. Pour installer yaourt, ouvrir un t...
Lire la suite