Big Data Smart Data

Apache Spark est un framework d'exécution distribué, tout comme Hadoop, sauf qu'il est bien plus rapide car utilisant essentiellement la mémoire vive, contrairement à Hadoop qui utilise des fichiers sur disques. Toutefois, Spark n'a pas de système de fichier distribué. Ainsi, il s'appuis sur ce bon vieux HDFS de Hadoop. Puisque nous avons déjà installé Hadoop et HDFS, il nous suffira simplement d'installer Apache Spark tout seul, sans autre dépendance ou paquet supplémentaire. Nous choisirons donc l'archive spark-2.4.3-bin-without-hadoop en version 2.4.3 à ce jour. Python et java devront impérativement être installés au préalable. Avant de procéder à l'installation, vérifier la version à installer sur https://www-us.apache.org/dist/spark/ Nous choisirons pour cette fois, la voie facile avec "yaourt". En effet, cette commande permet d'installer les paquets depuis le très connu dépôt AUR. Pour installer yaourt, ouvrir un t...

Cassandra est une base de données NoSQL type HBase avec une forte connotation SQL, à savoir qu'elle est facile à utiliser par des utilisateurs rompus au langage SQL bien connu. SELECT, UPDATE, INSERT etc .... Son installation sur Archlinux est des plus simples qui soit. Téléchargement du dernier package dans notre espace hadoop et décompression wget https://www-eu.apache.org/dist/cassandra/3.11.4/apache-cassandra-3.11.4-bin.tar.gz tar -xzvf apache-cassandra*.tar.gz mise en place d'un lien symbolique pour la facilité d'accès ln -s /home/hadoop/apache-cassandra-3.11.4 ~/cassandra puis on peuplera le PATH avec le chemin vers le répertoire bin nano /home/hadoop/.bashrc         export PATH=$PATH:~/cassandra/bin On lancera le serveur Cassandra avec la commande cassandra -f La sortie nous indique ici que tout s'est bien passé ... INFO  [main] 2019-06-11 09:46:17,644 Server.java:156 - Starting listening for CQL clients on localhos...