Pour faire suite à mon article précédent qui présentait l’installation d’HDP en mode simple noeud, on va s’intéresser ici à l’installation en mode multi-noeuds (histoire de ne pas usurper l’appellation cluster :p)
L’idée du test est d’avoir une machine maître et 2 machines esclaves.
Pour cela, en premier lieu, on se crée un réseau dans Azure afin d’y faire communiquer nos 3 machines (On peut vraiment créer beaucoup de choses dans Azure, je n’avais jusque là pas trop pratiqué, mais je suis déjà fan de la plateforme)
Petite attention : je vous conseille de les créer sur le même service cloud histoire de faciliter la résolution de noms dans Azure :
http://msdn.microsoft.com/fr-fr/library/azure/jj156088.aspx
C’est un conseil plus que recommandé, car sur les tests que j’ai pu faire, l’installation fonctionne beaucoup mieux avec les hostnames qu’avec des IP :p
J’ai pris le même sizing que dans l’article précédent (format de base, A2, Windows Server 2012, etc)
Les noms des machines et leurs IP :
CH-MASTER : 192.168.0.4
CH-SLAVE1 : 192.168.0.5
CH-SLAVE2 : 192.168.0.6
Pré-requis
Les pré-requis restent les mêmes que sur une installation simple noeud : vous n’échapperez donc pas à l’installation de Java, Python et Visual C++ sur toutes les machines.
Les points d’attention d’une installation simple noeud restent vrais : variables d’environnements pour Java, exécutable pour Python.
Pour une machine de test et ne pas se créer de souci supplémentaire, on désactive aussi les firewall de toutes les machines, dans la vraie vie, il conviendrait de mapper les ports.
Installation HDP
On peut ensuite passer à l’installation d’HDP.
Pour cela, on a besoin du fichier clusterproperties.txt suivant :
| #Log directory HDP_LOG_DIR=c:\hadoop\logs#Data directory HDP_DATA_DIR=c:\hdpdata#hosts NAMENODE_HOST=CH-MASTER SECONDARY_NAMENODE_HOST=CH-MASTER RESOURCEMANAGER_HOST=CH-MASTER HIVE_SERVER_HOST=CH-MASTER OOZIE_SERVER_HOST=CH-MASTER WEBHCAT_HOST=CH-MASTER SLAVE_HOSTS=CH-SLAVE1,CH-SLAVE2 ZOOKEEPER_HOSTS=CH-MASTER CLIENT_HOSTS=CH-MASTER#Database host DB_FLAVOR=DERBY DB_HOSTNAME=CH-MASTER DB_PORT=1527 #Hive properties #Oozie properties |
On exécute ensuite la commande suivante :
msiexec /qn /i « hdp-2.1.1.0.winpkg.msi » /lv « log.txt » HDP_USER_PASSWORD= »Password01″ HDP_LAYOUT= »C:\HDP_INSTALL\clusterproperties.txt » HDP_DIR= »C:\HDP » DESTROY_DATA=yes HDP=no
Attention le /qn qui permet de passer outre l’interface graphique est obligatoire, sinon votre fichier clusterproperties ne sera pas utilisé. Et je n’ai pas réussi à passer de la configuration multi-noeuds avec cette interface.
L’autre point gênant, c’est que cette commande rend la main dès son exécution : on ne sait donc pas où en est l’avancement de l’installation à moins de fouiller dans les logs (qui ne sont pas toujours explicites)
L’installation est finie lorsque sur le bureau, vous avez un raccourci vers les 3 pages web de suivi du cluster et un raccourci vers une invite de commande hadoop.
Cette commande est à exécuter sur les 3 machines avec le même fichier de configuration.
Il ne reste plus qu’à lancer les services par la commande suivante sur les 3 machines :
C:\HDP>start_local_hdp_services.cmd
 |
| Sur un noeud esclave |
 |
| Sur le noeud maitre |
A noter qu’il existe une commande start_remote_hdp_services.cmd à exécuter sur le noeud maitre pour lancer les services sur les noeuds esclaves. Mais je ne suis pas parvenu à la faire fonctionner. J’ai différentes pistes :
– la première est qu’elle ne fonctionnait pas sur d’anciennes versions d’HDP et je ne sais pas si cela a été corrigé (http://hortonworks.com/community/forums/topic/cant-start-on-windows/)
– la deuxième serait sur un problème d’exécution de powershell à distance (http://hortonworks.com/community/forums/topic/install-ok-but-trouble-validating/). Je n’ai pas eu beaucoup de succès dans mes essais de configuration à ce sujet, et je n’ai pas eu le courage d’installer un contrôleur de domaine pour aller plus loin.
Toujours est-il que le cluster est fonctionnel :
Il ne vous reste qu’à lancer un Run-SmokeTests.cmd pour vérifier que tout marche bien :
La BI et les outils Microsoft 
[…] Les fruits de la collaboration entre Microsoft et Hortonworks étant bien entendu la distribution HDP for Windows à installer chez soi, et également HDInsight, le Big Data à la demande directement dans le […]