HDInsight sur Linux

Une petite révolution pour l’offre Big Data de Microsoft avec la mise à disposition d’une version HDInsight basée sur des machines Linux. Ça explique aussi pourquoi j’avais gardé mes scripts bash pour normaliser mes mails dans ma session aux Techdays.

Alors en toute honnêteté, je trouve ça génial et cela montre l’ouverture d’esprit dont fait preuve la firme de Redmond depuis quelques temps.

La preview est déjà disponible, la création dans Azure est toujours aussi simple et se fait en quelques clics :

La version d’Hadoop disponible est la 2.6, la dernière donc, disponible également en preview pour HDInsight sur Windows.

Première évolution sympa par rapport à la version Windows, la présence d’Ambari, interface d’administration et de monitoring d’un cluster Hadoop. Cette exclusivité côté Linux est d’ailleurs étonnante, car désormais Ambari est disponible sur HDP sur Windows (distribution Hadoop d’Hortonworks servant de base à HDInsight).

L’autre nouveauté attendue qui tombe sous le sens avec une version Linux, est la possibilité de se connecter en SSH sur son serveur :

Alors les quelques réflexions toutes personnelles que ça m’amène :

Ce que ça va changer :

– Microsoft met surtout en avant la facilité avec laquelle on va pouvoir porter les modèles que l’on a développés sur son cluster Hadoop On-Premise vers HDInsight dans le cloud. L’idée est clairement d’amener vers Azure, les utilisateurs d’Hadoop familiers avec la plateforme sur Linux.

– Ça devrait également permettre une mise à disposition plus rapide des dernières versions d’Hadoop dans Azure. On avait jusqu’à présent un temps de latence non négligeable pour bénéficier des dernières évolutions de la plateforme sur HDInsight.

Ce qui ne devrait pas changer : 

– On n’a pas vraiment d’informations sur la facturation, mais la communication de Microsoft sur HDInsight a toujours été tournée autour de la mise à disposition d’un moteur de calcul (et non pas de la mise à disposition d’un cluster Hadoop). Du coup malgré un coût de licence bien moindre (Ubuntu versus Windows Server), ça devrait rester inchangé.

MAJ : on a la réponse à cette question sur le site de Microsoft : même facturation pour Linux et Windows (avec néanmoins 50% de remise pendant la preview Linux)

– Cloud exclusivement, tout du moins hors appliance. Pas de communication en effet sur une éventuelle version On-Premise. A voir donc si APS (l’appliance Big Data Microsoft qui intègre HDInsight) intégrera une version Linux.

Les interrogations que l’on peut avoir :

– Quid de l’avenir d’Hadoop sur Windows ? On peut légitimement se poser la question parce que Microsoft et Hortonworks ont investi pas mal de temps (et d’argent :p) pour développer et promouvoir la version Windows de la plateforme. Et de manière plutôt intelligente, pertinente et efficace. Le tout avec des innovations dont a profité la version Linux (initiative Stinger). Mais soyons honnêtes, HDP pour Windows devait son existence en grande partie grace à HDInsight.

Je pense donc que leurs avenirs vont être intimement liés et vont dépendre de Microsoft : Redmond va-t-elle maintenir les deux version d’HDInsight ? Rendez-vous dans quelques temps 🙂