hdi-4-0-clearlake-canada-est.png

L'onglet Variations d'affichage du gestionnaire Ambari, pour un cluster HDInsight basé principalement sur la distribution personnelle Hadoop de Microsoft.

Il y a plusieurs années, la prise de conscience de masse était au sommet de son cycle de battage médiatique, et Hadoop était son expérience de bébé affiche. Pour le moment, l'analyse open source est une partie solide de la pile de logiciels d'entreprise, la période de "connaissance de masse" semble dépassée et il s'est avéré être un folklore accepté que Hadoop est en effet … sans vie. C'est juste une excellente hyperbole, cependant; si Hadoop n'est pas une cible brûlante, c'est néanmoins un problème majeur. En effet, il définit un écosystème d'initiatives affiliées qui soutiennent la base de données, le lac de connaissances, la transmission des connaissances et la performance de l'ingénierie des connaissances. Et c'est pourquoi les fournisseurs de cloud basés principalement sur Hadoop, comme EMR d'Amazon et Dataproc de Google Cloud, sont importants et utiles.

Le service cloud Hadoop de Microsoft, Azure HDInsight, est un exemple particulièrement intéressant de l'utilité de Hadoop, car le service persiste, alors que Microsoft a publié différentes options qui lui font concurrence. Par exemple, Microsoft s'est associé à Databricks, la société basée sur les fabricants d'Apache Spark, pour fournir et assister directement un modèle du service de cette société du même nom. De plus, Microsoft a avancé son service Azure SQL Knowledge Warehouse dans Azure Synapse Analytics, qui propose désormais des pools Spark à la demande pour améliorer les performances complètes du lac de connaissances, en tant que fonctionnalité de prévisualisation publique. Pourtant, HDInsight, le service Hadoop que Microsoft a lancé pour la première fois en 2013, continue de progresser.

Tu devrais apprendre:

Danser avec l'éléphant qui t'a amené?

HDInsight a été développé conjointement avec Hortonworks, une organisation qui a ensuite fusionné avec Cloudera. Après cette fusion, le nouveau Cloudera a rationalisé et remanié les distributions Hadoop des deux sociétés: Hortonworks Data Platform (HDP) et Cloudera Distribution, y compris Apache Hadoop (CDH), lors de l'exécution de la nouvelle Cloudera Data Platform (CDP). ). Et bien que tout cela soit efficace et bon pour Cloudera, le retrait du HDP a créé un problème pour Microsoft, car HDInsight s'est fortement appuyé sur HDP depuis sa création.

Apprenez aussi:

Beaucoup se sont demandé si Microsoft s'occuperait d'une manière ou d'une autre du runtime CDP, ou s'il pourrait peut-être utiliser ses moyens personnels et créer sa distribution Hadoop personnelle, comme AWS et Google l'ont fait depuis le début. Ce dernier a maintenant été traversé, car Microsoft a créé sa distribution personnelle Hadoop, basée principalement sur des éléments open source d'Apache. La disponibilité finale de la nouvelle distribution a été dévoilée le 21 juillet à Inspire, l'événement numérique de Microsoft pour son écosystème complice.

Parce qu'il semble que dans le but de préserver la compatibilité et de réduire les interruptions, Microsoft a pris HDP Three.1.6, qui était principalement basé sur HDInsight Four.zero, et l'a cloné. Pour le moment, si vous provisionnez un cluster HDInsight Four.zero dans diverses zones d'Azure (j'ai confirmé cela pour le Canada Est, le Centre des États-Unis et l'Est des États-Unis), votre cluster utilisera cette nouvelle distribution . Cependant, selon toute probabilité, vous ne le saurez pas. La quantité du modèle de l'IDH est inchangée et les variations sous-jacentes de la mission d'approvisionnement ouvert ne le sont pas non plus. Le premier signifie que vous sauriez vraiment que le changement s'est produit est le remplacement de "HDP-Three.1.6.2" par "HDInsight-Four.1.zero.26" dans l'onglet "Variations" de l'écran d'administration d'Ambari, comme démontré dans la détermination en haut de ce post. À tous égards, l'expérience peut être similaire.

Vaut la peine

Pourquoi Microsoft a-t-il eu recours à la difficulté, vous vous demandez peut-être? Sachez, même lorsqu'ils se chevauchent, que HDInsight peut résoudre des problèmes que différents fournisseurs de connaissances Azure ne peuvent pas. Par exemple, les clusters Azure Databricks ne mélangent pas et ne correspondent pas aux éléments; ils fonctionnent comme une combinaison de Spark, Delta Lake, Delta Engine et MLflow propriétaires. Les pools Synapse Spark sont également uniques à Spark, bien qu'ils soient principalement basés sur des bits Spark open-source. En outre, ils sont sans serveur et la facturation est principalement basée sur des requêtes précises exécutées. Pour certains clients, ce mannequin est le meilleur; pour d'autres, pas grand-chose.

En savoir plus: Databricks attaque MLflow vers Linux, présente Delta Engine

Donc, pour que vous ayez un cluster de connaissances massif et discret sur Azure, facturé à l'heure, Spark provisionné ouvert, plus Hive, HBase, Pig et Hadoop (et éventuellement Kafka, Storm, le serveur d'apprentissage automatique de Microsoft et Ouvrez Supply Spark tout aussi efficacement), vous devrez utiliser HDInsight. Et maintenant, Microsoft ayant dégagé les fonds nécessaires pour créer, vérifier et implémenter sa distribution Hadoop personnelle, le service a un avenir beaucoup plus solide et pourrait probablement continuer à desservir les charges de travail pour lesquelles il est particulièrement adapté.

Aller en masse ou cloner

Maintenant que Microsoft contrôle la distribution sous-jacente de HDInsight, va-t-il innover et évoluer au-delà du clone HDP qu'il est maintenant? Il y a un précédent à cela, étant donné que Microsoft avait déjà innové au sommet de la distribution basée sur HDP. En travaillant avec Hortonworks, Microsoft avait construit des intégrations distinctives avec Azure Blob Storage et Azure Data Lake Storage, en plus d'Azure SQL Database. Plus récemment, l'ajout de Machine Studying Server et .NET pour Apache Spark a apporté une valeur ajoutée supplémentaire.

En savoir plus: .NET pour Apache Spark réunit les codeurs d'entreprise et les experts en connaissances sur le même bureau

Peut-être que Microsoft pourra plus tard combiner Spark 3.0, Presto et AirFlow dans le mélange open source de HDInsight. Du côté de l'expérience Microsoft, la prise en charge d'une ou deux expériences personnelles de poche de l'entreprise, et peut-être une intégration plus étroite avec Cosmos DB et Azure Machine Learning, peuvent être tout aussi efficaces. Ces intégrations ajouteraient de la valeur à HDInsight et aux fournisseurs Azure avec lesquels il s'est le plus étroitement intégré.

Des grèves similaires à celles-ci clarifieraient l'attachement de Microsoft à HDInsight. Enfin, cette dédicace doit être à plein poumon; Pendant trop longtemps, il a été timide. Cependant, pour l'instant, l'incertitude a été éliminée, la compatibilité a été maintenue et HDInsight ne repose pas sur une troisième série d'occasions. C'est une victoire pour les clients Microsoft; cela les encouragerait simplement à en avoir besoin.

Brust est un MVP de Microsoft Knowledge Platform et Cloudera est un acheteur pour l'agence de conseil de Brust Blue Badge Insights.

Meilleure Vente n° 1
Arkopharma Detox + Starter & Booster Minceur Bio 3 x 10 Ampoules 10 ml
  • permet en 3 étapes de perdre du poids et de le stabiliser
  • En 30 jours, l'organisme est purifié et la taille s'affine
  • prendre 1 ampoule le matin en diluant dans un verre d’eau ou de jus de fruits
  • fabriqué en France
Meilleure Vente n° 2
Mon programme minceur 30 jours
  • 144 Pages - 06/10/2020 (Publication Date) - Larousse (Publisher)
PromoMeilleure Vente n° 3
CURE MINCEUR 21 JOURS BRÛLE-GRAISSE NATURELLE ET EFFICACE. A Base de Légumes et de Soupe au Chou. Perte de Poids Rapide et Durable pour Homme et Femme. Vegan, Sans Gluten et Fabriqué en France.
  • ✅ PLUS DE 3 MILLIONS DE CLIENTS SATISFAITS DEPUIS 1999. Faites le plein de vitamines, de fibres, de saveurs gustatives, le détox en plus et vous êtes en route pour la minceur en 7 jours seulement. Amincissement perceptible dès les premiers jours
  • ✅ CURE MINCEUR BRULE GRAISSE CLINIQUEMENT TESTEE pour Homme et pour Femme. Notre méthode permet de consommer deux fois moins de calories par jour que les besoins nutritionnels normaux, résultats, le corps va puiser dans ses réserves de graisses. Perdez en moyenne 3,1 kg en 7 jours seulement et 9,1 kg en moyenne sur 21 jours !
  • ✅ BONNE, NUTRITIVE, NATURELLE ET SAINE. A base de choux qui est un brûle graisse naturelle. 29 Kcal par portion destinée à un régime pour perdre du poids, riche en fibres, pauvre en sucre, sans matière grasse, sans gluten. Vegan, riche en vitamines, calcium, magnésium, potassium, phosphore. Laboratoire certifié ISO 9001. Fabriqué en France.
  • ✅ PRATIQUE. Ce shake diététique, se prépare en potage ou en cocktail santé-forme et minceur mélangé avec de l’eau ou avec un lait ou une boisson végétale pour varier les goûts selon votre humeur...
  • ✅ Dans votre boite, 3 sachets de 300 grammes pour 21 JOURS DE CURE MINCEUR (-9,1 kg en moyenne) + UN LIVRET METHODE MINCEUR OFFERT. Avec des Conseils, une conduite alimentaire saine et équilibrée, et des exercices physiques à faire chez soi
PromoMeilleure Vente n° 4
Santarome Bio Programme Ultra Minceur 30 Ampoules Complément Alimentaire Perte de Poids 30 Jours
  • Programme perte de poids bio
  • Formule 100% bio et 100% Vigan à base de 9 plantes + 3 bourgeons: ananas, Guarana, cassis, bardane, chardon-marie, reine des prés, pissenlit, thé vert, café vert + bouleau, frêne et cassis
  • Prendre 1 ampoule par jour, en suivant l'ordre des étapes, diluée dans un verre d’eau (20 Cologne) au moment du repas
  • Fabriqué en France
Meilleure Vente n° 5
AGENDA MINCEUR 90 Jours: Journal alimentaire et d’activité sportive (Bleu)
  • 102 Pages - 07/07/2017 (Publication Date) - CreateSpace Independent Publishing Platform (Publisher)
PromoMeilleure Vente n° 6
LINEAVI Principes Actifs Minceur, substitut de repas en poudre, combination des protéines: soja, riz, petits pois et petit-lait, sans lactose et sans gluten, fabriqué en Allemagne, 3x500g + shaker
  • POUR LE PROGRAMME MINCEUR LINEAVI DE 2 SEMAINES: Le pack est constitué de trois boîtes de 500g comprenant 30 repas et d'un shaker gratuit.
  • PRINCIPES ACTIFS MINCEUR: LINEAVI est un substitut de repas pour contrôle du poids avec sucres et édulcorant (207 kcal par portion).
  • COMBINAISON DES PROTÉINES: Protéines - obtenues à partir du soja, des petits pois, du riz et du petit-lait - contribuent au maintien de la masse musculaire.
  • AVEC VITAMINES, MINÉRAUX, FIBRES: Vitamine B6, B12, thiamine, calcium et fer contribuent à un métabolisme énergétique normal.
  • ORIGINE CONTRÔLÉE, MADE IN GERMANY : Nos produits sont fabriqués et contrôlés selon des normes stricts (ISO 9001, HACCP, BPF).
Meilleure Vente n° 7
Mon objectif minceur : Pour maigrir semaine après semaine
  • 208 Pages - 05/01/2019 (Publication Date) - FLAMMARION (Publisher)
Meilleure Vente n° 8
BEAVITA Vitalkost Plus Vanille - Substitut de Repas 3 x 500g – Programme Minceur en 14 jours – Shake délicieux accompagnant un régime – Sans Gluten Sans Substitut de Sucre
  • BON POUR LA SANTÉ : notre substitut de repas Vitalkost Plus contient moins de 205Kcal par repas, pour un goût absolument délicieux !
  • PRINCIPES ACTIFS MINCEUR : la poudre Vitalkost Plus constitue un repas idéal dans le cadre d'une alimentation pour un contrôle du poids. En lien avec une alimentation pauvre en calories, notre substitut de repas contribue à la perte de poids lorsqu'il remplace deux repas par jour
  • PRODUIT 100% BRUT : contient de nombreux ingrédients de haute qualité comme des enveloppes de psyllium, de la gomme de caroube et du miel - contribue au maintien de la masse musculaire
  • RICHE EN PROTÉINES : notre substitut de repas BEAVITA Vitalkost Plus contient tous les nutriments essentiels et 40% de protéines
  • EXCELLENTS RAPPORTS QUALITÉ/PRIX & QUANTITÉ/PRIX : chaque boîte représente l'équivalent de 10 repas (dans les proportions recommandées)
Meilleure Vente n° 9
Juvamine BRULE GRAISSE - PROGRAMME MINCEUR, 60 gélules
  • Complément alimentaire à base de thé vert, de café vert et de kola
  • Le thé vert est reconnu pour contribuer à la perte de poids et à l'oxydation des graisses
  • Le Café vert est non torréfié
  • Le Kola complète la formule
  • Contient 60 gélules