Ce document prend en charge la version de chacun des produits
répertoriés, ainsi que toutes les versions publiées par la suite
jusqu'au remplacement dudit document par une nouvelle
édition. Pour rechercher des éditions plus récentes de ce
document, rendez-vous sur :
http://www.vmware.com/fr/support/pubs.
FR-001702-00
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Vous trouverez la documentation technique la plus récente sur le site Web de VMware à l'adresse :
http://www.vmware.com/fr/support/
Le site Web de VMware propose également les dernières mises à jour des produits.
N’hésitez pas à nous transmettre tous vos commentaires concernant cette documentation à l’adresse suivante :
3401 Hillview Ave.
Palo Alto, CA 94304
www.vmware.com
2 VMware, Inc.
VMware, Inc.
100-101 Quartier Boieldieu
92042 Paris La Défense
France
www.vmware.com/fr
Table des matières
À propos de ce guide7
Utilisation du client d'interface de ligne de commande distant Serengeti9
1
Accéder à l'interface de ligne de commande Serengeti à l'aide du client d'interface de ligne de
commande distant 9
Se connecter aux nœuds Hadoop avec le client d'interface de ligne de commande Serengeti 11
Gestion des gestionnaires d'applications13
2
À propos des gestionnaires d'applications 13
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 14
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti 15
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 15
Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti 15
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti 16
Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 16
Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne
3
de commande Serengeti19
À propos des gestionnaires d'applications 19
Ajouter un pool de ressources avec l'interface de ligne de commande Serengeti 23
Supprimer un pool de ressources avec l'interface de ligne de commande Serengeti 23
Ajouter une banque de données avec l'interface de ligne de commande Serengeti 24
Supprimer une banque de données avec l'interface de ligne de commande Serengeti 24
Ajouter un réseau avec l'interface de ligne de commande Serengeti 24
Supprimer un réseau avec l'interface de ligne de commande Serengeti 25
Reconfigurer un réseau IP statique avec l'interface de ligne de commande Serengeti 25
Reconfigurer le type de DNS à l'aide de l'interface de ligne de commande Serengeti 26
Augmenter les performances de clonage et l'utilisation des ressources des machines virtuelles. 27
VMware, Inc.
Gérer les utilisateurs et les comptes d'utilisateurs29
4
Créer un fichier de configuration du service LDAP avec l'interface de ligne de commande
Serengeti 29
Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti 31
Créer un cluster avec l'authentification utilisateur LDAP à l'aide de l'interface de ligne de
commande Serengeti 31
Changer les modes de gestion des utilisateurs à l'aide de l'interface de ligne de commande
Serengeti 32
Modifier la configuration LDAP à l'aide de l'interface de ligne de commande Serengeti 33
3
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Création de clusters Hadoop et HBase35
5
À propos des types de déploiement de clusters Hadoop et HBase 37
Configurations des clusters Hadoop par défaut pour Serengeti 37
Configurations des clusters HBase par défaut pour Serengeti 38
À propos de la topologie des clusters 38
À propos des clusters HBase 41
À propos des clusters MapReduce 49
À propos des clusters de calcul de données 52
À propos des clusters personnalisés 64
Gestion des clusters Hadoop et HBase73
6
Démarrer et arrêter un cluster avec l'interface de ligne de commande Serengeti 74
Agrandir un cluster avec l'interface de ligne de commande Serengeti 74
Mettre à l'échelle le CPU et la RAM avec l'interface de ligne de commande Serengeti 75
Reconfigurer un cluster avec l'interface de ligne de commande Serengeti 75
Supprimer un cluster avec l'interface de ligne de commande Serengeti 78
À propos de vSphere High Availability et de vSphere Fault Tolerance 78
Reconfigurer un groupe de nœuds avec l'interface de ligne de commande Serengeti 78
Développer un cluster à l'aide de l'interface de ligne de commande 78
Récupérer d'une défaillance disque avec le client d'interface de ligne de commande Serengeti 80
Effectuer la récupération d'une machine virtuelle de nœud de cluster 80
Passer en mode maintenance pour effectuer la sauvegarde et la restauration à l'aide du client
d'interface de ligne de commande Serengeti 81
Surveillance de l'environnement Big Data Extensions83
7
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti 83
Afficher les distributions Hadoop disponibles avec l'interface de ligne de commande Serengeti 84
Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti 84
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti 84
Afficher les clusters provisionnés avec l'interface de ligne de commande Serengeti 85
Afficher les banques de données avec l'interface de ligne de commande Serengeti 85
Afficher les réseaux avec l'interface de ligne de commande Serengeti 86
Afficher les pools de ressources avec l'interface de ligne de commande Serengeti 86
Référence de spécification de cluster87
8
Conditions requises de fichier de spécification de cluster 87
Conditions requises de la définition de cluster 88
Fichier de spécification de cluster annoté 88
Définitions des attributs de spécification de cluster 91
Attributs Hadoop de la liste blanche et de la liste noire 94
Convertir les fichiers XML Hadoop en Serengeti fichiers JSON 96
Référence des commandes de l'interface de ligne de commande Serengeti97
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
6 VMware, Inc.
À propos de ce guide
Le Guide de l'interface de ligne de commande vSphere Big Data Extensions de VMware décrit comment utiliser
l'interface de ligne de commande Serengeti pour gérer les ressources vSphere utilisées pour créer les clusters
Hadoop et HBase. Il explique aussi comment créer, gérer et surveiller les clusters Hadoop et HBase à partir
de l'interface de ligne de commande VMware Serengeti™.
Le Guide de l'interface de ligne de commande vSphere Big Data Extensions de VMware décrit aussi comment
exécuter les opérations Hadoop et HBase avec l'Serengeti CLI, et fournit la spécification de cluster et les
références des commandes de l'Serengeti CLI.
Public ciblé
Le guide est destiné aux administrateurs système et aux développeurs qui veulent utiliser Serengeti pour
déployer et gérer des clusters Hadoop. Pour bien utiliser Serengeti, vous devez connaître Hadoop et
VMware® vSphere®.
Glossaire VMware Technical Publications
VMware Technical Publications fournit un glossaire des termes qui peuvent éventuellement ne pas vous
être familiers. Pour consulter la définition des termes utilisés dans la documentation technique VMware,
visitez le site Web http://www.vmware.com/support/pubs.
VMware, Inc.
7
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
8 VMware, Inc.
Utilisation du client d'interface de
ligne de commande distant Serengeti1
Le client d'interface de ligne de commande distant Serengeti vous permet d'accéder à
Serengeti Management Server pour déployer, gérer et utiliser Hadoop.
Ce chapitre aborde les rubriques suivantes :
« Accéder à l'interface de ligne de commande Serengeti à l'aide du client d'interface de ligne de
n
commande distant », page 9
« Se connecter aux nœuds Hadoop avec le client d'interface de ligne de commande Serengeti »,
n
page 11
Accéder à l'interface de ligne de commande Serengeti à l'aide du
client d'interface de ligne de commande distant
Vous pouvez accéder à l'interface de ligne de commande (CLI) Serengeti pour effectuer des tâches
administratives Serengeti à l'aide du client d'interface de ligne de commande distant Serengeti.
Prérequis
Utilisez VMware vSphere Web Client pour vous connecter au serveur VMware vCenter Server® sur
n
lequel vous avez déployé le vApp Serengeti.
Vérifiez que le déploiement de Serengeti vApp s'est correctement déroulé et que le serveur de gestion
n
est en cours d'exécution.
Vérifiez que le mot de passe dont vous disposez pour vous connecter à la Serengeti CLI est exact.
n
Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
La Serengeti CLI utilise ses informations d'identification vCenter Server.
Vérifiez que l'environnement d'exécution Java (JRE, Java Runtime Environment) est installé dans votre
n
environnement et que son emplacement se trouve dans votre variable d'environnement path.
Procédure
1Téléchargez le package Serengeti CLI à partir du Serengeti Management Server.
Ouvrez un navigateur Web et naviguez jusqu'à l'URL suivante :
Vous devez exécuter la commande connect host chaque fois que vous commencez une session
d'interface de ligne de commande, puis une nouvelle fois à l'issue du délai d'expiration de session de
30 minutes. Si vous n'exécutez pas cette commande, vous ne pouvez pas en exécuter d'autres.
aExécutez la commande connect.
connect --host xx.xx.xx.xx:8443
bÀ l'invite, tapez votre nom d'utilisateur, qui peut être différent des informations d'identification
que vous utilisez pour vous connecter au Serengeti Management Server.
REMARQUE Si vous ne créez pas de nom d'utilisateur et de mot de passe pour le
Serengeti Command-Line Interface Client, vous pouvez utiliser les informations d'identification
d'administrateur vCenter Server par défaut. Le Serengeti Command-Line Interface Client utilise les
informations d'identification de vCenter Server avec les autorisations de lecture sur le
Serengeti Management Server.
cÀ l'invite, tapez votre mot de passe.
Une interface de commande s'ouvre, puis l'invite de la Serengeti CLI apparaît. Vous pouvez utiliser la
commande help pour obtenir de l'aide sur les commandes Serengeti et leur syntaxe.
Pour afficher la liste des commandes disponibles, tapez help.
n
Pour obtenir de l'aide sur une commande particulière, ajoutez son nom après la commande help.
n
help cluster create
Appuyez sur Tab exécuter une commande.
n
10 VMware, Inc.
Chapitre 1 Utilisation du client d'interface de ligne de commande distant Serengeti
Se connecter aux nœuds Hadoop avec le client d'interface de ligne de
commande Serengeti
Pour résoudre les problèmes ou exécuter vos scripts d'automatisation de la gestion, connectez-vous aux
nœuds Hadoop master, worker et client via SSH à partir du Serengeti Management Server à l'aide des outils
des clients SSH tels que SSH, PDSH, ClusterSSH et Mussh, qui n'exigent pas d'authentification par mot de
passe.
Pour vous connecter aux nœuds de cluster Hadoop via SSH, vous pouvez utiliser une connexion
authentifiée par un nom d'utilisateur et un mot de passe. Tous les nœuds déployés sont protégés par un mot
de passe soit aléatoire, soit défini par l'utilisateur, qui a été attribué lors de la création du cluster.
Prérequis
Utilisez le vSphere Web Client pour vous connecter à vCenter Server, et vérifiez que la machine virtuelle
Serengeti Management Server est en cours d'exécution.
Procédure
1Cliquez avec le bouton droit sur la machine virtuelle du Serengeti Management Server et sélectionnez
Ouvrir la console.
Le mot de passe du Serengeti Management Server s'affiche.
REMARQUE Si le mot de passe disparaît de l'écran de la console, appuyez sur Ctrl+D pour revenir à
l'invite de commande.
2Utilisez vSphere Web Client pour vous connecter au nœud Hadoop.
Le mot de passe de l'utilisateur root apparaît sur la console de la machine virtuelle dans
vSphere Web Client.
3Modifiez le mot de passe du nœud Hadoop en exécutant la commande set-password -u.
sudo /opt/serengeti/sbin/set-password -u
VMware, Inc. 11
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
12 VMware, Inc.
Gestion des gestionnaires
d'applications2
Pour bien gérer vos clusters Hadoop, il est essentiel de comprendre comment gérer les différents
gestionnaires d'applications que vous utilisez dans votre environnement Big Data Extensions.
Ce chapitre aborde les rubriques suivantes :
« À propos des gestionnaires d'applications », page 13
n
« Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
n
page 14
« Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
n
Serengeti », page 15
« Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
n
page 15
« Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
n
l'interface de ligne de commande Serengeti », page 15
« Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
n
de l'interface de ligne de commande Serengeti », page 16
« Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
n
page 16
À propos des gestionnaires d'applications
Vous pouvez utiliser Cloudera Manager, Apache Ambari et le gestionnaire d'applications par défaut pour
provisionner et gérer des clusters avec VMware vSphere Big Data Extensions.
Après avoir ajouté un nouveau gestionnaire d'applications Cloudera Manager ou Ambari à
Big Data Extensions, vous pouvez y rediriger vos tâches de gestion logicielle, notamment la surveillance et
la gestion des clusters.
Vous pouvez utiliser un gestionnaire d'applications pour effectuer les tâches suivantes :
Dresser la liste de toutes les instances de fournisseurs disponibles, des distributions prises en charge et
n
des configurations ou des rôles pour un gestionnaire d'applications et une distribution spécifiques.
Créer des clusters.
n
Surveiller et gérer des services à partir de la console du gestionnaire d'applications.
n
Consultez la documentation de votre gestionnaire d'applications pour identifier les exigences propres aux
outils.
VMware, Inc.
13
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Restrictions
Les restrictions suivantes s'appliquent aux gestionnaires d'applications Cloudera Manager et Ambari :
Pour ajouter un gestionnaire d'applications avec HTTPS, utilisez le nom de domaine complet (FQDN)
n
au lieu de l'URL.
Vous ne pouvez pas renommer un cluster créé avec le gestionnaire d'applications Cloudera Manager ou
n
Ambari.
Vous ne pouvez pas changer les services d'un cluster Big Data à partir de Big Data Extensions si le
n
cluster a été créé avec le gestionnaire d'applications Ambari ou Cloudera Manager.
Pour modifier les services, les configurations ou les deux, vous devez le faire à partir du gestionnaire
n
d'applications sur les nœuds.
Si vous installez de nouveaux services, Big Data Extensions les démarre et les arrête en même temps
que les anciens.
Si vous utilisez un gestionnaire d'applications pour modifier les services et les configurations de
n
clusters Big Data, ces modifications ne peuvent pas être synchronisées à partir de Big Data Extensions.
Les nœuds que vous créez avec Big Data Extensions ne contiennent pas les nouveaux services ni les
nouvelles configurations.
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne
de commande Serengeti
Pour utiliser les gestionnaires d'application Cloudera Manager ou Ambari, vous devez ajouter le
gestionnaire d'applications et ajouter les informations sur le serveur à Big Data Extensions.
REMARQUE Pour ajouter un gestionnaire d'applications Cloudera Manager ou Ambari avec HTTPS, utilisez
le nom de domaine complet (FQDN) au lieu de l'URL.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
Les noms des gestionnaires d'applications peuvent comporter uniquement des caractères
alphanumériques ([0-9, a-z, A-Z]) et les caractères spéciaux suivants : trait de soulignement, tiret et
espace.
Vous pouvez utiliser la variable description facultative pour inclure une description de l'instance du
gestionnaire d'applications.
3Entrez à l'invite votre nom d'utilisateur et votre mot de passe.
4Si vous avez spécifié SSL, entrez à l'invite le chemin d'accès du certificat SSL.
Suivant
Pour vérifier que le gestionnaire d'applications a été ajouté avec succès, exécutez la commande appmanager
list.
14 VMware, Inc.
Chapitre 2 Gestion des gestionnaires d'applications
Afficher la liste des gestionnaires d'applications à l'aide de l'interface
de ligne de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les gestionnaires d'applications qui sont
installés sur l'environnement Big Data Extensions.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list
La commande retourne la liste de tous les gestionnaires d'applications installés sur l'environnement
Big Data Extensions.
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne
de commande Serengeti
Vous pouvez modifier les informations d'un gestionnaire d'applications avec la commandeSerengeti CLI :
par exemple, vous pouvez modifier l'adresse IP du serveur du gestionnaire s'il ne s'agit pas d'une adresse IP
statique ou vous pouvez mettre à niveau le compte de l'administrateur.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé sur votre environnement
Big Data Extensions.
Procédure
1Accédez à l'Serengeti CLI.
2Exécutez la commande appmanager modify.
appmanager modify --name application_manager_name
--url <http[s]://server:port>
Des paramètres supplémentaires sont disponibles pour cette commande. Pour plus d'informations sur
cette commande, consultez « Commande appmanager modify », page 98.
Afficher les distributions prises en charge pour tous les gestionnaires
d'applications à l'aide de l'interface de ligne de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous pouvez
afficher la liste des distributions Hadoop qui sont prises en charge dans l'environnement
Big Data Extensions pour déterminer si une distribution particulière est disponible pour un gestionnaire
d'applications particulier.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
VMware, Inc. 15
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distros]
Si vous n'incluez pas le paramètre --name, la commande retourne la liste de toutes les distributions
Hadoop qui sont prises en charge sur chacun des gestionnaires d'applications de l'environnement
Big Data Extensions.
La commande retourne la liste de toutes les distributions qui sont prises en charge pour le gestionnaire
d'applications du nom que vous spécifiez.
Afficher les configurations ou les rôles pour le gestionnaire
d'applications et la distribution à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les rôles ou les configurations Hadoop
d'une distribution et d'un gestionnaire d'applications spécifiques.
La liste des configurations inclut ces configurations que vous pouvez utiliser pour configurer le cluster dans
les spécifications de cluster.
La liste des rôles contient les rôles que vous pouvez utiliser pour créer un cluster. Vous ne devez pas utiliser
de rôles non pris en charge pour créer des clusters dans le gestionnaire d'applications.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distro distro_name
(--configurations | --roles) ]
La commande retourne une liste des rôles ou configurations Hadoop d'une distribution et d'un gestionnaire
d'applications spécifique.
Supprimer un gestionnaire d'applications à l'aide de l'interface de
ligne de commande Serengeti
Vous pouvez utiliser l'Serengeti CLI pour supprimer un gestionnaire d'applications lorsque vous n'en avez
plus besoin.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé dans votre
n
environnement Big Data Extensions.
Vérifiez que le gestionnaire d'applications que vous souhaitez supprimer ne contient aucun cluster.
n
Sinon, le processus de suppression échouera.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
16 VMware, Inc.
2Exécutez la commande appmanager delete.
appmanager delete --name application_manager_name
Chapitre 2 Gestion des gestionnaires d'applications
VMware, Inc. 17
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
18 VMware, Inc.
Gestion de l'environnement Big Data
Extensions à l'aide de l'interface de
ligne de commande Serengeti3
Vous devez gérer votre Big Data Extensions, ce qui inclut de s'assurer que si vous n'avez pas choisi d'ajouter
le pool de ressources, la banque de données et le réseau lorsque vous déployez le vApp Serengeti, vous
ajoutez les ressources vSphere avant de créer un cluster Hadoop ou HBase. Vous devez aussi ajouter des
gestionnaires d'applications supplémentaires, si vous voulez utiliser Ambari ou Cloudera Manager pour
gérer vos clusters Hadoop. Vous pouvez supprimer les ressources dont vous n'avez plus besoin.
Ce chapitre aborde les rubriques suivantes :
« À propos des gestionnaires d'applications », page 19
n
« Ajouter un pool de ressources avec l'interface de ligne de commande Serengeti », page 23
n
« Supprimer un pool de ressources avec l'interface de ligne de commande Serengeti », page 23
n
« Ajouter une banque de données avec l'interface de ligne de commande Serengeti », page 24
n
« Supprimer une banque de données avec l'interface de ligne de commande Serengeti », page 24
n
« Ajouter un réseau avec l'interface de ligne de commande Serengeti », page 24
n
« Supprimer un réseau avec l'interface de ligne de commande Serengeti », page 25
n
« Reconfigurer un réseau IP statique avec l'interface de ligne de commande Serengeti », page 25
n
« Reconfigurer le type de DNS à l'aide de l'interface de ligne de commande Serengeti », page 26
n
« Augmenter les performances de clonage et l'utilisation des ressources des machines virtuelles. »,
n
page 27
À propos des gestionnaires d'applications
Vous pouvez utiliser Cloudera Manager, Apache Ambari et le gestionnaire d'applications par défaut pour
provisionner et gérer des clusters avec VMware vSphere Big Data Extensions.
Après avoir ajouté un nouveau gestionnaire d'applications Cloudera Manager ou Ambari à
Big Data Extensions, vous pouvez y rediriger vos tâches de gestion logicielle, notamment la surveillance et
la gestion des clusters.
Vous pouvez utiliser un gestionnaire d'applications pour effectuer les tâches suivantes :
Dresser la liste de toutes les instances de fournisseurs disponibles, des distributions prises en charge et
n
des configurations ou des rôles pour un gestionnaire d'applications et une distribution spécifiques.
Créer des clusters.
n
Surveiller et gérer des services à partir de la console du gestionnaire d'applications.
n
Consultez la documentation de votre gestionnaire d'applications pour identifier les exigences propres aux
outils.
VMware, Inc.
19
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Restrictions
Les restrictions suivantes s'appliquent aux gestionnaires d'applications Cloudera Manager et Ambari :
Pour ajouter un gestionnaire d'applications avec HTTPS, utilisez le nom de domaine complet (FQDN)
n
au lieu de l'URL.
Vous ne pouvez pas renommer un cluster créé avec le gestionnaire d'applications Cloudera Manager ou
n
Ambari.
Vous ne pouvez pas changer les services d'un cluster Big Data à partir de Big Data Extensions si le
n
cluster a été créé avec le gestionnaire d'applications Ambari ou Cloudera Manager.
Pour modifier les services, les configurations ou les deux, vous devez le faire à partir du gestionnaire
n
d'applications sur les nœuds.
Si vous installez de nouveaux services, Big Data Extensions les démarre et les arrête en même temps
que les anciens.
Si vous utilisez un gestionnaire d'applications pour modifier les services et les configurations de
n
clusters Big Data, ces modifications ne peuvent pas être synchronisées à partir de Big Data Extensions.
Les nœuds que vous créez avec Big Data Extensions ne contiennent pas les nouveaux services ni les
nouvelles configurations.
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Pour utiliser les gestionnaires d'application Cloudera Manager ou Ambari, vous devez ajouter le
gestionnaire d'applications et ajouter les informations sur le serveur à Big Data Extensions.
REMARQUE Pour ajouter un gestionnaire d'applications Cloudera Manager ou Ambari avec HTTPS, utilisez
le nom de domaine complet (FQDN) au lieu de l'URL.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
Les noms des gestionnaires d'applications peuvent comporter uniquement des caractères
alphanumériques ([0-9, a-z, A-Z]) et les caractères spéciaux suivants : trait de soulignement, tiret et
espace.
Vous pouvez utiliser la variable description facultative pour inclure une description de l'instance du
gestionnaire d'applications.
3Entrez à l'invite votre nom d'utilisateur et votre mot de passe.
4Si vous avez spécifié SSL, entrez à l'invite le chemin d'accès du certificat SSL.
Suivant
Pour vérifier que le gestionnaire d'applications a été ajouté avec succès, exécutez la commande appmanager
list.
20 VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez modifier les informations d'un gestionnaire d'applications avec la commandeSerengeti CLI :
par exemple, vous pouvez modifier l'adresse IP du serveur du gestionnaire s'il ne s'agit pas d'une adresse IP
statique ou vous pouvez mettre à niveau le compte de l'administrateur.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé sur votre environnement
Big Data Extensions.
Procédure
1Accédez à l'Serengeti CLI.
2Exécutez la commande appmanager modify.
appmanager modify --name application_manager_name
--url <http[s]://server:port>
Des paramètres supplémentaires sont disponibles pour cette commande. Pour plus d'informations sur
cette commande, consultez « Commande appmanager modify », page 98.
Afficher les distributions prises en charge pour tous les gestionnaires
d'applications à l'aide de l'interface de ligne de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous pouvez
afficher la liste des distributions Hadoop qui sont prises en charge dans l'environnement
Big Data Extensions pour déterminer si une distribution particulière est disponible pour un gestionnaire
d'applications particulier.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distros]
Si vous n'incluez pas le paramètre --name, la commande retourne la liste de toutes les distributions
Hadoop qui sont prises en charge sur chacun des gestionnaires d'applications de l'environnement
Big Data Extensions.
La commande retourne la liste de toutes les distributions qui sont prises en charge pour le gestionnaire
d'applications du nom que vous spécifiez.
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la
distribution à l'aide de l'interface de ligne de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les rôles ou les configurations Hadoop
d'une distribution et d'un gestionnaire d'applications spécifiques.
La liste des configurations inclut ces configurations que vous pouvez utiliser pour configurer le cluster dans
les spécifications de cluster.
VMware, Inc. 21
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
La liste des rôles contient les rôles que vous pouvez utiliser pour créer un cluster. Vous ne devez pas utiliser
de rôles non pris en charge pour créer des clusters dans le gestionnaire d'applications.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distro distro_name
(--configurations | --roles) ]
La commande retourne une liste des rôles ou configurations Hadoop d'une distribution et d'un gestionnaire
d'applications spécifique.
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne
de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les gestionnaires d'applications qui sont
installés sur l'environnement Big Data Extensions.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager list.
appmanager list
La commande retourne la liste de tous les gestionnaires d'applications installés sur l'environnement
Big Data Extensions.
Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez utiliser l'Serengeti CLI pour supprimer un gestionnaire d'applications lorsque vous n'en avez
plus besoin.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé dans votre
n
environnement Big Data Extensions.
Vérifiez que le gestionnaire d'applications que vous souhaitez supprimer ne contient aucun cluster.
n
Sinon, le processus de suppression échouera.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande appmanager delete.
appmanager delete --name application_manager_name
22 VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Ajouter un pool de ressources avec l'interface de ligne de commande
Serengeti
Vous pouvez ajouter des pools de ressources pour qu'ils puissent être utilisés par les clusters Hadoop. Les
pools de ressources doivent être situés au niveau supérieur du cluster. Les pools de ressources imbriqués ne
sont pas pris en charge.
Lorsque vous ajoutez un pool de ressources à Big Data Extensions, il représente symboliquement le pool de
ressources vSphere réel tel qu'il est identifié par vCenter Server. Cette représentation symbolique vous
permet d'utiliser le nom du pool de ressources Big Data Extensions au lieu du chemin d'accès complet du
pool de ressources dans vCenter Server, dans les fichiers de spécification de cluster.
REMARQUE Après avoir ajouté un pool de ressources à Big Data Extensions, ne renommez pas le pool de
ressources dans vSphere. Si vous le renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les
clusters qui utilisent ce pool de ressources.
Procédure
1Accédez au client d'interface de ligne de commande Serengeti.
2Exécutez la commande resourcepool add.
Le paramètre --vcrp est facultatif.
Cet exemple ajoute un pool de ressources Serengeti nommé myRP au pool de ressources vSphere rp1
contenu dans le cluster vSphere cluster1.
Supprimer un pool de ressources avec l'interface de ligne de
commande Serengeti
Vous pouvez supprimer de Serengeti les pools de ressources qui ne sont pas utilisés par un cluster Hadoop.
Vous supprimez des pools de ressources quand vous n'en avez plus besoin ou si vous voulez que les
clusters Hadoop que vous créez dans le serveur de gestion Serengeti soient déployés sous un autre pool de
ressources. La suppression d'un pool de ressources supprime sa référence dans vSphere. Le pool de
ressources n'est pas réellement supprimé.
Procédure
1Accédez au client d'interface de ligne de commande Serengeti.
2Exécutez la commande resourcepool delete.
Si la commande échoue parce que le pool de ressources est référencé par un cluster Hadoop, vous
pouvez utiliser la commande resourcepool list pour voir quel cluster référence ce pool de ressources.
Cet exemple supprime le pool de ressources nommé myRP.
resourcepool delete --name myRP
VMware, Inc. 23
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Ajouter une banque de données avec l'interface de ligne de
commande Serengeti
Vous pouvez ajouter des banques de données locales ou partagées au serveur Serengeti pour que les clusters
Hadoop puissent y accéder.
REMARQUE Après avoir ajouté un pool de ressources à Big Data Extensions, ne renommez pas le pool de
ressources dans vSphere. Si vous le renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les
clusters qui utilisent ce pool de ressources.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande datastore add.
L'exemple ajoute une nouvelle banque de données de stockage local, nommée myLocalDS. La valeur du
paramètre --spec, local*, est un caractère générique spécifiant un ensemble de banques de données
vSphere. Toutes les banques de données vSphere dont le nom commence par « local » sont ajoutées et
gérées comme un tout par Serengeti.
datastore add --name myLocalDS --spec local* --type LOCAL
Suivant
Après avoir ajouté une banque de données à Big Data Extensions, ne la renommez pas dans vSphere. Si
vous la renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
Supprimer une banque de données avec l'interface de ligne de
commande Serengeti
Vous pouvez supprimer une banque de données de Serengeti qui n'est référencée par aucun cluster
Hadoop. La suppression d'une banque de données supprime uniquement la référence à la banque de
données vCenter Server. La banque de données elle-même n'est pas supprimée.
Vous supprimez les banques de données si vous n'en avez plus besoin ou si vous voulez déployer les
clusters Hadoop que vous créez sur le serveur de gestion Serengeti sous une autre banque de données.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande datastore delete.
Si la commande échoue parce que la banque de données est référencée par un cluster Hadoop, vous
pouvez utiliser la commande datastore list pour savoir quel cluster fait référence à la banque de
données.
Cet exemple supprime la banque de données myDS.
datastore delete --name myDS
Ajouter un réseau avec l'interface de ligne de commande Serengeti
Ajouter des réseaux à Big Data Extensions permet aux clusters Hadoop d'accéder à leurs adresses IP. Un
réseau est à la fois un groupe de ports et un moyen d'accéder à ce groupe via une adresse IP.
Après avoir ajouté un réseau à Big Data Extensions, ne le renommez pas dans vSphere. Si vous le
renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
24 VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Prérequis
Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas occupées avant
d'ajouter le réseau.
Procédure
1Accédez à l'Serengeti CLI.
2Exécutez la commande network add.
Cet exemple ajoute un réseau appelé myNetwork au groupe de ports 10PG vSphere. Les machines
virtuelles utilisant ce réseau recourent au protocole DHCP pour obtenir les adresses IP.
Cet exemple ajoute un réseau appelé myNetwork au groupe de ports 10PG vSphere. Les nœuds Hadoop
utilisent les adresses de la plage d'adresses IP 192.168.1.2-100 ; l'adresse IP du serveur DNS est
10.111.90.2, l'adresse de la passerelle est 192.168.1.1 et le masque de sous-réseau est 255.255.255.0.
Supprimer un réseau avec l'interface de ligne de commande Serengeti
Vous pouvez supprimer un réseau de Serengeti qui n'est référencé par aucun cluster Hadoop. La
suppression d'un réseau non utilisé libère les adresses IP en vue d'une réutilisation.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande network delete.
network delete --name network_name
Si la commande échoue parce que le réseau est référencé par un cluster Hadoop, vous pouvez utiliser la
commande network list --detail pour savoir quel cluster fait référence au réseau.
Reconfigurer un réseau IP statique avec l'interface de ligne de
commande Serengeti
Vous pouvez reconfigurer un réseau IP statique Serengeti en lui ajoutant des segments d'adresse IP. Il se
peut que vous ayez besoin d'ajouter des segments d'adresse IP de telle sorte qu'il y ait assez de capacité pour
le cluster que vous voulez créer.
Si la plage d'adresses IP que vous spécifiez inclut les adresses IP qui sont déjà dans le réseau, Serengeti
ignore les adresses dupliquées. Les adresses restantes de la plage spécifiée sont ajoutées au réseau. Si le
réseau est déjà utilisé par un cluster, celui-ci peut utiliser les nouvelles adresses IP après que vous les avez
ajoutées au réseau. Si seule une partie de la plage d'adresses IP est utilisée par un cluster, les adresses IP non
employées peuvent être utilisées lorsque vous créez un nouveau cluster.
VMware, Inc. 25
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Prérequis
Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas occupées avant
d'ajouter le réseau.
Procédure
1Accédez à l'interface de ligne de commande Serengeti.
2Exécutez la commande network modify.
Cet exemple ajoute les adresses IP comprises entre 192.168.1.2 et 192.168.1.100 à un réseau nommé
myNetwork.
Reconfigurer le type de DNS à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez reconfigurer le type de système de noms de domaine (DNS) d'un réseau, et spécifier que
Big Data Extensions génère des noms d'hôte significatifs pour les nœuds d'un cluster Hadoop.
Après avoir ajouté un réseau à Big Data Extensions, ne le renommez pas dans vSphere. Si vous le
renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
Vous pouvez spécifier trois options DNS :
Normale
Dynamique
Autres
Les noms d'hôte vous permettent d'identifier les éléments plus facilement et d'utiliser des services tels que
l'authentification unique, ce qui nécessite l'utilisation d'un DNS correctement configuré.
Procédure
1Accédez à l'Serengeti CLI.
Le serveur DNS fournit la résolution FQDN/IP dans les deux sens. Le DNS
inverse correspond au mappage de l'adresse IP au nom de domaine. Il s'agit
du contraire du DNS normal qui mappe les noms de domaine aux
adresses IP. Par défaut, le type de DNS est normal.
Dynamic DNS (DDNS ou DynDNS) est une méthode qui permet la mise à
jour automatique d'un nom de serveur du système DNS (Domain Name
System) avec la configuration DNS active de ses noms d'hôte configurés,
adresses ou autres informations. Big Data Extensions s'intègre à un serveur
Dynamic DNS de son réseau, au travers duquel il fournit des noms d'hôte
significatifs aux nœuds d'un cluster Hadoop. Le cluster s'enregistre ensuite
automatiquement auprès du serveur DNS.
Il n'y a pas de serveur DNS ou le serveur DNS n'offre pas de résolution DNS
normale ou de services Dynamic DNS. Dans ce cas, vous devez ajouter un
mappage FQDN/IP pour tous les nœuds du fichier /etc/hosts de chaque
nœud du cluster. Grâce à ce mappage de noms d'hôte vers des adresses IP,
chaque nœud peut contacter un autre nœud du cluster.
2Exécutez la commande network modify.
Vous pouvez spécifier trois types de DNS : NORMAL, DYNAMIC et OTHERS. La valeur par défaut est NORMAL.
Dans cet exemple, un réseau nommé myNetwork est modifié de sorte qu'il utilise un type Dynamic DNS.
Les machines virtuelles utilisant ce réseau recourront au protocole DHCP pour obtenir les adresses IP.
network modify --name myNetwork --dnsType DYNAMIC
26 VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Augmenter les performances de clonage et l'utilisation des
ressources des machines virtuelles.
Vous pouvez rapidement cloner et déployer des machines virtuelles à l'aide de Instant Clone, une
fonctionnalité de vSphere 6.0.
À l'aide de Instant Clone, une machine virtuelle parent est dupliquée, puis une machine virtuelle enfant (ou
un clone instantané) est créée. La machine virtuelle enfant tire profit du stockage et de la mémoire de la
machine virtuelle parent, ce qui permet de réduire l'utilisation des ressources.
Lorsque vous provisionnez un cluster, Big Data Extensions crée une machine virtuelle parent pour chaque
hôte sur lequel un nœud de cluster a été placé. Après le provisionnement, un nouveau pool de ressources
étiqueté BDE-ParentVMs-$serengeti.uuid-$template.name apparaît dans vCenter Server. Ce pool de
ressources contient plusieurs machines virtuelles parent. Les nœuds de cluster normaux sont clonés
instantanément à partir de ces machines virtuelles parent. Une fois qu'elles sont créées sur les hôtes du
cluster, le temps nécessaire au provisionnement et à la mise à l'échelle d'un cluster est considérablement
réduit.
Lorsque vous mettez un clone à l'échelle, le type de clone que vous avez spécifié lors de la création du
cluster continue d'être utilisé, quel que soit le type actuel du clone. Par exemple, si vous avez créé un cluster
à l'aide de la fonction Instant Clone, puis que vous passez au type Fast Clone dans Big Data Extensions, le
cluster que vous avez provisionné à l'aide d'Instant Clone continuera d'utiliser Instant Clone pour agrandir
le cluster.
Si vous créez des clusters et que vous souhaitez ultérieurement apporter des changements à la machine
virtuelle de modèle utilisée pour provisionner ces clusters, vous devez d'abord supprimer toutes les
machines virtuelles parent existantes avant d'utiliser la nouvelle machine virtuelle de modèle. Lorsque vous
créez des clusters à l'aide du nouveau modèle, Big Data Extensions crée de nouvelles machines virtuelles
parent basées sur le nouveau modèle.
Prérequis
Votre déploiement Big Data Extensions doit utiliser vSphere 6.0 pour bénéficier d'Instant Clone.
Procédure
1Connectez-vous à Serengeti Management Server.
2Modifiez le fichier /opt/serengeti/conf/serengeti.properties et changez la valeur de
cluster.clone.service=fast.
Le type de clone par défaut lorsque vous exécutez vSphere 6.0 est Instant Clone.
cluster.clone.service = instant
3Pour activer le type Instant Clone, redémarrez Serengeti Management Server.
sudo /sbin/service tomcat restart
Serengeti Management Server lit le fichier serengeti.properties révisé et applique la fonction Fast
Clone à tous les nouveaux clusters que vous créez.
Suivant
Tous les clusters que vous créez ensuite utiliseront Instant Clone pour déployer les machines virtuelles.
Reportez-vous à Chapitre 5, « Création de clusters Hadoop et HBase », page 35.
VMware, Inc. 27
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
28 VMware, Inc.
Gérer les utilisateurs et les comptes
d'utilisateurs4
Par défaut, l'authentification est configurée uniquement pour les comptes d'utilisateurs locaux dans
Big Data Extensions. Si vous voulez utiliser LDAP (soit Active Directory soit un répertoire compatible
OpenLDAP) pour authentifier les utilisateurs, vous devez configurer Big Data Extensions pour utiliser votre
service LDAP ou Active Directory.
Ce chapitre aborde les rubriques suivantes :
« Créer un fichier de configuration du service LDAP avec l'interface de ligne de commande
n
Serengeti », page 29
« Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti »,
n
page 31
« Créer un cluster avec l'authentification utilisateur LDAP à l'aide de l'interface de ligne de commande
n
Serengeti », page 31
« Changer les modes de gestion des utilisateurs à l'aide de l'interface de ligne de commande
n
Serengeti », page 32
« Modifier la configuration LDAP à l'aide de l'interface de ligne de commande Serengeti », page 33
n
Créer un fichier de configuration du service LDAP avec l'interface de
ligne de commande Serengeti
Créez un fichier de configuration qui identifie votre environnement de serveur LDAP ou Active Directory.
Prérequis
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
n
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1Accédez à l'Serengeti CLI.
2Accédez au répertoire de Serengeti Management Server dans lequel vous souhaitez créer et stocker le
fichier de configuration.
Vous pouvez utiliser le répertoire /opt/serengeti/etc pour stocker votre fichier de configuration.
VMware, Inc.
29
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3À l'aide d'un éditeur de texte, créez un fichier JavaScript Object Notation (JSON) contenant les
paramètres de configuration de votre service LDAP ou Active Directory.
Le format du fichier de configuration est représenté ci-dessous.
Une fois que vous avez créé un fichier de configuration LDAP, vous pouvez activer la gestion centralisée
des utilisateurs pour votre environnement Big Data Extensions. Reportez-vous à « Activer la gestion
centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti », page 31.
30 VMware, Inc.
Loading...
+ 90 hidden pages
You need points to download manuals.
1 point = 1 manual.
You can buy points or you can get point for every manual you upload.