openstack-user

Concernant les supports de cours

Supports de cours

Les cours sont maintenus et donnés par : https://www.alterway.fr/cloud-consulting

Licence Creative Commons BY-SA 4.0
Licence Creative Commons BY-SA 4.0

Introduction

Objectifs de la formation : Cloud

  • Comprendre les principes du cloud et son intérêt
  • Connaitre le vocabulaire inhérent au cloud
  • Avoir une vue d’ensemble sur les solutions existantes en cloud public et privé
  • Posséder les clés pour tirer parti au mieux du IaaS
  • Pouvoir déterminer ce qui est compatible avec la philosophie cloud ou pas
  • Adapter ses méthodes d’administration système et de développement à un environnement cloud

Objectifs de la formation : OpenStack

  • Connaitre le fonctionnement du projet OpenStack et ses possibilités
  • Comprendre le fonctionnement de chacun des composants d’OpenStack
  • Pouvoir faire les bons choix de configuration
  • Savoir déployer manuellement un cloud OpenStack pour fournir du IaaS
  • Connaitre les bonnes pratiques de déploiement d’OpenStack
  • Être capable de déterminer l’origine d’une erreur dans OpenStack
  • Savoir réagir face à un bug

Pré-requis de la formation

  • Compétences d’administration système Linux tel qu’Ubuntu
    • Gestion des paquets
    • Manipulation de fichiers de configuration et de services
    • LVM (Logical Volume Management) et systèmes de fichiers
  • Notions :
    • Virtualisation : KVM (Kernel-Based Virtual Machine), libvirt
    • Réseau : iptables, namespaces
    • SQL
  • Optionnel :
    • À l’aise dans un environnement Python

Le cloud, vue d'ensemble

Définition formelle

Caractéristiques

Fournir un (des) service(s)...

  • Self service
  • À travers le réseau
  • Mutualisation des ressources
  • Élasticité rapide
  • Mesurabilité

Inspiré de la définition du NIST https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-145.pdf

Self service

  • L'utilisateur accède directement au service
  • Pas d'intermédiaire humain
  • Réponses immédiates
  • Catalogue de services permettant leur découverte

À travers le réseau

  • L'utilisateur accède au service à travers le réseau
  • Le fournisseur du service est distant du consommateur
  • Réseau = internet ou pas
  • Utilisation de protocoles réseaux standards (typiquement : HTTP)

Mutualisation des ressources

  • Un cloud propose ses services à de multiples utilisateurs/organisations (multi-tenant)
  • Tenant ou projet : isolation logique des ressources
  • Les ressources sont disponibles en grandes quantités (considérées illimitées)
  • Le taux d'occupation du cloud n'est pas visible
  • La localisation précise des ressources n'est pas visible

Élasticité rapide

  • Provisionning et suppression des ressources quasi instantané
  • Permet le scaling (passage à l'échelle)
  • Possibilité d'automatiser ces actions de scaling
  • Virtuellement pas de limite à cette élasticité

Mesurabilité

  • L'utilisation des ressources cloud est monitorée par le fournisseur
  • Le fournisseur peut gérer son capacity planning et sa facturation à partir de ces informations
  • L'utilisateur est ainsi facturé en fonction de son usage précis des ressources
  • L'utilisateur peut tirer parti de ces informations

Modèles

On distingue :

  • modèles de service : IaaS, PaaS, SaaS
  • modèles de déploiement : public, privé, hybride

IaaS

  • Infrastructure as a Service
  • Infrastructure :
  • Compute (calcul)
  • Storage (stockage)
  • Network (réseau)
  • Utilisateurs cibles : administrateurs (système, stockage, réseau)

PaaS

  • Platform as a Service
  • Désigne deux concepts :
  • Environnement permettant de développer/déployer une application (spécifique à un langage/framework - exemple : Python/Django)
  • Ressources plus haut niveau que l'infrastructure, exemple : BDD
  • Utilisateurs cibles : développeurs d'application

SaaS

  • Software as a Service
  • Utilisateurs cibles : utilisateurs finaux
  • Ne pas confondre avec la définition économique du SaaS

Quelquechose as a Service ?

  • Load balancing as a Service (Infra)
  • Database as a Service (Platform)
  • MonApplication as a Service (Software)
  • etc.

Les modèles de service en un schéma

IaaS - PaaS - SaaS (source : Wikipedia)
IaaS - PaaS - SaaS (source : Wikipedia)

Cloud public ou privé ?

À qui s'adresse le cloud ?

  • Public : tout le monde, disponible sur internet
  • Privé : à une organisation, disponible sur son réseau

Cloud hybride

  • Utilisation mixte de multiples clouds privés et/ou publics
  • Concept séduisant mais mise en œuvre a priori difficile
  • Certains cas d'usages s'y prêtent très bien
  • Intégration continue (CI)
  • Motivations
  • Éviter le lock-in
  • Débordement (cloud bursting)

L'instant virtualisation

Mise au point.

  • La virtualisation est une technologie permettant d'implémenter la fonction compute
  • Un cloud fournissant du compute peut utiliser la virtualisation
  • Mais peut également utiliser :
  • Du bare-metal
  • Des containers (système)

Les APIs, la clé du cloud

  • Rappel : API pour Application Programming Interface
  • Au sens logiciel : Interface permettant à un logiciel d’utiliser une bibliothèque
  • Au sens cloud : Interface permettant à un logiciel d’utiliser un service (XaaS)
  • Interface de programmation (via le réseau, souvent HTTP)
  • Frontière explicite entre le fournisseur (provider) et l'utilisateur (user)
  • Définit la manière dont l'utilisateur communique avec le cloud pour gérer ses ressources
  • Gérer : CRUD (Create, Read, Update, Delete)

API REST

  • Une ressource == une URI (Uniform Resource Identifier)
  • Utilisation des verbes HTTP pour caractériser les opérations (CRUD)
  • GET
  • POST
  • PUT
  • DELETE
  • Utilisation des codes de retour HTTP
  • Représentation des ressources dans le corps des réponses HTTP

REST - Exemples

GET http://endpoint/volumes/
GET http://endpoint/volumes/?size=10
POST http://endpoint/volumes/
DELETE http://endpoint/volumes/xyz

Exemple concret

GET /v2.0/networks/d32019d3-bc6e-4319-9c1d-6722fc136a22
{
 "network":{
  "status":"ACTIVE",
  "subnets":[ "54d6f61d-db07-451c-9ab3-b9609b6b6f0b" ],
  "name":"private-network",
  "provider:physical_network":null,
  "admin_state_up":true,
  "tenant_id":"4fd44f30292945e481c7b8a0c8908869",
  "provider:network_type":"local",
  "router:external":true,
  "shared":true,
  "id":"d32019d3-bc6e-4319-9c1d-6722fc136a22",
  "provider:segmentation_id":null
 }
}

Pourquoi le cloud ? côté économique

  • Appréhender les ressources IT comme des services “fournisseur”
  • Faire glisser le budget “investissement” (Capex) vers le budget “fonctionnement” (Opex)
  • Réduire les coûts en mutualisant les ressources, et éventuellement avec des économies d'échelle
  • Réduire les délais
  • Aligner les coûts sur la consommation réelle des ressources

Pourquoi le cloud ? côté technique

  • Abstraire les couches basses (serveur, réseau, OS, stockage)
  • S’affranchir de l’administration technique des ressources et services (BDD, pare-feux, load-balancing, etc.)
  • Concevoir des infrastructures scalables à la volée
  • Agir sur les ressources via des lignes de code et gérer les infrastructures “comme du code”

Le marché

Amazon Web Services (AWS), le leader

AWS logo
AWS logo
  • Lancement en 2006
  • À l'origine : services web "e-commerce" pour développeurs
  • Puis : d'autres services pour développeurs
  • Et enfin : services d'infrastructure
  • Récemment, SaaS

Alternatives IaaS publics à AWS

  • Google Cloud Platform
  • Microsoft Azure
  • Rackspace
  • DreamHost
  • DigitalOcean
  • En France :
  • Cloudwatt (Orange Business Services)
  • Numergy (SFR)
  • OVH
  • Ikoula
  • Scaleway
  • Outscale

Faire du IaaS privé

  • OpenStack
  • CloudStack
  • Eucalyptus
  • OpenNebula

OpenStack en quelques mots

OpenStack logo
OpenStack logo
  • Naissance en 2010
  • Fondation OpenStack depuis 2012
  • Écrit en Python et distribué sous licence Apache 2.0
  • Soutien très large de l'industrie et contributions variées

Exemples de PaaS public

Solutions de PaaS privé

Les concepts Infrastructure as a Service

La base

  • Infrastructure :
  • Compute
  • Storage
  • Network

Ressources compute

  • Instance
  • Image
  • Flavor (gabarit)
  • Paire de clé (SSH)

Instance

  • Dédiée au compute
  • Durée de vie typiquement courte, à considérer comme éphémère
  • Ne doit pas stocker de données persistantes
  • Disque racine non persistant
  • Basée sur une image

Image cloud

  • Image disque contenant un OS déjà installé
  • Instanciable à l'infini
  • Sachant parler à l'API de metadata

API ... de metadata

  • http://169.254.169.254
  • Accessible depuis l'instance
  • Fournit des informations relatives à l'instance
  • Expose les userdata
  • L'outil cloud-init permet d'exploiter cette API

Flavor (gabarit)

  • Instance type chez AWS
  • Définit un modèle d’instance en termes de CPU, RAM, disque (racine), disque éphémère
  • Le disque éphémère a, comme le disque racine, l’avantage d’être souvent local donc rapide

Paire de clé

  • Clé publique + clé privée SSH
  • Le cloud manipule et stocke la clé publique
  • Cette clé publique est utilisée pour donner un accès SSH aux instances

Ressources réseau 1/2

  • Réseau L2
  • Port réseau
  • Réseau L3
  • Routeur
  • IP flottante
  • Groupe de sécurité

Ressources réseau 2/2

  • Load Balancing as a Service
  • VPN as a Service
  • Firewall as a Service

Ressources stockage

Le cloud fournit deux types de stockage

  • Block
  • Objet

Stockage block

  • Volumes attachables à une instance
  • Accès à des raw devices type /dev/vdb
  • Possibilité d’utiliser n’importe quel système de fichiers
  • Possibilité d'utiliser du LVM, du chiffrement, etc.
  • Compatible avec toutes les applications existantes
  • Nécessite de provisionner l'espace en définissant la taille du volume

Du stockage partagé ?

  • Le stockage block n’est pas une solution de stockage partagé comme NFS
  • NFS se situe à une couche plus haute : système de fichiers
  • Un volume est a priori connecté à une seule machine

"Boot from volume"

Démarrer une instance avec un disque racine sur un volume

  • Persistance des données du disque racine
  • Se rapproche du serveur classique

Stockage objet

  • API : faire du CRUD sur les données
  • Pousser et retirer des objets dans un container/bucket
  • Pas de hiérarchie, pas de répertoires, pas de système de fichiers
  • Accès lecture/écriture uniquement par les APIs
  • Pas de provisioning nécessaire
  • L’application doit être conçue pour tirer parti du stockage objet

Orchestration

  • Orchestrer la création et la gestion des ressources dans le cloud
  • Définition de l'architecture dans un template
  • Les ressources créées à partir du template forment la stack
  • Il existe également des outils d'orchestration (plutôt que des services)

Bonnes pratiques d'utilisation

Pourquoi des bonnes pratiques ?

Deux approches :

  • Ne pas évoluer
  • Risquer de ne pas répondre aux attentes
  • Se contenter d'un cas d'usage test & dev
  • Adapter ses pratiques au cloud pour en tirer parti pleinement

Haute disponibilité (HA)

  • Le control plane (les APIs) du cloud est HA
  • Les ressources provisionnées ne le sont pas forcément

Pet vs Cattle

Comment considérer ses instances ?

  • Pet
  • Cattle

Infrastructure as Code

Avec du code

  • Provisionner les ressources d'infrastructure
  • Configurer les dites ressources, notamment les instances

Le métier évolue : Infrastructure Developer

Scaling, passage à l'échelle

  • Scale out plutôt que Scale up
  • Scale out : passage à l'échelle horizontal
  • Scale up : passage à l'échelle vertical
  • Auto-scaling
  • Géré par le cloud
  • Géré par un composant extérieur

Applications cloud ready

  • Stockent leurs données au bon endroit
  • Sont architecturées pour tolérer les pannes
  • Etc.

Cf. https://12factor.net/

Derrière le cloud

Comment implémenter un service de Compute

  • Virtualisation
  • Containers (système)
  • Bare metal

Implémentation du stockage : (Software Defined Storage) SDS

  • Attention : ne pas confondre avec le sujet block vs objet

  • Utilisation de commodity hardware
  • Pas de RAID matériel
  • Le logiciel est responsable de garantir les données
  • Les pannes matérielles sont prises en compte et gérées
  • Le projet Ceph et le composant OpenStack Swift implémentent du SDS

  • Voir aussi Scality

SDS - Théorème CAP

Consistency - Availability - Partition tolerance
Consistency - Availability - Partition tolerance

Récapitulatif vocabulaire

Notions et vocabulaire IaaS 1/4

  • Identité et accès
    • Tenant/Projet (Project) : locataire du cloud, propriétaire de ressources.
    • Utilisateur (User) : compte autorisé à utiliser les API OpenStack.
    • Quota : contrôle l’utilisation des ressources (vcpu, ram, fip, security groups,...) dans un tenant.
    • Catalogue (de services) : services disponibles et accessibles via les API.
    • Endpoint : URL permettant l’accès à une API. Un endpoint par service.

Notions et vocabulaire IaaS 2/4

  • Calcul/Serveurs (Compute)
    • Image : généralement, un OS bootable et “cloud ready”.
    • Instance : forme dynamique d’une image.
    • Type d’instance (flavor) : mensurations d’une instance (cpu, ram, capacité disque,...).
    • Metadata et user data : informations gérées par le IaaS et mises à disposition de l’instance.
    • Cloud-init, cloud-config : mécanismes permettant la configuration finale automatique d’une instance.

Notions et vocabulaire IaaS 3/4

  • Stockage (Storage)
    • Volume : disque virtuel accessible par les instances (stockage “block”).
    • Conteneur (Container) : entités logiques pour le stockage de fichiers et accessibles via une URL (stockage “objet”).
  • Réseau et sécurité (Network, Security)
    • Groupe de sécurité (Security groups) : ensemble de règles de filtrage de flux appliqué à l’entrée des instances.
    • Paire de clés (Keypairs) : clé privée + clé publique permettant les connexions aux instances via SSH.
    • IP flottantes (Floating IP) : adresse IP allouée à la demande et utilisée par les instances pour communiquer avec le réseau “externe”.

Notions et vocabulaire IaaS 4/4

  • Orchestration
    • Stack : ensemble des ressources IaaS utilisées par une application.
    • Template : fichier texte contenant la description d’une stack.

OpenStack : le projet

Tour d'horizon

Vue haut niveau

Version simple
Version simple

Historique

  • Démarrage en 2010
  • Objectif : le Cloud Operating System libre
  • Fusion de deux projets de Rackspace (Storage) et de la NASA (Compute)
  • Logiciel libre distribué sous licence Apache 2.0
  • Naissance de la Fondation en 2012

Mission statement

To produce a ubiquitous Open Source Cloud Computing platform that is easy to use, simple to implement, interoperable between deployments, works well at all scales, and meets the needs of users and operators of both public and private clouds.

Les releases

  • Austin (2010.1)
  • Bexar (2011.1), Cactus (2011.2), Diablo (2011.3)
  • Essex (2012.1), Folsom (2012.2)
  • Grizzly (2013.1), Havana (2013.2)
  • Icehouse (2014.1), Juno (2014.2)
  • Kilo (2015.1), Liberty (2015.2)
  • Mitaka (2016.1), Newton (2016.2)
  • Ocata (2017.1), Pike (2017.2)
  • Queens (2018.1), Rocky (2018.2)
  • Stein (2019.1), Train (2019.2)
  • Premier semestre 2020 : Ussuri

Quelques soutiens/contributeurs ...

  • Editeurs : Red Hat, Suse, Canonical, Vmware, ...
  • Constructeurs : IBM, HP, Dell, ...
  • Constructeurs/réseau : Juniper, Cisco, ...
  • Constructeurs/stockage : NetApp, Hitachi, ...
  • En vrac : NASA, Rackspace, Yahoo, OVH, Citrix, SAP, ...
  • Google ! (depuis juillet 2015)

https://www.openstack.org/foundation/companies/

... et utilisateurs

  • Tous les contributeurs précédemment cités
  • En France : Cloudwatt et Numergy
  • Wikimedia
  • CERN
  • Paypal
  • Comcast
  • BMW
  • Etc. Sans compter les implémentations confidentielles

https://www.openstack.org/user-stories/

Les différents sous-projets

https://www.openstack.org/software/project-navigator/

  • OpenStack Compute - Nova
  • OpenStack (Object) Storage - Swift
  • OpenStack Block Storage - Cinder
  • OpenStack Networking - Neutron
  • OpenStack Image Service - Glance
  • OpenStack Identity Service - Keystone
  • OpenStack Dashboard - Horizon
  • OpenStack Telemetry - Ceilometer
  • OpenStack Orchestration - Heat

Les différents sous-projets (2)

  • Mais aussi :
    • Bare metal (Ironic)
    • Queue service (Zaqar)
    • Database Service (Trove)
    • Data processing (Sahara)
    • DNS service (Designate)
    • Shared File Systems (Manila)
    • Key management (Barbican)
    • Container (Magnum)
  • Autres
    • Les clients CLI et bibliothèques
    • Les outils de déploiement d'OpenStack
    • Les bibliothèques utilisées par OpenStack
    • Les outils utilisés pour développer OpenStack

APIs

  • Chaque projet supporte son API OpenStack
  • Certains projets supportent l'API AWS équivalente (Nova/EC2, Swift/S3)

Les 4 Opens

  • Open Source
  • Open Design
  • Open Development
  • Open Community

https://governance.openstack.org/tc/reference/opens.html

https://www.openstack.org/four-opens/

La Fondation OpenStack

  • Entité de gouvernance principale et représentation juridique du projet
  • Les membres du board sont issus des entreprises sponsors et élus par les membres individuels
  • Tout le monde peut devenir membre individuel (gratuitement)
  • Ressources humaines : marketing, événementiel, release management, quelques développeurs (principalement sur l’infrastructure)
  • 600 organisations à travers le monde
  • 80000 membres individuels dans 170 pays

La Fondation OpenStack

Les principales entités de la Fondation
Les principales entités de la Fondation

Open Infrastructure

  • Récemment, la Fondation OpenStack s'élargit à l'Open Infrastructure
  • Au-delà d'OpenStack, nouveaux projets chapeautés :
    • Kata Containers
    • Zuul
    • Airship
    • StarlingX

Ressources

Ressources

User Survey

Certification Certified OpenStack Administrator (COA)

Ressources - Communauté francophone et association

Logo OpenStack-fr
Logo OpenStack-fr

Utiliser OpenStack

Le principe

  • Toutes les fonctionnalités sont accessibles par l’API
  • Les clients (y compris Horizon) utilisent l’API
  • Des crédentials sont nécessaires, avec l'API OpenStack :
  • utilisateur
  • mot de passe
  • projet (tenant)
  • domaine

Les APIs OpenStack

  • Une API par service OpenStack
  • Versionnée, la rétro-compatibilité est assurée
  • Le corps des requêtes et réponses est formatté avec JSON
  • Architecture REST
  • Les ressources gérées sont spécifiques à un projet

https://developer.openstack.org/#api

Accès aux APIs

  • Direct, en HTTP, via des outils comme curl
  • Avec une bibliothèque
  • Les implémentations officielles en Python
  • OpenStackSDK
  • D’autres implémentations, y compris pour d’autres langages (exemple : jclouds)
  • Shade (bibliothèque Python incluant la business logic)
  • Avec les outils officiels en ligne de commande
  • Avec Horizon
  • Au travers d'outils tiers, plus haut niveau (exemple : Terraform)

Clients officiels

  • OpenStack fournit des clients officiels
  • Historiquement : python-PROJETclient (bibliothèque Python et CLI)
  • Aujourd'hui : openstackclient (CLI)
  • Outils CLI
  • L’authentification se fait en passant les crédentials par paramètres, variables d’environnement ou fichier de configuration
  • L’option --debug affiche la communication HTTP

OpenStack Client

  • Client CLI unifié
  • Commandes du type openstack <ressource> <action> (shell interactif disponible)
  • Vise à remplacer les clients CLI spécifiques
  • Permet une expérience utilisateur plus homogène
  • Fichier de configuration clouds.yaml

https://docs.openstack.org/python-openstackclient/latest/configuration/index.html#configuration-files

Keystone : Authentification, autorisation et catalogue de services

Principes

Keystone est responsable de l'authentification, l'autorisation et le catalogue de services.

  • L'utilisateur standard s'authentifie auprès de Keystone
  • L'administrateur intéragit régulièrement avec Keystone

API

  • API v3 : port 5000
  • Gère :
  • Utilisateurs, groupes
  • Projets (tenants)
  • Rôles (lien entre utilisateur et projet)
  • Domaines
  • Services et endpoints (catalogue de services)
  • Fournit :
  • Tokens (jetons d'authentification)

Catalogue de services

  • Pour chaque service, plusieurs endpoints sont possibles en fonction de :
  • la région
  • le type d'interface (public, internal, admin)

Scénario d’utilisation typique

Interactions avec Keystone
Interactions avec Keystone

Nova : Compute

Principes

  • Gère principalement les instances
  • Les instances sont créées à partir des images fournies par Glance
  • Les interfaces réseaux des instances sont associées à des ports Neutron
  • Du stockage block peut être fourni aux instances par Cinder

Propriétés d’une instance

  • Éphémère, a priori non hautement disponible
  • Définie par une flavor
  • Construite à partir d’une image
  • Optionnel : attachement de volumes
  • Optionnel : boot depuis un volume
  • Optionnel : une clé SSH publique
  • Optionnel : des ports réseaux

API

Ressources gérées :

  • Instances
  • Flavors (types d’instance)
  • Keypairs : ressource propre à l'utilisateur (et non propre au projet)

Actions sur les instances

  • Reboot / shutdown
  • Snapshot
  • Lecture des logs
  • Accès VNC
  • Redimensionnement
  • Migration (admin)

Glance : registre d'images

Principes

  • Registre d'images et de snapshots
  • Propriétés sur les images

API

  • API v2 : version courante, gère images et snapshots
  • API artifacts : version future, plus généraliste

Types d’images

Glance supporte un large éventail de types d’images, limité par le support de la technologie sous-jacente à Nova

  • raw
  • qcow2
  • ami
  • vmdk
  • iso

Propriétés des images dans Glance

L’utilisateur peut définir un certain nombre de propriétés dont certaines seront utilisées lors de l’instanciation

  • Type d’image
  • Architecture
  • Distribution
  • Version de la distribution
  • Espace disque minimum
  • RAM minimum

Partage des images

  • Image publique : accessible à tous les projets
  • Par défaut, seul l'administrateur peut rendre une image publique
  • Image partagée : accessible à un ou plusieurs autre(s) projet(s)

Télécharger des images

La plupart des OS fournissent des images régulièrement mises à jour :

Neutron : réseau

API

L’API permet notamment de manipuler ces ressources :

  • Réseau (network) : niveau 2
  • Sous-réseau (subnet) : niveau 3
  • Port : attachable à une interface sur une instance, un load-balancer, etc.
  • Routeur
  • IP flottante, groupe de sécurité

Les IP flottantes

  • En plus des fixed IPs portées par les instances
  • Allocation (réservation pour le projet) d'une IP depuis un pool
  • Association d'une IP allouée à un port (d'une instance, par exemple)
  • Non portées directement par les instances

Les groupes de sécurité

  • Équivalent à un firewall devant chaque instance
  • Une instance peut être associée à un ou plusieurs groupes de sécurité
  • Gestion des accès en entrée et sortie
  • Règles par protocole (TCP/UDP/ICMP) et par port
  • Cible une adresse IP, un réseau ou un autre groupe de sécurité

Fonctionnalités supplémentaires

Outre les fonctions réseau de base niveaux 2 et 3, Neutron peut fournir d’autres services :

  • Load Balancing
  • Firewall : diffère des groupes de sécurité
  • VPN : permet d’accéder à un réseau privé sans IP flottantes
  • QoS

Cinder : Stockage block

Principes

  • Fournit des volumes (stockage block) attachables aux instances
  • Gère différents types de volume
  • Gère snapshots et backups de volumes

Utilisation

  • Volume supplémentaire (et stockage persistant) sur une instance
  • Boot from volume : l’OS est sur le volume
  • Fonctionnalité de backup vers un object store (Swift ou Ceph)

Heat : Orchestration

Généralités

  • Heat est la solution native OpenStack, service d'orchestration
  • Heat fournit une API de manipulation de stacks à partir de templates
  • Un template Heat suit le format HOT (Heat Orchestration Template), basé sur YAML

Un template Heat Orchestration Template (HOT)

parameters - resources - outputs

heat_template_version: 2013-05-23
description: Simple template to deploy a single compute instance
resources:
my_instance:
  type: OS::Nova::Server
  properties:
  key_name: my_key
  image: F18-x86_64-cfntools
  flavor: m1.small

Construire un template à partir d’existant

Multiples projets en cours de développement

  • Flame (Cloudwatt)
  • HOT builder
  • Merlin

Horizon : Dashboard web

Principes

  • Fournit une interface web
  • Utilise les APIs existantes pour fournir une interface utilisateur
  • Log in possible sans préciser un projet : Horizon détermine la liste des projets accessible

Utilisation

  • Une interface par projet (possibilité de switcher)
  • Catalogue de services accessible
  • Téléchargement d'un fichier de configuration clouds.yaml
  • Une zone “admin” restreinte

Architectures cloud-ready

Concevoir une application pour le cloud

12-factor

“The Twelve-Factor App” https://12factor.net/

  • Écrit par Heroku
  • Suivre (tout) le code dans un VCS
  • Configuration

Adapter ou penser ses applications “cloud ready” 1/3

Cf. les design tenets du projet OpenStack et Twelve-Factor https://12factor.net/

  • Architecture distribuée plutôt que monolithique
    • Facilite le passage à l’échelle
    • Limite les domaines de failure
  • Couplage faible entre les composants

Adapter ou penser ses applications “cloud ready” 2/3

  • Bus de messages pour les communications inter-composants
  • Stateless : permet de multiplier les routes d’accès à l’application
  • Dynamicité : l’application doit s’adapter à son environnement et se reconfigurer lorsque nécessaire
  • Permettre le déploiement et l’exploitation par des outils d’automatisation

Adapter ou penser ses applications “cloud ready” 3/3

  • Limiter autant que possible les dépendances à du matériel ou du logiciel spécifique qui pourrait ne pas fonctionner dans un cloud
  • Tolérance aux pannes (fault tolerance) intégrée
  • Ne pas stocker les données en local, mais plutôt :
    • Base de données
    • Stockage objet
  • Utiliser des outils standards de journalisation

Modulaire

  • Multiples composants de taille raisonnable
  • Philosophie Unix
  • Couplage faible et interface documentée

Passage à l’échelle

  • Vertical vs Horizontal
  • Scale up vs Scale out
  • Plusieurs petites instances plutôt qu’une grosse instance

Stateful vs stateless

  • Beaucoup de stateful dans les applications legacy
  • Nécessite de partager l’information d’état lorsque plusieurs workers
  • Le stateless élimine cette contrainte

Tolérance aux pannes

  • L’infrastructure n’est pas hautement disponible
  • L’API d’infrastructure est hautement disponible
  • L’application doit anticiper et réagir aux pannes

Stockage des données

  • Base de données relationnelles
  • Base de données NoSQL
  • Stockage bloc
  • Stockage objet
  • Stockage éphémère
  • Cache, temporaire

Design Tenets d’OpenStack (exemple) 1/2

  1. Scalability and elasticity are our main goals
  2. Any feature that limits our main goals must be optional
  3. Everything should be asynchronous. If you can’t do something asynchronously, see #2
  4. All required components must be horizontally scalable

Design Tenets d’OpenStack (exemple) 2/2

  1. Always use shared nothing architecture (SN) or sharding. If you can’t Share nothing/shard, see #2
  2. Distribute everything. Especially logic. Move logic to where state naturally exists.
  3. Accept eventual consistency and use it where it is appropriate.
  4. Test everything. We require tests with submitted code. (We will help you if you need it)

https://wiki.openstack.org/wiki/BasicDesignTenets

Concevoir une infrastructure pour le cloud

Automatisation

  • Automatiser la gestion de l’infrastructure : indispensable
  • Création des ressources
  • Configuration des ressources

Infrastructure as Code

  • Travailler comme un développeur
  • Décrire son infrastructure sous forme de code (Heat/Terraform, Ansible)
  • Suivre les changements dans un VCS (git)
  • Mettre en place de la revue de code
  • Utiliser des mécanismes de tests
  • Exploiter des systèmes d'intégration et déploiement continue

Besoin d’orchestration

  • Manager tous les types de ressources par un point d’entrée
  • Description de l’infrastructure dans un fichier (template)
  • Heat (intégré à OpenStack), Terraform

Tests et intégration continue

  • Style de code
  • Validation de la syntaxe
  • Tests unitaires
  • Tests d'intégration
  • Tests de déploiement complet

Tolérance aux pannes

  • Tirer parti des capacités de l'application
  • Ne pas tenter de rendre l'infrastructure compute HA

Autoscaling group

  • Groupe d’instances similaires
  • Nombre variable d’instances
  • Scaling automatique en fonction de métriques
  • Permet le passage à l'échelle horizontal

Monitoring

  • Prendre en compte le cycle de vie des instances : DOWN != ALERT
  • Monitorer le service plus que le serveur

Backup

  • Être capable de recréer ses instances (et le reste de son infrastructure)
  • Données (applicatives, logs) : block, objet

Comment gérer ses images ?

  • Utilisation d’images génériques et personnalisation à l’instanciation
  • Création d’images plus ou moins personnalisées :
    • Modification à froid : libguestfs, virt-builder, virt-sysprep
    • Modification au travers d'une instance : automatisation possible avec Packer
    • Construction from scratch : diskimage-builder (TripleO)
    • Construction from scratch avec des outils spécifiques aux distributions (openstack-debian-images pour Debian)

Conclusion

Pour conclure

  • Le cloud révolutionne l’IT
  • OpenStack est le projet libre phare sur la partie IaaS
  • L’utilisation d’un cloud IaaS implique des changements de pratique
  • Les métiers d’architecture logicielle et infra évoluent