Monthly Archives for July 2009

Cloud Computing : Accompagner le changement

Au cours de mes pérégrination, j’ai été amené à lire la newsletter de Mai 2009 de Network Instrument  “5 étapes pour accompagner la migration Cloud Computing “. J’ai trouvé l’approche intéressante et ai souhaité étendre la réflexion plus loin que les seuls aspects purement techniques.

A quoi faut-il réfléchir dans le cadre de l’adoption de technologies cloud au sein d’une entreprise ?  En effet, quelle que soit la définition du cloud qu’on puisse prendre, un point commun emerge : le partage des ressources (multi-tenancy). Ces technologies n’ont de sens que dans la démesure. Pour atteindre cette masse critique il faut mutualiser.

Aussi, que le cloud soit interne ou externe à l’organisation, il devra être partagé, et donc géré par un (ensemble) service(s) dédié(s) et transverse(s) à qui reviendra la tâche de gérer les ressources informatiques (stockage, nombre de serveur, monitoring …) Cette gestion, qui était auparavant potentiellement répartie dans les différents service IT de l’organisation sera donc déléguée à un prestataire, une fois encore, interne ou externe… on ne fait que réinventer le services centraux si chers au mainframers.

Il est évident, dès lors, que les grands équilibres vont évoluer au sein des différents services (IT et probablement autres) de l’organisation. Il apparaît certain que les entreprises qui feront le choix d’aller vers le cloud, devront apporter le plus grand soin dans l’élaboration des définitions de services, le choix des technologies et des procédures, la mise en place des équipes et l’intégration des nouveaux processus dans les anciens. Elles devront par ailleurs, et surtout, être très vigilantes dans l’accompagnement qu’elles offriront à leur collaborateurs vers ces nouvelles façons de penser, sous peine de voir les corporatisme, reflexe de refus du changement et autres luttes de pouvoir (hélas inhérentes à toutes les organisations, quasiment quelle qu’en soit leur taille) réduire en miette leurs efforts.

1. Conduire un Audit de pré-déploiement et de préparation

Déterminer les cas d’usage des technologies de cloud computing, les domaines d’utilisation et les conséquences que le remplacement des anciennes technologies et procédures va avoir dans l’organisation. Comment la mise en place d’un service de stockage à la sauce cloud peut elle impacter vos services ?

a/ Techniquement : Déterminer grâce aux demandes utilisateurs (par utilisateur, par département puis au niveau de l’organisation dans son ensemble) les besoins de ressources techniques induite par le changement. Cette étape de dimensionnement doit concerner les serveurs, le stockage, les infrastructure réseau, les nouvelles couches logiciels… On doit prendre en compte des problématique de priorité de service, de sécurité mais aussi d’interdépendance des SI. En effet, lorsqu’il s’agit de relier différents SI (de plusieurs services) on s’assurera que la politique de l’organisation permet ce type de lien, et dans quelles conditions (cloisonnement, asynchronisme des services…). Comment souhaite-ton relier ce cloud aux anciens service de l’entreprises ? quelles API ? Souhaite-t-on pouvoir accéder a différents cloud (interne et externe) et si oui comment s’assurer de la compatibilité (premier pas vers la réversibilité)

b/ Organisationnellement : Si certaines responsabilité doivent être transférées comment l’annoncer, et gérer les problématiques politiques cela induit. Les personne anciennement en charge des activités techniques doivent elles être transférées, doivent elle être réaffectées. Leur métier doit il évoluer pour se concentrer vers d’autres secteurs. Ces questions se posent naturellement pour le ressources techniques chargées de l’exploitation mais également concernant les ressources non techniques (relations clients, suivi , pricing …). Au contraire de nouveaux métiers n’apparaissent-il pas du fait de ce changement ?

c/ Humainement : Ce point découle directement du précédent. Les compétences utiles à de tels déploiements sont, pour certaines, assez spécifiques et éloignées de celles utilisées auparavant. Il faut donc accompagner les collaborateurs de l’organisation vers ces nouveaux usages, les former, leur expliquer en quoi ces changements sont utiles à l’organisation ainsi qu’à eux, ce qu’ils peuvent en retirer (en terme de confort au quotidien, en terme de carrière)… L’évangélisation ne doit pas s’arrêter aux responsables des principaux départements, les personnes qui seront chargées de l’exploitation de ces nouveaux services doivent absolument être convaincues du bien fondé de ces changement et y prendre une part active.

d/ Financièrement : Les échanges financiers au sein de l’organisation sont eux aussi appelé à évoluer. Qu’achètent dorénavant les différents départements ? Un service et non du matériel amortissable. Cela peut changer grandement les problématiques comptables. De plus, à qui est fait cet achat, un prestataire exterieur, un département interne spécialisé ?

2. Déplacer le focus des directions informatiques

a/ Techniquement : L’avantage du Cloud Computing repose sur le fait de placer le fardeau des applications, du stockage réseau et de la puissance serveurs vers un autre réseau, une autre organisation. Les priorité de ces dernières doivent donc évoluer pour ne plus se concentrer sur les problématiques matérielles mais bien sur des questions plus applicatives, architecturales. Elles sont également susceptibles de conserver une activiété de provisionning pour autant que des problématiques de place de marché (avec prix basé sur offre et demande) aient été mise en place. L’infrastructure est alors largement désolidarisée des services a plus fortes valeurs ajoutée

b/ Organisationnellement : Certes, tout un pan de leur activité actuelle leur échappe, mais ces problématiques étant réglées par ailleurs, elles auront toute la latitude de se concentrer sur leur vrai métier : apporter à leur utilisateurs les fonctions qu’ils demandent (développement d’applications spécifique, services transverses…)  tout en garantissant que les développements et autres directions prises resteront en ligne avec les grandes directions choisie par le management (en terme business essentiellement).

c/ Humainement : Les collaborateurs des différentes directions informatiques se réorientent vers des tâches plus métier, et ont un role de charnière plus prononcés entre les études et les service

d/ Financièrement : cf1.

3. Déterminer les priorités

a/ Techniquement : La priorisation des traitements et des dialogues devient critique. En effet l’architecture étant multi-tenants il n’est pas question qu’un seul utilisateurs monopolise une partie des ressources du centre technique qui ne serait pas à la mesure de ce qu’il achète. Il faut donc être en mesure de suivre la consommation des manière très précise, par client, sur l’ensemble des infrastructures (puissance, stockage et réseau) et de prévoir des alertes et autres modes dégradés lorsque ces limites de consommations sont atteintes.

b/ Organisationnellement : L’ouverture du service est elle un impératif à très courte échéance ? Dans ce cas, il est peu probable que les compétences nécessaires se trouvent toutes en interne, il faudra surement passer par de la prestation. Dans un premier temps donc, les structures transverses serviront uniquement, ou principalement, de recette, contrôle le temps que les passages de compétences puissent se faire.  On peut mime penser que certaines organisation préfèreront s’en remettre totalement à un prestataire externe, afin de se décharger complètement des problématiques liées. Cependant la structure de contrôle devra rester afin de gérer la relation avec ce prestataire (controle de niveau de service, de facturation …)

c/ Humainement : Dans quelle mesure souhaite-ton faire évoluer les collaborateurs ? Les compétences doivent elles entrer dans le patrimoine de l’entreprise. Quelle échelle de temps est elle prévue pour faire le passage de compétence ? Bref, dans le cadre de l’internalisation d’un cloud, il faut clairement s’interesser au plan de formation. Dans le cas d’une prestation externe, il semble également judicieux de s’interroger sur la disponibilité chez le prestataires des ressources compétentes.

d/ Financièrement : Quels sont les services devant être toujours accessibles aux clients ? Y a t-il des clients plus prioritaires ? Il faut clairement prévoir des niveaux de services différents aux sein des SLA. Bien entendu ces services devront être sur des bases de facturations différentes.


4. Considérer la redondance des ressources

a/ Techniquement : Les systèmes utilisés doivent tous etre completement redondé. Il faut également penser a redonder les moyens d’accès au cloud (accès internet ou infrastructures internes) afin de garantir la continuité de service.

b/ Organisationnellement : Les services critiques doivent être identifiés, et dès lors géré de façon continue afin que les SLA soient également garanti sur l’organisation et pas uniquement sur les composant techniques. Des audits doivent être mis en place afin de juger la fiabilité des différents composants nécessaires (techniques ou non) au respect du SLA

c/ Humainement : Les compétences doivent etre gérés afin de s’assurer qu’aucun homme clé n’apparaisse, qui détiendrai seul une partie de connaissance critique du système.

d/ Financièrement :


5. Responsabilités et contrôle des fournisseurs de services

a/ Techniquement : Il faut s’assurer que les technologies utilisées dans le cloud et les moyens d’accès sont bien en phase avec les garanties exigées par le SLA.

b/ Organisationnellement : Il faut mettre en place une entité de suivi du SLA, indépendante de celle qui gère le cloud,  qui surveillera le respect du SLA.

c/ Humainement : Les membres des équipes engagées doivent etre impliqués dans la réussite du service de cloud et sensibilisés aux enjeux métiers qui en découlent. Une phase de “formation” (technique et métier) doit précéder leur prise de fonction.

d/ Financièrement : Le respect des SLA prend une importance primordiale dans la facturation du service. Ces derniers doivent donc indiquer de manière très précise les engagements de service demandé par service, en terme de disponibilité, performances, perte potentielle d’information, support.


Cassandra : le modèle de données

Préambule

Cet article reprend (et traduit) en grande partie la page concernant le data model sur lequel est basé Cassandra. J’y ai ajouté d’autres informations (toujours relative au data model) glanées deci-delà et ai tenté de les agréger de la façon la plus cohérente possible pour arriver à cerner ce système. Bien entendu, ce post expose également une réflexion personnelle, et ma perception de Cassandra. N’hésitez donc pas à commenter ou corriger.

Le modèle de donnée de Cassandra est plus ou moins dérivé de celui de BigTable de Google. Les développement de Cassandra ont commencés au sein de Facebook, puis ont été transmis à la communauté Open Source. Cette base de donnée non relationnelle est orientée vers le stockage de données de sites Web de grande ampleur (tels que les réseaux sociaux)

Introduction

Cassandra peut être pensé comme une structure a 4 ou 5 dimensions dont les noms sont les tables, les familles de colonnes, les clés, les super colonnes et les colonnes. Au croisement de ces dimensions on trouve le couple (valeur, timestamp).

Les SGBD classiques sont orientés lignes. Cela signifie que toutes les colonnes d’une ligne sont stockées à la suite les unes des autres, de manière regroupée. Une base de données orientée colonne, quant à elle, stocke les données en privilégiant le regroupement des données des colonnes entières. Une base de donnée orienté ligne stocke les données d’une manière favorisant principalement les lignes (c’est à dire que toutes les colonnes d’une même ligne sont stockées ensemble). Les stockage d’une base de données orientée colonne quant a lui favorisera les colonnes.



Les familles de colonnes permettent une approche hybride. Elles permettent de diviser les lignes (correspondant aux clés) en nombre statique de groupe (les familles de colonnes). Dans Cassandra, chaque famille de colonne dans une table est stockée dans un fichier séparé, et le fichier est trié par ligne (par clé). Cette clé est une chaîne de caractères de longueur quelconque identifiant uniquement chaque ligne.

Les colonnes ayant un lien entre elle et devant être accédées dans les mêmes occasions, doivent idéalement être incluses dans une même famille afin d’en optimiser l’accès.



Les structures de données

La table :

Il faut penser les tables comme des espaces de travail, des domaines. Il s’agit du plus haut niveau d’organisation de Cassandra. Généralement on leur donne le nom d’application. Quoique j’ai pu lire à droite et à gauche, il est possible de créer plusieurs table dans le cluster. Ces tables doivent être déclarées dans le fichier de configuration storage-conf.xml avant le démarrage du cluster.

La famille de colonne :

L’unité suivante d’organisation des données au sein de Cassandra est la Famille de colonne (Column Family). Une table est composée d’une ou plusieurs Familles de colonnes. Le nombre, le nom, le type (simple ou super) ainsi que les autres paramètres des Familles de colonnes sont fixés à l’avance, lors du démarrage du cluster. Il n’y pas de limitation quant au nombre de Familles de colonnes mais ce nombre doit rester relativement restreint.


Dans Cassandra les données dans une  table sont stockées dans un fichier séparé pour chaque colonne family. Au sein de cette famille, les données sont stockées en ligne (correspondant aux clés). Les colonnes ayant des liens entre elles, c’est-à-dire celle auxquelles on accède en même temps, doivent être regroupée au sein de column families. Par ailleurs il peut être intéressant de positionner les données fréquemment au sein d’une famille de colonne et les données les moins fréquemment accédée au sein d’une autre. Par exemple on peut nommer les colonne families : Posts, User ou UserAudit. On est assez proche dans ce cas de la notion de table, au sens SGBDR classique.

La clé

Il s’agit de l’identifiant unique de la ligne de donnée, de l’enregistrement. C’est son nom. On peut requêter sur des ranges de  clés.

Cassandra supporte une option de partitionnement avec un ajout de code minime. En standard, Cassandra fournit le hash-based RandomPartitioner et le  OrderPreservingPartitioner. Le premier permet une répartition de charge relativement efficace sans autre développement. Le second quant a lui permet d’exécuter des requêtes par range (range queries) sur les clés qui sont stockées. Les systèmes supportant uniquement des partitions hash-based ne permettent pas ce genre de requêtes de manière efficace.

Les colonnes :

Une famille de colonnes comportent des colonnes qui peuvent être de deux types : Simple ou Super. Dans ces deux cas, les colonnes au sein des familles peuvent être créées dynamiquement, et leur nombre n’est pas limité.

Les familles de colonnes simples : Les colonnes sont des structures qui sont identifiées par un nom, une valeur et un timestamp défini par l’utilisateur. Le nombre et le nom des colonnes peut être très important, et peut varier d’une clé (key)  à l’autre. Par exemple la clé k1 peut avoir 1024 colonnes/super-colonnes alors que la clé k2 n’en aura que 64.

Les colonnes peuvent être triées par leur nom, ou le timestamp..

Dans le cadre des colonnes simple il est possible d’utiliser des jokers (wildcards) “*” pour effectuer des recherches du type :

  • Table:CF:(key name, *)

Cela ramènera l’ensemble des tuples  (nom de colonne, valeur, timestamp) correspondant

Les familles de colonnes de type super sont des structures qui ont un nom et un nombre infini de colonnes associées. Le nombre de super columns associées à une Famille de Colonne peut être très important. Elles ont les mêmes caractéristiques que les colonnes. L’ordre de tri peut encore être explicitement donné dans un fichier de configuration, pour chacune des familles de colonnes. Les super colonnes peuvent être vues comme des Familles de colonnes au sein d’une famille de colonnes.

 

Famille Colonne CF1

Famille Colonne CF2

Famille Colonne CF3

CF1:C1 (simple)

CF1:C2 (super)

CF1:C3 (simple)

CF2:C1 (simple)

CF3:C1 (simple)

rowid

 

CF1:C2:C1

CF1:C2:C2

CF1:C2:C3

 

 

 

XXXXXXXXXXX1

[value, timestamp]

[value, timestamp]

[value, timestamp]

[value, timestamp]

[value, timestamp]

 

[value, timestamp]

XXXXXXXXXXX2

[value, timestamp]

[value, timestamp]

[value, timestamp]

[value, timestamp]

[value, timestamp]

[value, timestamp]

 

Notation : CFx : Famille de colonne, Cx : colonne, [,] liste, ( x,y ) tuple .

De meme concernant les super colonnes, on peut faire des recherches générique des types suivant :

  • Table:CF:(key name, super column name, *)
  • Table:CF:(key name, *, *)

“:” est un mot réservé et ne peut donc pas composer le nom d’une famille de colonne ou celui s’une supercolonne ou d’une colonne. (La version 0.4 devrait lever cette restriction)


Les points forts

Plusieurs raisons peuvent amener a préférer Cassandra pour alimenter une application web.

Flexibilité du schéma : Cassandra, comme un Document Store, permet de ne pas figer les strucutres qui seront utilisées. On peut en ajouter ou en retirer au fur et à mesure. Par ailleurs les champs peuvent varier d’un enregistrement à l’autre. Attention il faut néanmoins, au moment du démarrage du cluster fixer les nom des tables et des Familles de colonnes qui seront utilisées.  C’est au niveau des colonnes que cette souplesse arrive.

Scalabilité réelle : Cassandra permet de scaler réellement facilement. On peut ajouter une machine à la volée sans avoir a redémarrer aucun process, ni changer les requêtes ou avoir a redispatcher les données.

Connaissance de l’infrastructure : Il est possible de configurer le cluster pour que les données soient réparties dans des racks différents ou des datacenters différents, ce qui permet de gérer de manière fine les problématiques de répartition de charge sur différents sites ou de PRA

Range queries: Certes par rapport aux bases de données relationnelles classiques, ce n’est absolument pas un avantage, tant cette fonctionnalité est standard. Cependant face aux distributed key value store il es réellement intéressant d’utiliser Cassandra, dont le modèle d’implémentation permet de faire des range queries.

Distributed writes: Les écritures n’échouent jamais, il n’y a jamais de single point of failure.

Limitations

La principale limitation concernant les tailles des colonnes et des super-colonnes est que toutes les données pour une valeur de clé, doivent tenir sur le disque d’une seule machine. Parce que la valeur des clés seules détermine les noeuds responsable de la réplication des données, la quantité de données associées à une clé a cette limitation. Cette limitation est inhérente au modèle de distribution.

A ce jour Cassandra a également une autre limitation : au pire des cas, les données pour une valeur de la pair (clé, famille de colonne) seront entièrement dé sérialisées en mémoire  lors d’une requête de lecture  (mais jamais pour une  écriture). Cet inconvénient sera levé dans une version future.

Example:

Dans ce paragraphe nous ne verrons que l’exemple proposé sur le wiki de Cassandra. Néanmoins, je reviendrai sur un exemple plus détaillé dans un autre post.

On peut penser au nom de chaque super colonne comme un mot clé, et les colonnes associées comme contentant des docids, avec des informations de classement (rankinfo) et d’autre attributs. Si les clés représentent les userids, on obtient un index par utilisateur.
C’est ainsi qu’est fait l’index par utilisateur dans la recherche au sein de la BAL (inbox) sur facebook. De plus, puisqu’on a la possibilité de stocker les données sur le disque par timestamp, il est très simple pour ce type de système de répondre à des requêtes du type “donne moi les 10 messages les plus récents”.

Conclusion


Références :

http://wiki.apache.org/cassandra/DataModel
http://code.google.com/p/the-cassandra-project/wiki/DataModel

http://wiki.apache.org/cassandra/ClientExamples
http://blog.evanweaver.com/articles/2009/07/06/up-and-running-with-cassandra/

Pour obtenir des explications sous forme graphique, merci de vous reporter aux slides PowerPoint de présentation présentés lors du SIGMOD 2008.