New Energy Finance, fondée en 2004, offre des abonnements à des news, analyses et recherches à des clients bancaire, et investisseurs impliqués sur les marchés des énergies renouvelables et les marchés carbone. Cette société est composée de 130 personnes réparties dans le monde entier.

Selon Peter Grauer, chairman, Bloomberg,  “Les problématiques des energies propres et fossiles, impactent tous les segments de notre économie, et cet impact est de plus en plus marqué aux yeux de nos clients. Bloomberg souhaite etre le leader dans l’informationn les analyses et les architectures de trading afin de supporter les solutions à faible emission de carbone.”

Guy Turner, directeur du département “carbon market research”, New Energy Finance, ajoute  : ” Les marchés carbone globaux existeront encore un moment. Cette année le volume des échanges représentera environ 120 milliards de dollars, et nous nous attendons à ce qu’il augmente environ à 2000 milliards d’ici 2020. Les modèles du marché carbone développés par New Energy Finance sont les plus respectés du marché et travailler avec Bloomberg nous permettra de les distribuer là ou ils seront utiles, dans les mains des traders et autres acteurs des marchés.”

On savait déjà que les principaux acteurs de l’économie numérique portaient une attention toute particulière aux questions énergétiques et environnementales lors des constructions de datacenters, et la mise en place de leurs infrastructures,il apparait maintenant que les principaux organes d’informations se préparent également à un nouvel ordre dans lequel l’indépendance énergétique sera plus fondamental que jamais.

Il reste bien entendu des détails a régler, comme retrouver la présentation et mettre a jour la version de WP mais quoi qu’il en soit le blog est en ligne après des semaines de recherches plus ou moins fructueuses pour passer sous forme de machines virtuelles.

Voici un rapide résumé de l’aventure. Le but étant d’améliorer la disponibilité de certains de mes sites ainsi que de réduire mes couts d’hébergement (en regroupant les sites sur des infrastructures communes), j’ai souhaité basculer sur une infrastructure dédiée, et utiliser la virtualisation.

L’hébergeur : OVH sur des serveurs kimsufi dédiés.
La solution de virtualisation : proxmox + OpenVZ.

Pour mettre en place cette solution, un après-midi a suffi tant tout est simple. Merci néanmoins au fantastique tutoriel mis enligne sur fridu.org qui m’a largement aidé. Ensuite tout est allé de travers lors de la mise en place des serveurs apache sur certaines VM….tout simplement parce que je n’avais pas déclaré mes vhost correctement. Tout pointait vers le serveur par défaut !

Des centaines de lectures de pages de sites webs et forums plus tard, j’ai enfin réussi (il y a à peine 30 minutes) a déclarer mes vhost correctement, ce qui devrait me permettre très rapidement de regrouper mes sites et différents services en ligne. Restera ensuite à explorer les différentes options de migrations d’images virtuelles et de failover OVH.

Voila, vous savez tout…en tout cas c’est un plaisir de vous retrouver.

A quoi faut-il réfléchir dans le cadre de l’adoption de technologies cloud au sein d’une entreprise ?  En effet, quelle que soit la définition du cloud qu’on puisse prendre, un point commun emerge : le partage des ressources (multi-tenancy). Ces technologies n’ont de sens que dans la démesure. Pour atteindre cette masse critique il faut mutualiser.

Aussi, que le cloud soit interne ou externe à l’organisation, il devra être partagé, et donc géré par un (ensemble) service(s) dédié(s) et transverse(s) à qui reviendra la tâche de gérer les ressources informatiques (stockage, nombre de serveur, monitoring …) Cette gestion, qui était auparavant potentiellement répartie dans les différents service IT de l’organisation sera donc déléguée à un prestataire, une fois encore, interne ou externe… on ne fait que réinventer le services centraux si chers au mainframers.

Il est évident, dès lors, que les grands équilibres vont évoluer au sein des différents services (IT et probablement autres) de l’organisation. Il apparaît certain que les entreprises qui feront le choix d’aller vers le cloud, devront apporter le plus grand soin dans l’élaboration des définitions de services, le choix des technologies et des procédures, la mise en place des équipes et l’intégration des nouveaux processus dans les anciens. Elles devront par ailleurs, et surtout, être très vigilantes dans l’accompagnement qu’elles offriront à leur collaborateurs vers ces nouvelles façons de penser, sous peine de voir les corporatisme, reflexe de refus du changement et autres luttes de pouvoir (hélas inhérentes à toutes les organisations, quasiment quelle qu’en soit leur taille) réduire en miette leurs efforts.

1. Conduire un Audit de pré-déploiement et de préparation

Déterminer les cas d’usage des technologies de cloud computing, les domaines d’utilisation et les conséquences que le remplacement des anciennes technologies et procédures va avoir dans l’organisation. Comment la mise en place d’un service de stockage à la sauce cloud peut elle impacter vos services ?

a/ Techniquement : Déterminer grâce aux demandes utilisateurs (par utilisateur, par département puis au niveau de l’organisation dans son ensemble) les besoins de ressources techniques induite par le changement. Cette étape de dimensionnement doit concerner les serveurs, le stockage, les infrastructure réseau, les nouvelles couches logiciels… On doit prendre en compte des problématique de priorité de service, de sécurité mais aussi d’interdépendance des SI. En effet, lorsqu’il s’agit de relier différents SI (de plusieurs services) on s’assurera que la politique de l’organisation permet ce type de lien, et dans quelles conditions (cloisonnement, asynchronisme des services…). Comment souhaite-ton relier ce cloud aux anciens service de l’entreprises ? quelles API ? Souhaite-t-on pouvoir accéder a différents cloud (interne et externe) et si oui comment s’assurer de la compatibilité (premier pas vers la réversibilité)

b/ Organisationnellement : Si certaines responsabilité doivent être transférées comment l’annoncer, et gérer les problématiques politiques cela induit. Les personne anciennement en charge des activités techniques doivent elles être transférées, doivent elle être réaffectées. Leur métier doit il évoluer pour se concentrer vers d’autres secteurs. Ces questions se posent naturellement pour le ressources techniques chargées de l’exploitation mais également concernant les ressources non techniques (relations clients, suivi , pricing …). Au contraire de nouveaux métiers n’apparaissent-il pas du fait de ce changement ?

c/ Humainement : Ce point découle directement du précédent. Les compétences utiles à de tels déploiements sont, pour certaines, assez spécifiques et éloignées de celles utilisées auparavant. Il faut donc accompagner les collaborateurs de l’organisation vers ces nouveaux usages, les former, leur expliquer en quoi ces changements sont utiles à l’organisation ainsi qu’à eux, ce qu’ils peuvent en retirer (en terme de confort au quotidien, en terme de carrière)… L’évangélisation ne doit pas s’arrêter aux responsables des principaux départements, les personnes qui seront chargées de l’exploitation de ces nouveaux services doivent absolument être convaincues du bien fondé de ces changement et y prendre une part active.

d/ Financièrement : Les échanges financiers au sein de l’organisation sont eux aussi appelé à évoluer. Qu’achètent dorénavant les différents départements ? Un service et non du matériel amortissable. Cela peut changer grandement les problématiques comptables. De plus, à qui est fait cet achat, un prestataire exterieur, un département interne spécialisé ?

2. Déplacer le focus des directions informatiques

a/ Techniquement : L’avantage du Cloud Computing repose sur le fait de placer le fardeau des applications, du stockage réseau et de la puissance serveurs vers un autre réseau, une autre organisation. Les priorité de ces dernières doivent donc évoluer pour ne plus se concentrer sur les problématiques matérielles mais bien sur des questions plus applicatives, architecturales. Elles sont également susceptibles de conserver une activiété de provisionning pour autant que des problématiques de place de marché (avec prix basé sur offre et demande) aient été mise en place. L’infrastructure est alors largement désolidarisée des services a plus fortes valeurs ajoutée

b/ Organisationnellement : Certes, tout un pan de leur activité actuelle leur échappe, mais ces problématiques étant réglées par ailleurs, elles auront toute la latitude de se concentrer sur leur vrai métier : apporter à leur utilisateurs les fonctions qu’ils demandent (développement d’applications spécifique, services transverses…)  tout en garantissant que les développements et autres directions prises resteront en ligne avec les grandes directions choisie par le management (en terme business essentiellement).

c/ Humainement : Les collaborateurs des différentes directions informatiques se réorientent vers des tâches plus métier, et ont un role de charnière plus prononcés entre les études et les service

d/ Financièrement : cf1.

3. Déterminer les priorités

a/ Techniquement : La priorisation des traitements et des dialogues devient critique. En effet l’architecture étant multi-tenants il n’est pas question qu’un seul utilisateurs monopolise une partie des ressources du centre technique qui ne serait pas à la mesure de ce qu’il achète. Il faut donc être en mesure de suivre la consommation des manière très précise, par client, sur l’ensemble des infrastructures (puissance, stockage et réseau) et de prévoir des alertes et autres modes dégradés lorsque ces limites de consommations sont atteintes.

b/ Organisationnellement : L’ouverture du service est elle un impératif à très courte échéance ? Dans ce cas, il est peu probable que les compétences nécessaires se trouvent toutes en interne, il faudra surement passer par de la prestation. Dans un premier temps donc, les structures transverses serviront uniquement, ou principalement, de recette, contrôle le temps que les passages de compétences puissent se faire.  On peut mime penser que certaines organisation préfèreront s’en remettre totalement à un prestataire externe, afin de se décharger complètement des problématiques liées. Cependant la structure de contrôle devra rester afin de gérer la relation avec ce prestataire (controle de niveau de service, de facturation …)

c/ Humainement : Dans quelle mesure souhaite-ton faire évoluer les collaborateurs ? Les compétences doivent elles entrer dans le patrimoine de l’entreprise. Quelle échelle de temps est elle prévue pour faire le passage de compétence ? Bref, dans le cadre de l’internalisation d’un cloud, il faut clairement s’interesser au plan de formation. Dans le cas d’une prestation externe, il semble également judicieux de s’interroger sur la disponibilité chez le prestataires des ressources compétentes.

d/ Financièrement : Quels sont les services devant être toujours accessibles aux clients ? Y a t-il des clients plus prioritaires ? Il faut clairement prévoir des niveaux de services différents aux sein des SLA. Bien entendu ces services devront être sur des bases de facturations différentes.

4. Considérer la redondance des ressources

a/ Techniquement : Les systèmes utilisés doivent tous etre completement redondé. Il faut également penser a redonder les moyens d’accès au cloud (accès internet ou infrastructures internes) afin de garantir la continuité de service.

b/ Organisationnellement : Les services critiques doivent être identifiés, et dès lors géré de façon continue afin que les SLA soient également garanti sur l’organisation et pas uniquement sur les composant techniques. Des audits doivent être mis en place afin de juger la fiabilité des différents composants nécessaires (techniques ou non) au respect du SLA

c/ Humainement : Les compétences doivent etre gérés afin de s’assurer qu’aucun homme clé n’apparaisse, qui détiendrai seul une partie de connaissance critique du système.

d/ Financièrement :

5. Responsabilités et contrôle des fournisseurs de services

a/ Techniquement : Il faut s’assurer que les technologies utilisées dans le cloud et les moyens d’accès sont bien en phase avec les garanties exigées par le SLA.

b/ Organisationnellement : Il faut mettre en place une entité de suivi du SLA, indépendante de celle qui gère le cloud,  qui surveillera le respect du SLA.

c/ Humainement : Les membres des équipes engagées doivent etre impliqués dans la réussite du service de cloud et sensibilisés aux enjeux métiers qui en découlent. Une phase de “formation” (technique et métier) doit précéder leur prise de fonction.

d/ Financièrement : Le respect des SLA prend une importance primordiale dans la facturation du service. Ces derniers doivent donc indiquer de manière très précise les engagements de service demandé par service, en terme de disponibilité, performances, perte potentielle d’information, support.

Cet article reprend (et traduit) en grande partie la page concernant le data model sur lequel est basé Cassandra. J’y ai ajouté d’autres informations (toujours relative au data model) glanées deci-delà et ai tenté de les agréger de la façon la plus cohérente possible pour arriver à cerner ce système. Bien entendu, ce post expose également une réflexion personnelle, et ma perception de Cassandra. N’hésitez donc pas à commenter ou corriger.

Le modèle de donnée de Cassandra est plus ou moins dérivé de celui de BigTable de Google. Les développement de Cassandra ont commencés au sein de Facebook, puis ont été transmis à la communauté Open Source. Cette base de donnée non relationnelle est orientée vers le stockage de données de sites Web de grande ampleur (tels que les réseaux sociaux)

Introduction

Cassandra peut être pensé comme une structure a 4 ou 5 dimensions dont les noms sont les tables, les familles de colonnes, les clés, les super colonnes et les colonnes. Au croisement de ces dimensions on trouve le couple (valeur, timestamp).

Les SGBD classiques sont orientés lignes. Cela signifie que toutes les colonnes d’une ligne sont stockées à la suite les unes des autres, de manière regroupée. Une base de données orientée colonne, quant à elle, stocke les données en privilégiant le regroupement des données des colonnes entières. Une base de donnée orienté ligne stocke les données d’une manière favorisant principalement les lignes (c’est à dire que toutes les colonnes d’une même ligne sont stockées ensemble). Les stockage d’une base de données orientée colonne quant a lui favorisera les colonnes.

Les familles de colonnes permettent une approche hybride. Elles permettent de diviser les lignes (correspondant aux clés) en nombre statique de groupe (les familles de colonnes). Dans Cassandra, chaque famille de colonne dans une table est stockée dans un fichier séparé, et le fichier est trié par ligne (par clé). Cette clé est une chaîne de caractères de longueur quelconque identifiant uniquement chaque ligne.

Les colonnes ayant un lien entre elle et devant être accédées dans les mêmes occasions, doivent idéalement être incluses dans une même famille afin d’en optimiser l’accès.

Les structures de données

La table :

Il faut penser les tables comme des espaces de travail, des domaines. Il s’agit du plus haut niveau d’organisation de Cassandra. Généralement on leur donne le nom d’application. Quoique j’ai pu lire à droite et à gauche, il est possible de créer plusieurs table dans le cluster. Ces tables doivent être déclarées dans le fichier de configuration storage-conf.xml avant le démarrage du cluster.

La famille de colonne :

L’unité suivante d’organisation des données au sein de Cassandra est la Famille de colonne (Column Family). Une table est composée d’une ou plusieurs Familles de colonnes. Le nombre, le nom, le type (simple ou super) ainsi que les autres paramètres des Familles de colonnes sont fixés à l’avance, lors du démarrage du cluster. Il n’y pas de limitation quant au nombre de Familles de colonnes mais ce nombre doit rester relativement restreint.

Dans Cassandra les données dans une  table sont stockées dans un fichier séparé pour chaque colonne family. Au sein de cette famille, les données sont stockées en ligne (correspondant aux clés). Les colonnes ayant des liens entre elles, c’est-à-dire celle auxquelles on accède en même temps, doivent être regroupée au sein de column families. Par ailleurs il peut être intéressant de positionner les données fréquemment au sein d’une famille de colonne et les données les moins fréquemment accédée au sein d’une autre. Par exemple on peut nommer les colonne families : Posts, User ou UserAudit. On est assez proche dans ce cas de la notion de table, au sens SGBDR classique.

La clé

Il s’agit de l’identifiant unique de la ligne de donnée, de l’enregistrement. C’est son nom. On peut requêter sur des ranges de  clés.

Cassandra supporte une option de partitionnement avec un ajout de code minime. En standard, Cassandra fournit le hash-based RandomPartitioner et le  OrderPreservingPartitioner. Le premier permet une répartition de charge relativement efficace sans autre développement. Le second quant a lui permet d’exécuter des requêtes par range (range queries) sur les clés qui sont stockées. Les systèmes supportant uniquement des partitions hash-based ne permettent pas ce genre de requêtes de manière efficace.

Les colonnes :

Une famille de colonnes comportent des colonnes qui peuvent être de deux types : Simple ou Super. Dans ces deux cas, les colonnes au sein des familles peuvent être créées dynamiquement, et leur nombre n’est pas limité.

Les familles de colonnes simples : Les colonnes sont des structures qui sont identifiées par un nom, une valeur et un timestamp défini par l’utilisateur. Le nombre et le nom des colonnes peut être très important, et peut varier d’une clé (key)  à l’autre. Par exemple la clé k1 peut avoir 1024 colonnes/super-colonnes alors que la clé k2 n’en aura que 64.

Les colonnes peuvent être triées par leur nom, ou le timestamp..

Dans le cadre des colonnes simple il est possible d’utiliser des jokers (wildcards) “*” pour effectuer des recherches du type :

• Table:CF:(key name, *)

Cela ramènera l’ensemble des tuples  (nom de colonne, valeur, timestamp) correspondant

Les familles de colonnes de type super sont des structures qui ont un nom et un nombre infini de colonnes associées. Le nombre de super columns associées à une Famille de Colonne peut être très important. Elles ont les mêmes caractéristiques que les colonnes. L’ordre de tri peut encore être explicitement donné dans un fichier de configuration, pour chacune des familles de colonnes. Les super colonnes peuvent être vues comme des Familles de colonnes au sein d’une famille de colonnes.

Notation : CFx : Famille de colonne, Cx : colonne, [,] liste, ( x,y ) tuple .

De meme concernant les super colonnes, on peut faire des recherches générique des types suivant :

• Table:CF:(key name, super column name, *)
• Table:CF:(key name, *, *)

“:” est un mot réservé et ne peut donc pas composer le nom d’une famille de colonne ou celui s’une supercolonne ou d’une colonne. (La version 0.4 devrait lever cette restriction)

Les points forts

Plusieurs raisons peuvent amener a préférer Cassandra pour alimenter une application web.

Flexibilité du schéma : Cassandra, comme un Document Store, permet de ne pas figer les strucutres qui seront utilisées. On peut en ajouter ou en retirer au fur et à mesure. Par ailleurs les champs peuvent varier d’un enregistrement à l’autre. Attention il faut néanmoins, au moment du démarrage du cluster fixer les nom des tables et des Familles de colonnes qui seront utilisées.  C’est au niveau des colonnes que cette souplesse arrive.

Scalabilité réelle : Cassandra permet de scaler réellement facilement. On peut ajouter une machine à la volée sans avoir a redémarrer aucun process, ni changer les requêtes ou avoir a redispatcher les données.

Connaissance de l’infrastructure : Il est possible de configurer le cluster pour que les données soient réparties dans des racks différents ou des datacenters différents, ce qui permet de gérer de manière fine les problématiques de répartition de charge sur différents sites ou de PRA

Range queries: Certes par rapport aux bases de données relationnelles classiques, ce n’est absolument pas un avantage, tant cette fonctionnalité est standard. Cependant face aux distributed key value store il es réellement intéressant d’utiliser Cassandra, dont le modèle d’implémentation permet de faire des range queries.

Distributed writes: Les écritures n’échouent jamais, il n’y a jamais de single point of failure.

Limitations

La principale limitation concernant les tailles des colonnes et des super-colonnes est que toutes les données pour une valeur de clé, doivent tenir sur le disque d’une seule machine. Parce que la valeur des clés seules détermine les noeuds responsable de la réplication des données, la quantité de données associées à une clé a cette limitation. Cette limitation est inhérente au modèle de distribution.

A ce jour Cassandra a également une autre limitation : au pire des cas, les données pour une valeur de la pair (clé, famille de colonne) seront entièrement dé sérialisées en mémoire  lors d’une requête de lecture  (mais jamais pour une  écriture). Cet inconvénient sera levé dans une version future.

Example:

Dans ce paragraphe nous ne verrons que l’exemple proposé sur le wiki de Cassandra. Néanmoins, je reviendrai sur un exemple plus détaillé dans un autre post.

On peut penser au nom de chaque super colonne comme un mot clé, et les colonnes associées comme contentant des docids, avec des informations de classement (rankinfo) et d’autre attributs. Si les clés représentent les userids, on obtient un index par utilisateur.
C’est ainsi qu’est fait l’index par utilisateur dans la recherche au sein de la BAL (inbox) sur facebook. De plus, puisqu’on a la possibilité de stocker les données sur le disque par timestamp, il est très simple pour ce type de système de répondre à des requêtes du type “donne moi les 10 messages les plus récents”.

Conclusion

Références :

http://wiki.apache.org/cassandra/DataModel
http://code.google.com/p/the-cassandra-project/wiki/DataModel
http://wiki.apache.org/cassandra/ClientExamples
http://blog.evanweaver.com/articles/2009/07/06/up-and-running-with-cassandra/
Pour obtenir des explications sous forme graphique, merci de vous reporter aux slides PowerPoint de présentation présentés lors du SIGMOD 2008.

C’est encore une fois fourni sans garantie, mais étant donné que cela me rend bien service, ca peut dépanner quelqu’un d’autre.
Pour le téléchargement c’est ici.

Les articles concernant le cloud computing que je lis, sont de plus en plus orienté vers la technique. Il s’agit souvent de querelles de clocher pour savoir si telle ou telle solution commerciale ou technique est avantageuse par rapport à ses concurrentes. Mais du point de vue de l’utilisateur, a quoi peut donc servir le cloud computing ? Et lorsque je parle d’utilisateurs, je pense à l’utilisateur final, celui qui consomme réellement des services. Monsieur Lambda, non informaticien qui fait ses courses, retire de l’argent, appelle ses amis pour organiser une soirée… Voici donc mes premières réflexions dans ce sens.

Si on en revient aux définitions les plus communément admises, le cloud computing permettrait d’arriver à ces notions :

1. Illusion  de ressources infinies, d’ou, pour l’utilisateur du cloud, l’élimination du provisionning
2. Élimination des droits d’entrées, autorisant des démarrages réduits puis un accroissement des ressources selon les besoins
3. Paiement à l’usage a court terme et élasticité

Bien, mais ces notions sont encore très proche de l’ITT…essayons donc de nous éloigner un peu : Quels services ces 3 avantages du cloud pourraient elles nous amener:

• Des guichets matériels et logiciels permettant de disposer immédiatement (ou réellement très rapidement) de puissance de calcul et de logiciel dans des domaines relativement variés
• Remplacer tous les outils de bureautique actuellement disponibles : que ce soit le partage de fichier, le stockage de document, la gestion des agendas… bref nous amener a un poste de travail 100% virtualisé. Ce poste de travail étant bien entendu toujours a jours en terme de version, patch de sécurité…
• Permettre une meilleures collecte/interprétation  des diverses données que nous manipulons, et en faciliter l’accès. Tout savoir de partout !
• Permettre une disponibilité des services 24×7
• Faciliter l’apparition de nouveaux services, en rendant les cycles de développement, recette plus rapides
• Accroître l’agilité des départements informatiques et améliorer le taux d’utilisation des machines
• Permettre une réduction des latences, de la consommation de bande passante.

Mais là encore, avons nous pris assez de hauteur. C’est loin d’être sûr ! En effet si ces concepts parlent sûrement à des maîtrise d’œuvre informatique je ne suis pas sur qu’elle éveille beaucoup d’intérêt chez M. Lambda. Nous en sommes toujours aux avantages que le cloud peut avoir aux yeux des fournisseurs de services…. reculons encore.

Pour tenter de voir comment le cloud pourrait me rendre la vie plus simple, j’ai tenté de trouver les principales choses que je souhaiterais, en tant qu’utilisateur

Services en lien avec la vraie vie
1.  Faire mes courses, de chez moi (sans interruption due a des maintenances) voire lorsque je me déplace ne pas faire la queue à la caisse des supermarchés.
2.  Pouvoir suivre mes compte en banque et placements potentiels, consommation  (électrique, téléphonique, eau) de n’importe ou et n’importe quand.
3.  Disposer des informations qui me sont utiles au bon moment, au bon endroit (resto proches, mes RV, …).
4.  Pouvoir envoyer lettres numériques et suivre leur expédition (ainsi que celles de colis que je reçois)  facilement de n’importe ou.
5.  Trouver, visiter, réserver mes vacances rapidement en se basant également sur des avis d’experts et des recommandations.
6.  Pouvoir prévenir un service de baby-sitter que je vais être en retard et qu’il faut aller chercher mes enfants.
7.  Surveiller ma maison pendant son absence.
8.  Vérifier que les enfants sont bien rentrés et que leur devoir sont faits, lancer la décongélation, cuisson du repas avant de rentrer à la maison.

Homo Connectus
9. Rester joignable par mail, SMS ou téléphone tout le temps (euh….en fait, à ma guise).
10. Travailler de n’importe ou sans problématique d’accès à mon environnement

Service à valeurs légale, sécurisés
11.  Trouver l’état de mes inscriptions un organisme, un concours… Faire mes démarches administratives de manière centralisée (a temps et sans  peine) et payer mes quittances et factures
12.  Stocker mes documents de façon sure (avec éventuellement une valeur légale), possibilité de stocker mes médias (musique et vidéo) numérique de façon sure et de l’écouter par n’importe quel biais de façon récurrente.

Interopérabilité et Réversibilité
13.  Pouvoir interagir entre mes différents comptes (facebook, mail, supermarché en ligne…) à ma guise.
14.  Pouvoir transférer en quelques clic mes données d’un fournisseurs de service à l’autre ; puis les supprimer sur le premier.

Qu’en ressort il ? Que le consommateur, en l’occurrence moi, souhaite accéder de façon pervasive (omniprésente)  (9 et 10) à une large gamme de services (1 à 8 ) de façon plus intégrée (13) et en complète adéquation avec les évolutions de la société (1 à 8, 11 et 12).  Cela implique les services doivent être mis avec un bien meilleur time to market, et donc une réduction du temps dédié aux étapes de prototypage, développement etc … Bien entendu la qualité de service doit être au rendez vous sous peine de faire partir les usagers du service. La volonté d’interopérabilité (13) et de réversibilité (14) nous mène rapidement à l’ouverture et la standardisation des composants utilisés. On voit de même que certains services de personnalisation (3)  nécessitent des capacités de traitements importantes pour savoir analyser (data mining) les déplacements et comportements afin de me fournir les informations les plus adaptées.  Les problématiques de stockage et d’archivage nous amènent quant à elles assez rapidement à la sécurisation des données, ainsi qu’à leur accessibilité.

On constate, sans grande surprise, que les qualités du cloud vont dans le sens des attentes des utilisateurs. Il paraît donc sage pour un fournisseur de service de regarder dans cette direction faute de voir ses concurrents plus innovant  prendre un sérieux avantage.

Avant de partir j’ai écouté Eric présenter le travail et l’engagement de Sun dans le domain du cloud computing (cf son blogs, en ce qui me concerne je reviendrai surement dessus plus tard) puis l’intervention de Sam Johnston dont je lis régulièrement le blog et qui a présenté rapidement le cloud au travers de ses grandes caractéristiques (opex et non capex, commodity,virtualisation, admin automatique) et qui a présenté rapidement la carte mentale faite par Peter Laird concernant les principaux vendeur de services clouds.

J’ai ensuite participé au workshop sur l’architecture du cloud qui s’est révélé très intéressant tant par l’animation qui a été faite par Constantin Gonzalez Schmitz (sun) et Sébastien Pahl que par les contributions des participants. Les points suivants ont été évoqués :

Cloud Comuting Architecture workshop
but réutilisabilité du code entre les clouds et réversibilité
attention il faut vraiment séparer les chiottes différentes LB / Apache /DB  … ça facilite le réversibilité
séparer également les service.

1/ Structured data SQL : les bases de données relationnelles ne sont pas toujours indispensable ni même adaptées au stockage de données structurées, il faut impérativement penser à utiliser Key/value stores ou les bases de données un peu plus évoluées telles que couchdb !! Par ailleurs, il a été évoqué dans ce cadre que MySQL (ainsi que bon nombre d’autre SGBDR classiques) pouvait devenir votre “pire ennemi”  (dixit)  dans le cadre de scabilité (attention a la réplication , aux incréments…)
2/ Introduire de l’asynchrone : tout n’est pas nécessairement synchrone, et l’utilisation de Message Queueing est sans aucun doute l’un des premiers pas à faire vers la scalabilité des applications

3/ Les applications doivent être pensée pour etre scalables sans que  le développeurs ne doive se poser d’autre problèmes que les problèmes métiers. Les couches de scalabilité doivent introduire assez d’abstraction pour que cela soit pris en charge de manière transaprente. Quoi qu’il en soit le développeur doit penser REST.

Le seul fichier impacté à l’intérieur du xpi (qui n’est rien dautre qu’un zip renommé) est install.rdf (em:maxVersion=”3.5.* au lieu de em:maxVersion=”3.0.*). Pour vérifier, téléchargez l’extension initiale, renommez le .xpi et .zip et regardez les fichiers.

Je mets à disposition telle quelle cette extension modifiée, si elle vous interesse n’hésitez pas (aucune garantie bien entendu).

On y voit que les recherches sont corrélées avec la décroissance de celle concernant le grid computing et qu’elles suivent l’augmentation des requêtes concernant la virtualisation.

Bien entendu les intervenants historiques de l’informatique  (Oracle, HP…)  minimisent le côté novateur du Cloud (voire en discute carrément l’existence)  en prétendant ne pas voir de nouveauté dans ces concepts. “Un buzz marketing” sur d’anciennes technologies déjà en oeuvre pour les uns, de multiples définitions sans cohérence pour les autres. Rien d’étonnant me direz-vous, surtout lorsqu’on voit les constructeurs à la peine pour suivre cette nouvelle tendance. En effet, ces derniers tentent toujours de vendre des baies de stockage, des serveurs surpuissant ou des logiciels. dont les  coûts de licences sont calculés par core , a des prix élevés. Parallèlement  de nouveaux entrants se basent sur des paradigmes assez différents des éditeurs et constructeurs actuels, profitant des matériels bon marchés et des logiciels open sources gratuits.

La fin des modèles traditionnels : Pourquoi ?

Cette opposition tant technologique que culturelle semble marquer la fin des modèles traditionnels (ou tout au moins une évolution très notable) qui régissent l’informatique depuis l’avènement des plateforme open (*NIX, windows) alors que les plateformes mainframes régnaient sans partage sur l’informatique. Pour illustrer ce propos, prenons l’exemple du stockage de données, l’un des domaines de prédilection du cloud.

Rappelons l’image courante dans ce domaine : “Chaque année, sont produites autant de données que le cumul des données produites jusqu’à l’année précédente“.  Plus actuellement, en 2008 l’IDC affirme qu’en 2009 40 exabytes de données seront produites. On constate que ces données sont de plus en plus non structurées. Dématérialisation et explosions du multimédia poussent au stockage de vidéo, audio et autre PDF.  Par ailleurs, les exigences des départements commerciaux renforcent également les notions de tracking et de profiling des utilisateurs, afin d’améliorer les performances des différents produits commerciaux. Comment dans ces conditions recueillir, stocker et gérer ces données.

En amont de ce problème de gestion se pose celui des taux transactionnels dans les environnements sécurisés. En effet, dans un contexte mutlicanal, comment garantir le maintien de ces taux transactionnels dans des environnements devant prendre en compte des exigences de hautes disponibilités, de Plan de reprise d’activité… Les réplications standards sont de plus en plus compliquées à mettre en œuvre, exploiter et à garder synchrone (ou tout simplement a en garantir un déphasage minimum). Les problématiques de temps de latences sont par ailleurs elles aussi de plus en plus dures à contenir.

Une fois les données recueillies il faut le gérer. Les gérer oui, parce que les stocker n’est pas suffisant. Vos données doivent être exploitées, retraitées, archivées pour leur donner du sens. Le problème est que ces workflows doivent être de plus en plus rapides (tous les 60 jours sont produits 7 exabytes), alors même que les temps de traitement nécessaires à ces volumétries explosent.

Enfin, parallèlement aux temps de traitement, les coûts de gestion et de stockage de ces données deviennent peu à peu des freins ; certains projet n’étant tout simplement plus rentables du fait des contraintes exposées ci-dessus.

Toutes ces évolutions forcent les entreprises à trouver des solutions quitte à s’éloigner des chemins traditionnels

La fin des modèles traditionnels : Comment ?

Si les offres des constructeurs ne semblent que peu évoluer sur le marché (de grosses baies, avec beaucoup de cache…) de nouveaux entrants sur le marché du stockage font leur apparition, Amazon à leur tête. Amazon vous propose tout simplement de ne pas conserver vos données ou vos traitements dans votre propre SI mais de les lui confier (avec les clauses de confidentialités adaptées) et d’en disposer, dès lors,  via internet.  Le tout a des prix ultra compétitifs !

Cette offre ne fait que repousser la question : comment ces prix peuvent ils être atteints ? C’est qu’Amazon se base sur des technologies fort différentes, tout comme un Google, un Yahoo! ou un Facebook. Le paradigme de départ est totalement différent. On ne parle plus ici de concentrer les données dans des baie hyper protégées et de faire appel à des serveur très haut de gamme pour exécuter les traitements mais bien de répartir données et traitements sur un trés grand nombre de machines d’entrée de gamme (commodity hardware). Cela assure tant la haute disponibilité et que de très bon temps de réponse, le tout à des couts largement en baisse (serveurs très standards, disques SATA, et surtout, économies d’échelles, les commandes auprès des constructeurs étant titanesques), et une scalabilité remarquable. Parce qu’en fin de compte c’est de cela qu’il s’agit : répondre de manière aussi linéaire que possible a la charge, quel que soit le volume de données le tout pour un coût aussi réduit que possible.

En regardant dans le passé de ces géants internet, on se rend compte que tous ont commencé par des offres standard de type LAMP, mais que, la charge augmentant ils ont du développer leurs propres outils pour faire face (en se basant sur des projets, et donc des technologies et protocoles, open source et gratuits). Certains  n’ont publié que des white paper sur leur manière de gérer cette charge (c’est le cas de Google : Big Table et GFS) alors que d’autres ont carrément créé ou contribué très fortement à des initiatives open source et grauite (Facebook : Thrift , Yahoo! : Hadoop …)

Il se développe depuis quelques années des offres de virtualisation (Xen), de cache (memcached développé pour LiveJournal.com) , de File Systems distribués (Caringo, MogileFS, GlusterFS, HDFS) dont la vocation n’est plus de concentrer les données mais bien au contraire de les répartir et de les répliquer sur des matériels a bas prix (commodity hardware), afin d’en exploiter au mieux les ressources.

Une rupture technologique mais surtout culturelle est bien en train d’avoir lieu quoi que puissent en dire certains géants.

Attention, peinture fraîche

Etrangement les offres d’un Amazon semblent elles assez au point. Depuis Janvier 2008, d’ailleurs, la bande passante utilisée pour les web service d’Amazon (AWS, les offres de cloud) est supérieure à la bande passante utilisée par le reste des sites web Amazon. Cela indique le nombre de leur client augmente très rapidement et que les données stockées par eux explosent. On est donc passé de la commercialisation de capacité inutilisée a un véritable business, qui , pour avoir rencontré les personnes d’Amazon semble être organisé avec une rigueur martiale. Et la, au contraire, si les noms des clients sont assez durs à avoir (on le comprend aisément) Amazon affiche néanmoins des références solides (NASDAQ, Wall Street Journal, …), et le recul est certains, ces offres étant la base du business d’Amazon depuis un moment déjà.

Alors certes les constructeurs tendent a se rapprocher de ce modèle, mais leurs offres commerciales sont-elles encore adaptées. Je ne parle pas seulement des technologies qui sortent de leurs laboratoires (pas de soucis pour ces dernières qui sont issues en droite ligne des technologies open source qui font la gloire des géants internet) mais surtout des offres commerciales avancées par leur commerciaux ? Assez étrangement, malgré toutes les annonces faites par les constructeurs majeurs, sur l’importance du Cloud et de ses implications, ces commerciaux tardent toujours à proposer des solutions « modernes », ils se font même un peu prier. On les comprend ces offres paraissent bien récentes et « pas encore sèche ». Pas ou peu de recul, très peu de clients et un supports dont la qualité semble faible, tant l’évangélisation dans ces société même semble en retard.

• BigTable (Google)
• Dynamo (Amazon)
• Cassandra (Facebook)
• Voldemort (tres rapidement)
• memcached
• Tokyo Cabinet
• Redis
• CouchDB
• MongoDB
• Vertica
• Hadoop (Evoqué en 3 secondes dans les questions et réponses)