Quand le système de fichiers devient planétaire

Lire, écrire, effacer un fichier en quelques instructions via une simple URL. Le service S3 d'Amazon transforme la Toile en un gigantesque système de fichiers distribué.

Lors de la MySQL User Conference qui se tenait la semaine dernière à Santa Clara, Mark Atwood, un développeur indépendant, a présenté un nouveau moteur de stockage révolutionnaire pour MySQL. Baptisé MySQL AWS S3, ce moteur stocke la base de données directement sur le système de fichiers en ligne Simple Storage Service (S3) d'Amazon. ' Cette nouvelle s'avère particulièrement intéressante, car S3 n'impose aucune limite de taille de fichier ', explique Damien Seguy, spécialiste de MySQL et fondateur de l'hébergeur Nexen. Et d'ajouter : ' De plus, les données se révèlent accessibles de n'importe où dans le monde à l'aide d'une simple connexion internet. 'Lancé en mars 2006, le service S3 propose aux particuliers et aux entreprises des capacités de stockage de fichiers en ligne quasiment illimitées (jusqu'à 5 Go par fichier !). Le loyer mensuel - près de 30 euros pour 100 Go d'espace disque et 100 Go de trafic - paraît dérisoire au regard des services proposés. ' Combien d'entreprises dans le monde peuvent s'offrir un datacenter comme celui d'Amazon ? ', s'interroge Jérémy Chatard, directeur technique de la SSII Breek, spécialisée dans le web 2.0. Assurément très peu. Le succès est donc au rendez-vous. Amazon vient d'annoncer plus de 5 milliards d'objets hébergés. A l'image de la messagerie webmail. us (350 000 comptes), du webOS YouOS (60 000 utilisateurs) et de la gestion de projet BaseCamp de 37 Signals (1 million d'utilisateurs), des centaines d'entreprises commencent à utiliser S3.D'un point de vue technique, ' ce service virtualise le système de fichiers physique au travers d'une API de haut niveau très facile à manipuler ', explique Jérémy Chatard. En effet, S3 se distingue des autres hébergeurs de fichiers en proposant de nombreuses API : webDAV, Rest, PHP, Java, C#, Ruby, et même BitTorrent. Il suffit d'une instruction HTTP (architecture Rest et webDAV) ou de cinq lignes de code PHP ou Java pour lire, modifier, écrire, effacer un fichier n'importe où dans le monde via... une simple URL. Avec S3, la Toile se transforme donc en un gigantesque système de fichiers distribué. Avec MySQL AWS S3, elle devient aussi potentiellement une immense base de données distribuée.

Accéder à des fichiers sans savoir où ils sont stockés

L'avénement des accès à très haut débit et la qualité croissante de la bande passante disponible ont permis d'envisager ce type d'architecture. Dès le mois de juin, les entreprises parisiennes pourront par exemple se raccorder à internet via des fibres optiques à 100 Mbit/s pour une somme modique. Avec de telles technologies, et pour la première fois dans l'histoire de l'informatique, la distance des machines commence à ne plus réellement poser de problème. A tel point que S3 intéresse désormais les éditeurs de logiciels hébergés (SaaS) pour garantir la portabilité de leurs applications et l'accessibilité de leurs documents. Des concurrents d'Amazon, comme BingoDisk, proposent des systèmes de fichiers en ligne qui s'appuient sur les mêmes API que S3. Dans ce contexte, le système d'exploitation sur lequel est hébergé physiquement le fichier n'a plus aucune importance.De plus, webDAV - l'une des API de S3 - forme une extension standard du protocole HTTP 1.1, mise au point à la fin des années 90. Longtemps oubliée, elle est aujourd'hui intégrée nativement dans Windows, Mac OS X et la plupart des Unix et Linux. Il suffit donc de posséder un client webDAV pour accéder de n'importe où à ses fichiers, comme s'ils étaient situés sur un disque dur intégré à l'ordinateur. Avec l'arrivée des très hauts débits, entreprises et particuliers vont donc pouvoir faire un choix dès la fin de cette année : stocker ses fichiers en local ou en ligne ? De la même façon que l'on peut s'interroger sur le déploiement de sa messagerie : en interne ou hébergée ?[e-mail]

Amazon S3 virtualise le système de fichiers

Pour quelques dizaines d'euros par mois, S3 autorise un stockage en ligne de fichiers allant de quelques octets à 5 Go sur les serveurs d'Amazon. Le service abstrait totalement le système de fichiers physique en proposant divers protocoles entre le client et le serveur (Rest, Soap, BitTorrent, webDAV, etc.), ainsi qu'une multitude d'API (PHP, C#, Java, Ruby, etc.).

2 questions à... : Jérémy Chatard, directeur technique de la SSII Breek

Qu'est-ce qui justifie cet engouement pour l'API S3 ?
' Le prix, dérisoire au regard du service fourni, n'est pas le seul argument. Amazon S3 propose une couche d'abstraction qui isole le stockage physique des fichiers du mode d'accès. Un programme PHP lit et écrit un fichier sur S3 en trois lignes de code, sans savoir où le fichier est stocké physiquement. Et Windows XP voit un lien S3 comme un simple disque dur externe. Une nouvelle Toile constituée d'îlots de données - en lieu et place des ' sites ' et des ' pages ' - est donc en train de naître. '

Comment gère-t-on le mode et les droits d'accès aux fichiers ?
' La lecture, l'écriture et la copie des fichiers fonctionnent exactement comme sur un disque dur local. En revanche, l'accès s'effectue via une URL qui remplace le chemin physique. Les fichiers sont regroupés dans des répertoires virtuels (' buckets '), qui disposent chacun de droits d'accès définis précisément par lutilisateur. Il suffit de regrouper les fichiers par buckets pour gérer leurs droits. '