Dailymotion construit son infrastructure sur un cluster

Dailymotion dispose d'une architecture de stockage optimisant le dépôt quotidien de centaines de vidéos et l'accès en ligne à des milliers de séquences.

Incongrue en 2005, l'idée d'un site web entièrement dédié au partage de la vidéo a pourtant connu un succès foudroyant en moins de deux ans. Dailymotion revendique aujourd'hui 37 millions de visiteurs uniques par mois, une performance qui a imposé à l'équipe fondatrice la redéfinition de son architecture technique. ' Nous avions démarré en construisant nous-mêmes nos serveurs Linux, écumant les boutiques de la rue Montgallet à Paris pour acheter les disques durs par dizaines au fur et à mesure de notre montée en puissance, raconte Matthieu Blumberg, dit Fleurmont, l'architecte système de Dailymotion. Mais nous avons pris conscience que notre croissance ne pouvait être pérenne sans la garantie d'un accès fiable à nos serveurs dont la capacité de stockage devait supporter 15 To supplémentaires chaque mois. ' Ces impératifs imposaient de s'orienter vers des produits industriels, plus fiables mais surtout moins mobilisateurs en ressources humaines.

Les infrastructures SAN trop coûteuses

Les techniciens de Dailymotion évaluèrent d'abord des solutions open source sous FreeBSD, jugées finalement trop instables et peu évolutives. Les offres des grands spécialistes du SAN se révélèrent trop coûteuses et lourdes en termes d'administration. Finalement, ce sont les retours d'expérience de Myspace et d'autres clients d'Isilon qui orientèrent Dailymotion vers cette entreprise, spécialisée dans le stockage en grille. Isilon France a prêté durant deux mois un cluster IQ6000 de dix n?"uds, et a ainsi convaincu Dailymotion. L'adoption de la nouvelle solution a apporté un haut niveau de protection des données, le système restant opérationnel même dans le cas où quatre n?"uds du cluster tomberaient (technologie FlexProtect +3). Quelques mois après ce premier investissement, une extension de 24 n?"uds IQ6000 a été ajoutée. L'intégration n'a pris que quelques dizaines de minutes grâce au système d'exploitation propriétaire One File System, lequel a rétabli immédiatement un système de fichiers unique sous forme d'un seul espace de nommage, tandis que la fonction AutoBalance gérait automatiquement la montée en capacité en tâche de fond, sans qu'il soit nécessaire de faire migrer des données. Quant à l'accès réseau, il est optimisé par la fonction SmartConnect de One FS, laquelle équilibre les liens HTTP entrants et sortants sur les différents n?"uds du cluster. Cette aisance dans l'évolution de la capacité de stockage a permis à Dailymotion d'accroître encore la puissance de sa plate-forme quelques mois après cette première augmentation. Elle est aujourd'hui en voie d'atteindre 1,2 [e-mail]

Une grille de stockage évolutive

Stockage en cluster, anneau optique métropolitain propriétaire, et réseau mondial de distribution de contenus contribuent à la performance quotidienne de Dailymotion.

Le cas étudié : Dailymotion

Activité : site communautaire de partage de vidéos.
Siège : Paris.
Effectif : 70 personnes.
Sites : bureaux à New York, Londres, Francfort, hébergement des serveurs en Seine-Saint-Denis.

Passer d'une solution de stockage artisanale à un produit industriel s'insérant dans un environnement open source existant.

Un système Isilon IQ, totalisant 24 n?"uds et des grappes de disques de 500 Go, complété ensuite par deux systèmes à 12 n?"uds avec disques de 750 Go.
Déploiement d'un anneau métropolitain dans Paris pour assurer des liaisons à 160 Gbit/s vers les principaux n?"uds d'interconnexion de la capitale.

Le déploiement de la solution Isilon étant synchrone avec la mise en ?"uvre de l'anneau optique et de la nouvelle salle d'hébergement, la principale difficulté a été d'ordre logistique et organisationnel : 17 palettes déquipements, soit 2,2 tonnes au total à installer.