Les moteurs de recherche au secours des SGBD

Les moteurs de recherche accélèrent l'accès aux données structurées, mais sont lents pour les opérations de mise à jour.

Lors d'un test de performance mis en avant par l'éditeur Fast Search & Transfer, 22 requêtes ont été adressées au système d'indexation de son moteur de recherche et au système de gestion de bases de données (SGBD) d'Oracle. Le produit de Fast y a répondu dans un temps compris entre 1/16 et 1/4 de seconde. La technologie de recherche utilisée par la base de données a obtenu de médiocres résultats : plus d'une dizaine de secondes. Contestable, ce test de performance met toutefois en lumière l'écrasante supériorité des moteurs de recherche sur les SGBD.

Une technique pour délester les bases de production

Les systèmes d'indexation des moteurs de recherche se trouvent de plus en plus sollicités sur les sites de commerce en ligne pour accélérer la consultation du catalogue. Les accès directs aux bases de production restent réservés à la phase de finalisation des achats, lors d'une transaction. Verity, Exalead ou IBM sont, de fait, de plus en plus consultés pour constituer avec leurs produits d'indexation une sorte de système parallèle au-dessus de celui des bases de données. Certains éditeurs s'estiment même capables de constituer à la volée des entrepôts de données virtuels. Heureusement, les SGBD gardent encore un gros avantage. La mise à jour de leurs données s'effectue en temps réel. L'index d'un moteur de recherche ne s'avère pas aussi réactif. Une limitation que certains utilisateurs contournent en créant plusieurs index, qui seront rafraîchis dans des délais dépendant de la criticité des donné[e-mail]

L'équivalent d'un système de cache

Un internaute visite un site de commerce. Tant qu'il restera en mode consultation, le serveur d'applications transmettra la requête à celui hébergeant l'index. S'il finalise un achat en mode transaction, la requête sera dirigée vers la base de production.

Les connecteurs paramétrés conjointement par l'entreprise et le fournisseur présentent le mode d'accès et la structure des données de la source au moteur d'indexation. Le système d'indexation peut ainsi remonter non seulement les données, mais également les liens entre les tables (jointures).

Avant insertion dans l'index, les informations sont transformées, normalisées, et les doublons, éliminés. Les éventuels liens avec des sources externes sont rétablis. Le moteur de recherche constitue alors son index. Un système d'alerte l'aide à n'y charger que les données dont la valeur a changé, afin de réduire son délai de rafraîchissement et d'éviter les discordances entre index du moteur de recherche et SGBD.

L'index contient un ensemble de répertoires au contenu redondant. De cette façon, un répertoire réunit les noms des clients, un autre leurs achats, leur adresse, etc. Ce système équivaut aux tables et jointures des SGBD. Un ' dispatcher ' répartit ces répertoires sur différents serveurs, sachant quun répertoire ne peut rester présent sur plusieurs serveurs.