Systèmes distribués, Automatisation navigateur2024
Système distribué d'automatisation d'assets
Un service interne en un clic qui récupère de gros assets sous licence sur une plateforme sans API et anti-bot — porté par une flotte d'agents navigateur auto-réparante.
1 800 $
de main-d'œuvre économisée par mois
10×
plus rapide que le manuel
Zéro
d'indisponibilité, auto-réparant
Le problème de départ
Une équipe avait besoin d'un accès à la demande à de gros assets sous licence (vidéos jusqu'à plusieurs Go) sur une plateforme tierce sans API publique et dotée d'une protection anti-bot agressive. Les téléchargements manuels étaient lents, ne passaient pas à l'échelle et cassaient à chaque évolution du front-end.
Le système en images
Captures du système en fonctionnement, étape par étape : ce que voit votre client, et ce que reçoit votre équipe.
- 1.
La demande
Un formulaire interne : coller le lien, un clic.
- 2.
L'orchestration
n8n pilote une flotte d'agents navigateur avec health-checks et bascule automatique.
- 3.
Le fichier livré
L'URL signée de l'asset est capturée et le fichier est téléchargé automatiquement.
Comment ça fonctionne
Ce que nous avons construit
- 1
Une couche d'orchestration n8n reçoit les demandes d'un formulaire interne via webhook et émet un jeton à usage unique et à courte durée de vie par demande.
- 2
Une flotte d'agents Python headless (FastAPI + Playwright) exécute la session navigateur authentifiée sur IP résidentielle, chacun exposé via son propre tunnel Cloudflare.
- 3
Le système capture l'URL CDN signée à courte durée de vie (~45 s) au moment du clic et diffuse le fichier directement du CDN vers le demandeur — l'orchestrateur ne relaie jamais la charge lourde.
- 4
Bascule multi-agents ordonnée : une rotation avec health-check essaie chaque agent jusqu'au succès, donc une machine éteinte ne casse jamais le pipeline.
- 5
Durci contre l'expiration des URL, les limites de débit par item et un comportement SPA qui cassait l'évaluation de page sur certains types d'assets.
Points forts
- Une tâche manuelle et risquée réduite à un seul clic interne.
- Résilient par conception : health-checks, bascule ordonnée, jetons à usage unique, notifications d'erreur explicites.
- Gère automatiquement chaque type d'asset — archives, vidéo stock avec choix de résolution, photos.
Outils utilisés
Le même système pour votre entreprise ?
En 30 minutes, nous regardons si et comment l'adapter à votre activité.
Réalisation suivante
Moteur d'audit SEO propulsé par l'IA