Alan Blanchet
Tous les projets

interact — computer-use d'agents, ancré vision (MCP)

  • MCP
  • computer-use
  • VLM
  • LiteLLM
  • Rust
  • MIT

Serveur MCP qui permet à n'importe quel agent d'agir sur ce qu'il voit — navigateur et bureau réel (naviguer/cliquer/taper/scroller/glisser) ; renvoie des diffs textuels de ce qui a changé plutôt que des captures brutes. L'ancrage GUI fusionne la détection VLM et l'arbre d'accessibilité AT-SPI ; routeur multi-fournisseurs LiteLLM avec sélection de modèle automatique et économe, classée d'après des benchmarks publics (MMMU, ScreenSpot-Pro, Video-MME) ; sandbox software-GL isolée pour que les apps GPU/Flutter/Electron s'affichent. S'installe dans les principaux clients d'agents ; ouvre des issues GitHub automatiquement. MIT.