Manifeste | Le routeur LLM open source pour OpenClaw

Qu'est-ce que

Manifest est un routeur LLM open source pour OpenClaw qui intercepte les requêtes et envoie chaque requête à un modèle plus approprié en termes de coût. Le produit est positionné autour de la réduction des dépenses de modèle inutiles en évitant l'utilisation de grands modèles pour des tâches simples.

Il semble conçu pour les utilisateurs d'OpenClaw qui souhaitent des coûts d'exploitation plus bas, un contrôle plus précis sur l'acheminement et une confidentialité plus forte en gardant la notation des requêtes sur leur propre machine. Le flux de travail principal est simple : analyser chaque requête localement, l'acheminer vers le modèle le plus adapté et exposer les données de télémétrie et de coût pour que les équipes puissent surveiller l'utilisation.

Fonctionnalités

• Acheminement de requêtes local : Manifest analyse chaque requête localement en moins de 2 ms et choisit le modèle le plus adapté, ce qui aide à éviter de surpayer pour les requêtes simples.
• Sélection de modèle en fonction du coût : Le routeur est conçu pour passer les tâches au modèle le plus rentable pour une tâche donnée, ce qui prend en charge une réduction des coûts d'utilisation d'OpenClaw.
• Architecture préservant la confidentialité : La notation des requêtes se fait sur la machine de l'utilisateur, et la version cloud est décrite comme un proxy aveugle, ce qui vise à limiter l'exposition des données.
• Suivi des coûts au niveau des messages : Les utilisateurs peuvent analyser le coût de chaque message et définir des limites ou des alertes lorsque les budgets sont dépassés.
• Télémétrie basée sur OpenTelemetry : La télémétrie est collectée et exportée au format OpenTelemetry, ce qui prend en charge la propriété et les flux de travail d'observabilité des données.
• Plugin OpenClaw open source : Manifest est entièrement open source et disponible en tant que plugin OpenClaw natif avec une installation en une seule commande et sans codage requis.

Conseils utiles

• Valider la qualité de l'acheminement, et non seulement les économies : Pour des produits comme celui-ci, la réduction des coûts est la plus utile lorsqu'elle est associée à une qualité de sortie acceptable pour différents types de tâches.
• Définir les stratégies d'acheminement en fonction de la complexité des tâches : Le plus grand avantage provient généralement de la séparation des actions légères des charges de travail à forte raison ou à fort contexte.
• Utiliser des alertes de budget tôt : La visibilité des coûts est plus précieuse lorsque les équipes définissent des limites et des alertes avant de mettre à l'échelle l'utilisation à travers les utilisateurs ou les agents.
• Examiner la propriété et les chemins d'exportation de la télémétrie : Puisque la télémétrie utilise OpenTelemetry, les acheteurs doivent confirmer comment ils souhaitent stocker, traiter et gouverner ces données opérationnelles.
• Vérifier les besoins d'hébergement et d'extension : Puisque le produit est open source, les équipes d'implémentation doivent évaluer si elles souhaitent un déploiement de plugin simple ou une couche d'acheminement plus personnalisée.

Compétences OpenClaw

Dans l'écosystème OpenClaw, Manifest convient probablement le mieux comme une couche d'acheminement et de gouvernance des coûts sous les agents, les assistants et les flux de travail à plusieurs étapes. Un cas d'utilisation probable est de faire correspondre Manifest avec des compétences OpenClaw qui classifient les intentions, estiment la complexité des tâches ou étiquettent les requêtes par sensibilité avant de les transmettre au modèle le plus approprié. Cela pourrait aider les équipes à normaliser la façon dont la sélection du modèle se produit à travers de nombreuses automatisations, plutôt que de compter sur un seul modèle par défaut.

Un autre cas d'utilisation probable est de créer des agents OpenClaw pour la finance, les opérations, le support ou le travail de connaissances internes qui échangent dynamiquement coût, latence et capacité. Par exemple, un flux de travail pourrait acheminer des tâches de récupération, de résumé ou de mise en forme simples vers des modèles à faible coût, tout en réservant des modèles plus puissants pour une raison plus approfondie ou des requêtes ambigües. Si cela est bien mis en œuvre, cette combinaison pourrait rendre le travail basé sur les agents plus durable sur le plan opérationnel pour les équipes qui exécutent un grand volume de tâches LLM, même si la page ne décrit pas explicitement ces modèles d'orchestration avancés comme des fonctionnalités natives.