Kog veut doper l’inférence des agents sur les GPU

Un verrou économique au cœur de l’IA agentique

La start-up française Kog veut s’attaquer à l’une des contraintes les plus concrètes de la nouvelle vague d’intelligence artificielle : le coût de l’inférence sur GPU. Dans un article consacré à l’entreprise, TechCrunch résume son ambition par un titre explicite, “Kog is going deeper to squeeze more inference out of GPUs”. Autrement dit, Kog cherche à obtenir davantage d’inférence à partir des accélérateurs graphiques déjà disponibles, plutôt que de considérer que la réponse à la hausse des besoins passe nécessairement par l’achat continu de nouvelles puces.

Le sujet est particulièrement stratégique à mesure que les entreprises expérimentent les agents IA. Un assistant conversationnel classique peut produire une réponse à une question, dans un échange relativement linéaire. Un agent, lui, est généralement conçu pour décomposer une tâche, raisonner sur plusieurs étapes, appeler des outils, consulter des données, vérifier un résultat puis relancer un modèle si nécessaire. Cette succession d’opérations peut multiplier les requêtes d’inférence. La promesse fonctionnelle des agents est donc indissociable d’une question plus prosaïque : combien coûte chaque tâche réellement accomplie ?

Dans cette équation, le GPU occupe une place centrale. Ces processeurs, initialement conçus pour les calculs graphiques parallèles, sont devenus les accélérateurs les plus utilisés pour entraîner et servir les grands modèles d’IA. NVIDIA domine largement ce marché avec ses générations de GPU pour centres de données, mais l’enjeu dépasse un fabricant ou une référence de puce particulière. Les organisations qui exploitent des modèles de langage doivent arbitrer entre capacité disponible, vitesse de réponse, consommation énergétique, coût des instances cloud, contraintes de souveraineté et niveau de service attendu.

Le positionnement de Kog se distingue donc par son point de départ. Selon les éléments rapportés par TechCrunch, l’entreprise conteste l’idée selon laquelle les GPU seraient, par nature, mal adaptés aux workflows agentiques. Ce débat est important. La montée des agents a en effet alimenté une demande pour des architectures matérielles spécialisées, des puces alternatives et des infrastructures conçues autour de l’inférence. Kog soutient, à l’inverse, qu’il reste une marge d’optimisation substantielle dans l’usage des GPU existants.

Cette approche ne revient pas à nier les limites physiques du matériel. Les GPU ont une quantité définie de mémoire, une capacité de calcul donnée et des contraintes de communication entre machines. Mais l’efficacité réelle d’une infrastructure dépend aussi de la manière dont les requêtes sont organisées, distribuées, mises en attente, regroupées ou exécutées. Entre la puissance théorique d’une flotte de GPU et les performances effectivement obtenues par une application, l’écart peut être significatif. C’est dans cet écart, souvent moins visible que le lancement d’une nouvelle puce, que Kog entend se positionner.

Pour les entreprises, la question est loin d’être abstraite. Une démonstration d’agent peut fonctionner avec quelques utilisateurs et un budget expérimental. Le passage à grande échelle est autrement plus exigeant : multiplication des employés ou clients servis, maintien d’une faible latence, traitement de documents plus longs, recours à plusieurs modèles, besoins de confidentialité, disponibilité continue. À ce stade, le coût marginal d’une tâche IA devient un indicateur opérationnel aussi important que la qualité des réponses générées.

La portée du sujet dépasse ainsi l’optimisation technique. Si les déploiements agentiques doivent devenir des outils de production, ils devront démontrer une économie soutenable. Une entreprise ne peut pas seulement mesurer le temps gagné par un agent ; elle doit aussi prendre en compte l’infrastructure qui le fait fonctionner, les appels à des services tiers, l’observabilité, la sécurité, l’intégration aux systèmes internes et le contrôle humain. En ciblant l’inférence GPU, Kog se place sur l’un des maillons qui conditionnent la rentabilité de cette chaîne.

Kog mise sur l’utilisation des GPU déjà installés

L’article de TechCrunch présente Kog comme une start-up française qui approfondit son travail sur l’inférence afin de tirer plus de valeur des GPU. La formulation est révélatrice d’un changement de priorité dans l’écosystème IA. Pendant plusieurs années, l’attention s’est fortement concentrée sur l’entraînement des modèles : la taille des jeux de données, le nombre de paramètres, les capacités de calcul nécessaires et les investissements dans les centres de données. L’inférence, c’est-à-dire l’exécution d’un modèle entraîné pour répondre à des requêtes réelles, est désormais un champ de bataille tout aussi déterminant.

Cette bascule s’explique simplement. L’entraînement d’un modèle de pointe peut être extrêmement coûteux, mais il reste une opération ponctuelle ou périodique. L’inférence accompagne chaque interaction d’un utilisateur, chaque génération de texte, chaque étape d’un agent et chaque traitement automatisé. Lorsqu’un produit rencontre son marché, cette dépense devient récurrente. Une réduction de l’usage nécessaire pour accomplir une requête, ou une hausse du nombre de requêtes traitées avec le même parc de GPU, peut donc avoir des effets importants sur le coût total d’exploitation.

La thèse portée par Kog rejoint une réalité bien connue des infrastructures : disposer du matériel n’est pas suffisant pour en exploiter la totalité du potentiel. Un GPU peut être sous-utilisé si les requêtes arrivent de manière irrégulière, si leurs tailles sont très différentes, si les données nécessaires ne sont pas disponibles au bon moment, si la mémoire est mal gérée ou si une partie du système attend les résultats d’une autre. Les applications agentiques sont susceptibles d’accentuer ces déséquilibres, car elles ne se comportent pas toujours comme un flux homogène de demandes identiques.

Un workflow agentique peut, par exemple, alterner entre des tâches de génération, de recherche, de classification, d’extraction d’information ou d’appel à un logiciel externe. Le modèle n’est pas forcément sollicité en continu de la même façon. Certaines étapes sont rapides, d’autres exigent davantage de contexte. Certaines requêtes peuvent être interrompues ou reformulées. La demande de calcul est donc plus fragmentée qu’elle ne l’est dans un service simple où chaque utilisateur envoie une question brève à un unique modèle.

Le point avancé par Kog n’est pas que les GPU résoudraient seuls tous ces problèmes. Il est plutôt qu’ils ne doivent pas être écartés au motif que les agents introduisent des workflows complexes. La question devient alors logicielle autant que matérielle : comment adapter le traitement de l’inférence aux caractéristiques de ces tâches sans devoir reconstruire entièrement l’infrastructure ? C’est une proposition attractive pour les entreprises qui possèdent déjà des accélérateurs, louent des capacités GPU dans le cloud ou ont construit leurs applications autour de l’écosystème logiciel dominant des GPU.

Elle s’inscrit aussi dans une contrainte d’approvisionnement et de calendrier. Les nouvelles générations d’accélérateurs attirent l’attention, mais elles ne sont pas une solution immédiate pour tous les acteurs. Les entreprises n’ont ni les mêmes budgets, ni les mêmes délais de déploiement, ni les mêmes besoins en capacité. Certaines doivent optimiser une infrastructure déjà amortie ; d’autres disposent de contrats cloud existants ; d’autres encore cherchent à éviter d’augmenter trop vite leurs dépenses d’exploitation. Dans ces cas, améliorer le rendement des GPU utilisés peut être plus directement utile qu’attendre une évolution matérielle.

Cette logique est également pertinente pour les organisations qui veulent conserver une maîtrise accrue de leur environnement IA. Le recours à des API de modèles hébergées peut simplifier le lancement d’un produit, mais il laisse moins de contrôle sur l’infrastructure et sur certains paramètres de coût. À l’inverse, servir un modèle dans son propre environnement implique de gérer les GPU, les logiciels, la sécurité et les opérations. Une couche qui améliore l’efficacité de cette exécution peut donc renforcer l’intérêt du déploiement autonome ou hybride, sans faire disparaître les exigences techniques qui l’accompagnent.

L’inférence : une bataille moins visible que celle des modèles

La course à l’IA générative est souvent racontée à travers les nouveaux modèles, leurs résultats aux évaluations ou leurs capacités multimodales. Pourtant, le marché dépend tout autant de l’infrastructure qui rend ces systèmes disponibles à des millions d’utilisateurs. La progression des modèles augmente généralement leurs besoins en mémoire et en calcul ; parallèlement, les utilisateurs attendent des réponses rapides, fiables et accessibles à un coût raisonnable. Cette tension structure l’ensemble de la chaîne de valeur, des concepteurs de puces aux opérateurs cloud, en passant par les éditeurs de logiciels d’inférence.

Les GPU se sont imposés parce qu’ils permettent d’exécuter efficacement de nombreuses opérations mathématiques en parallèle. Leur rôle dans l’entraînement des réseaux neuronaux a contribué à créer un vaste environnement logiciel et matériel autour d’eux. Les développeurs, chercheurs et entreprises disposent de bibliothèques, d’outils de déploiement, de systèmes de supervision et d’équipes formées à cet univers. Remplacer cette base installée par une technologie différente n’est pas seulement une question de performances brutes ; c’est aussi une question de compatibilité, de compétences, de disponibilité et de risque opérationnel.

C’est précisément ce qui rend la position de Kog notable. Le secteur voit émerger ou se renforcer des offres spécialisées dans l’inférence, parfois fondées sur des architectures matérielles distinctes des GPU généralistes. Ces approches répondent à un besoin réel : l’inférence des grands modèles de langage a des caractéristiques différentes de l’entraînement, notamment parce qu’elle doit souvent privilégier la latence, le débit ou l’efficacité énergétique. Mais la présence de solutions spécialisées ne signifie pas automatiquement que les GPU cessent d’être pertinents pour les agents.

Les grands fournisseurs de cloud, les fabricants de processeurs et les entreprises de l’infrastructure IA travaillent tous à réduire les coûts liés au service des modèles. Amazon Web Services propose ses propres puces destinées notamment à l’inférence, tandis que Google développe ses TPU depuis plusieurs années. Les fournisseurs de GPU cherchent également à améliorer leurs plateformes pour les charges de travail d’IA. Ces initiatives reflètent une certitude commune : à mesure que les usages passent du prototype à la production, l’efficience de l’inférence devient un critère de différenciation commercial.

Kog ne se présente pas, dans les éléments mis en avant par TechCrunch, comme un constructeur de puces venu remplacer les GPU. Son angle est différent : optimiser plus profondément l’utilisation de ces accélérateurs. Cette différence est essentielle. Développer un nouveau composant matériel suppose des cycles longs, une capacité industrielle, des validations complexes et un accès à la chaîne de fabrication des semi-conducteurs. Une approche centrée sur le logiciel et l’orchestration peut potentiellement être déployée plus vite, à condition de démontrer des gains concrets et reproductibles dans des environnements de production.

Les bénéfices éventuels d’une telle optimisation doivent toutefois être évalués au-delà d’un chiffre de performance isolé. Une entreprise peut augmenter le débit global d’un système, mais dégrader dans le même temps la latence perçue par certains utilisateurs. Elle peut réduire la dépense GPU, mais augmenter la complexité des opérations. Elle peut améliorer l’usage moyen des accélérateurs, mais rencontrer des difficultés lors des pics de trafic. Dans l’IA agentique, où les tâches peuvent être hétérogènes et où des décisions automatisées peuvent interagir avec des systèmes métiers, la prévisibilité compte autant que la vitesse.

La valeur d’une proposition comme celle de Kog dépendra donc de sa capacité à fonctionner dans les contraintes réelles des entreprises. Il ne s’agit pas seulement de traiter davantage de jetons ou de requêtes. Les clients rechercheront une intégration avec leurs modèles, leurs outils de déploiement, leurs mécanismes de sécurité, leurs pratiques de surveillance et leurs règles de gouvernance. Ils devront aussi vérifier que l’optimisation conserve la qualité de service attendue. La réduction de la facture ne peut pas se faire au prix d’erreurs plus nombreuses, d’une disponibilité insuffisante ou d’une difficulté à auditer les comportements d’un agent.

Pourquoi les agents mettent les infrastructures sous pression

L’IA agentique est devenue un terme très employé, parfois pour désigner des réalités techniques différentes. Dans son sens le plus courant, elle renvoie à des systèmes capables d’enchaîner plusieurs actions pour poursuivre un objectif : interpréter une instruction, préparer un plan, interroger une base, utiliser un outil, générer un document, demander une validation ou modifier une action selon le résultat précédent. Ces systèmes ne sont pas autonomes au sens général du terme, et leur fiabilité reste un sujet majeur. Mais ils modifient déjà les profils de charge auxquels les infrastructures doivent répondre.

Un modèle conversationnel destiné à répondre à une question unique offre un chemin de calcul relativement facile à anticiper. Un agent peut générer plusieurs appels au même modèle ou à plusieurs modèles, conserver un contexte plus long, exploiter des données internes et déclencher des opérations successives. Chaque étape supplémentaire accroît potentiellement la consommation d’inférence. Dans certains cas, un agent peut aussi effectuer des itérations de vérification, qui améliorent potentiellement le résultat mais font monter le nombre total de calculs nécessaires.

Pour un directeur informatique ou un responsable de l’innovation, l’enjeu ne consiste donc pas seulement à choisir le meilleur modèle. Il faut définir quels cas d’usage justifient un coût de calcul supérieur, quelles tâches doivent rester sous validation humaine, quels volumes sont prévisibles et quelles limites budgétaires peuvent être appliquées. Un agent chargé de préparer une première synthèse interne n’a pas les mêmes exigences qu’un système qui accompagne un client ou interagit avec un outil métier. La granularité du contrôle devient indispensable.

Le coût est également influencé par la variabilité des demandes. Une entreprise peut subir des pics saisonniers, des périodes de forte activité ou des charges imprévues liées à l’adoption rapide d’un nouvel outil. Dans une infrastructure dimensionnée pour répondre à ces pointes, il existe un risque de sous-utilisation en temps normal. Dans une infrastructure trop optimisée pour le coût moyen, il existe au contraire un risque de saturation. La promesse de faire davantage avec les GPU existants répond directement à cette tension, même si elle ne dispense pas d’une planification de capacité rigoureuse.

Les agents ajoutent une autre difficulté : les temps d’attente ne viennent pas seulement du GPU. Ils peuvent dépendre de l’accès à une base de données, d’un outil de recherche, d’un ERP, d’un logiciel de gestion de la relation client ou d’une API externe. Une optimisation de l’inférence ne résout pas l’ensemble de ces goulets d’étranglement. En revanche, elle peut réduire la part du coût et du délai qui provient de l’exécution du modèle, ce qui est crucial lorsque cette exécution se répète à de nombreuses étapes.

Cette observation impose de distinguer la démonstration technologique de l’impact économique. Il est possible de bâtir un agent impressionnant sur un périmètre réduit tout en ayant une structure de coût difficilement compatible avec des milliers d’utilisateurs. La maturité d’un produit agentique se mesurera de plus en plus à sa capacité à fournir un résultat utile avec un niveau de ressources maîtrisé. C’est là que l’infrastructure cesse d’être un sujet réservé aux équipes techniques : elle devient une variable de produit, de prix et de stratégie commerciale.

Dans ce contexte, la démarche de Kog peut intéresser les entreprises qui cherchent à éviter un raisonnement binaire entre deux options : conserver un parc GPU en acceptant ses inefficiences, ou migrer vers une nouvelle architecture matérielle. La réalité est plus graduée. Certaines charges peuvent être conservées sur GPU, d’autres réparties différemment, et les politiques d’exécution peuvent évoluer selon les applications. La capacité à mesurer précisément les usages et à affecter le bon niveau de ressources à chaque étape sera au moins aussi importante que le choix initial de matériel.

• Pour les équipes produit, une meilleure efficacité peut élargir le nombre de cas d’usage économiquement viables.
• Pour les équipes infrastructure, elle peut repousser ou réduire certains besoins de capacité supplémentaire.
• Pour les directions financières, elle renforce la nécessité de relier le coût GPU à une unité métier mesurable.
• Pour les équipes de sécurité et de conformité, elle rappelle que l’optimisation ne doit pas compromettre l’auditabilité ni le contrôle des traitements.

Une résonance particulière pour la France et l’Europe

Le fait que Kog soit une start-up française donne une résonance particulière à cette annonce. L’Europe cherche à renforcer ses capacités dans l’IA, aussi bien du côté de la recherche, des modèles, des applications que des infrastructures. Dans ce paysage, les discussions sur la souveraineté technologique se concentrent souvent sur l’accès aux modèles ou sur la disponibilité du calcul. L’optimisation du calcul existant est un sujet moins spectaculaire, mais il touche directement la capacité des organisations européennes à déployer l’IA avec des budgets et des contraintes locales.

Les entreprises françaises et européennes ne partent pas toutes de la même situation que les grands groupes technologiques américains. Beaucoup doivent faire avec des ressources de calcul limitées, des projets IA distribués entre plusieurs directions et des impératifs importants en matière de protection des données. Elles peuvent utiliser des services cloud, des environnements hybrides ou des infrastructures internes. Dans tous ces scénarios, limiter le gaspillage de capacité GPU peut améliorer la faisabilité d’un projet sans exiger une transformation immédiate de l’ensemble du système d’information.

La réglementation européenne rend également la question opérationnelle plus complexe, sans que celle-ci soit uniquement réglementaire. Pour certains usages, les entreprises doivent porter une attention renforcée à la localisation des données, à la sécurité, à la traçabilité des systèmes et aux responsabilités liées aux décisions assistées par IA. Héberger ou servir des modèles dans un environnement davantage maîtrisé peut être une réponse pour certains acteurs, mais cela rend l’efficacité de l’infrastructure d’autant plus importante. Une organisation qui assume elle-même une partie du service des modèles doit en supporter les coûts et l’exploitation au quotidien.

La capacité à utiliser plus efficacement des GPU déjà déployés peut aussi être pertinente pour les secteurs où l’IA générative ne peut pas être adoptée sans précautions : banque, assurance, santé, industrie, énergie, services publics ou grandes administrations. Dans ces environnements, les projets se déploient souvent progressivement, avec des preuves de valeur, des validations de sécurité et des intégrations longues. L’achat massif de matériel neuf n’est pas toujours l’étape la plus simple ou la plus urgente. Des gains obtenus au niveau de l’exécution peuvent alors soutenir une montée en charge plus pragmatique.

Pour l’écosystème français, l’émergence d’entreprises focalisées sur l’infrastructure rappelle aussi que la compétition ne se joue pas uniquement dans la création de modèles généralistes. Les couches logicielles qui rendent les modèles plus rapides, moins coûteux, plus observables ou plus simples à déployer constituent un marché à part entière. Elles peuvent s’adresser à des clients internationaux tout en s’appuyant sur les besoins très concrets des organisations locales. Dans l’IA, les entreprises qui captent de la valeur ne sont pas seulement celles qui créent le modèle ; ce sont aussi celles qui réduisent les frictions de son usage.

Cette place est néanmoins difficile à conquérir. Les clients d’infrastructure sont exigeants, les cycles de vente peuvent être longs et les fournisseurs établis disposent d’écosystèmes puissants. Une jeune entreprise doit prouver que son approche fonctionne avec les outils existants, qu’elle ne crée pas une dépendance difficile à gérer et que ses résultats résistent à la diversité des charges de travail. Le marché de l’inférence est également dense, avec des acteurs du cloud, des fabricants de matériel, des éditeurs de logiciels et des start-up spécialisées qui cherchent tous à améliorer le rapport entre performance et coût.

La proposition de Kog s’inscrit donc dans une dynamique européenne plus large : transformer la contrainte de capacité de calcul en un terrain d’innovation logicielle. L’accès aux GPU reste décisif, mais leur rendement l’est tout autant. Pour les entreprises françaises, cette distinction a une conséquence pratique : un projet d’IA ne se limite pas à réserver de la puissance de calcul. Il suppose de savoir comment cette puissance sera consommée, mesurée, gouvernée et, si possible, optimisée au fil des usages.

La prochaine étape : démontrer des gains durables en production

Le défi pour Kog sera de convertir son diagnostic en résultats mesurables sur des déploiements réels. L’affirmation selon laquelle les GPU peuvent mieux répondre aux workflows agentiques est pertinente dans un marché où les dépenses d’inférence progressent avec les usages. Mais la valeur d’une solution d’infrastructure se juge dans la durée : performances sous charge, stabilité, compatibilité, facilité de maintenance, comportement face aux mises à jour de modèles et capacité à répondre à des exigences de sécurité élevées.

Les clients ne chercheront pas seulement un meilleur taux d’utilisation théorique. Ils voudront savoir si une plateforme permet de servir plus d’utilisateurs avec le même parc, de réduire le coût d’une tâche, de maintenir une latence acceptable ou de gérer plus facilement une croissance imprévue. Ils examineront aussi les compromis. Un système très optimisé pour un modèle précis ou un type de requête donné peut perdre de son intérêt si l’entreprise change rapidement de modèle, de fournisseur ou de stratégie produit. La flexibilité sera donc un facteur aussi important que la performance brute.

La compétition pourrait devenir plus intense à mesure que les agents passent du statut de démonstration à celui de composant standard des logiciels d’entreprise. Les fournisseurs de modèles auront intérêt à proposer une inférence toujours plus efficace. Les hyperscalers chercheront à attirer les charges de travail vers leurs propres infrastructures. Les fabricants de puces défendront leurs architectures et leurs logiciels. Dans cet environnement, une entreprise comme Kog doit faire valoir une expertise spécifique : rendre les GPU disponibles plus productifs sans imposer aux clients une réécriture complète de leurs systèmes.

Le débat ne se résoudra probablement pas par la victoire totale d’une seule catégorie de matériel. Les GPU conserveront un rôle majeur grâce à leur base installée et à leur écosystème. Les puces spécialisées pourront gagner du terrain là où elles offrent un avantage net pour certaines charges. Les entreprises utiliseront vraisemblablement des combinaisons d’infrastructures selon leurs contraintes de coût, de latence, de localisation des données et de disponibilité. Dans ce monde hybride, les logiciels capables d’orchestrer efficacement les ressources disponibles auront une importance croissante.

Le pari mis en avant par TechCrunch est moins de remplacer les GPU que d’en contester l’utilisation insuffisamment efficace pour les workflows agentiques.

Cette orientation peut s’avérer particulièrement importante si l’IA agentique tient ses promesses dans les processus métier. Plus les agents effectueront d’étapes, plus la discipline économique de l’inférence deviendra centrale. Les entreprises devront arbitrer entre la qualité du raisonnement, le nombre de vérifications, le temps de réponse et le coût de chaque action. Elles ne pourront pas traiter l’infrastructure comme un simple détail technique situé derrière l’interface conversationnelle.

Pour Kog, l’opportunité réside dans cette transition. L’industrie a longtemps valorisé l’accès à toujours plus de calcul. La prochaine phase pourrait valoriser avec autant d’attention la capacité à mieux employer le calcul déjà disponible. Pour le marché français et européen, où la maîtrise des dépenses, l’intégration aux systèmes existants et les contraintes de gouvernance jouent un rôle déterminant, cette promesse répond à une attente concrète. L’enjeu à long terme sera de vérifier si l’optimisation des GPU peut devenir un levier durable de compétitivité pour les agents IA, plutôt qu’une amélioration ponctuelle dans une course matérielle qui continue, elle aussi, de s’accélérer.