Article GPT-6 e Microsoft Foundry: guida agli agenti AI in produzione

All’inizio di quest'anno un CxO mi ha detto che la spesa per l'AI ha superato il cloud come voce in più rapida crescita nel suo budget tecnologico. Quasi nulla era stato pianificato. Erano token: centinaia di milioni di chiamate a modelli di frontiera, in esecuzione in flussi di lavoro che nessuno stava davvero monitorando.

Il 22 settembre, Microsoft ha reso GPT-6 Sol e GPT-6 Luna generalmente disponibili in Microsoft Foundry, affiancandoli a GPT-6 Astra. Si tratta di un rilascio importante, che rende quella conversazione più facile da affrontare e più facile da sbagliare. Più facile, perché la fascia di prezzo tra i tre modelli è abbastanza ampia da modificare la maggior parte delle fatture. Più facile da sbagliare, perché il listino prezzi è solo una piccola parte di ciò che determina se un agente raggiunge la produzione e vi rimane.

Il rilascio: tre modelli, un divario di prezzo di cento volte

Microsoft posiziona Astra per il ragionamento complesso, l'ingegneria del software e l'uso del computer, Sol per attività di produzione generali e Luna per l'estrazione, la sintesi e l'instradamento di grandi volumi. Tutti e tre sono disponibili come distribuzioni Standard nelle Data Zone dell'UE e degli Stati Uniti, oltre che a livello globale. Questi sono i prezzi per la Data Zone dell'UE:

Astra costa 100 volte rispetto a Luna, sia in input che in output. Sol si attesta a un quinto di Astra. A titolo illustrativo, considera un passaggio che legge 2.000 token e ne scrive 300. A questi prezzi, costa circa 0,042 \$ con Astra, 0,0084 \$ con Sol e 0,0004 \$ con Luna. Eseguilo 100.000 volte al mese e la fattura sarà di circa 4.200 \$, 840 \$ o 42 \$.

Ho visto questo stesso principio all'opera nella nostra divisione di ingegneria. Abbiamo analizzato circa 90.000 documenti contrattuali del governo del Regno Unito su quattro GPU on-premise. Un agente di codifica di frontiera ha scritto la pipeline. Modelli più piccoli in esecuzione sul nostro hardware si sono occupati di tutta la lettura. Questa architettura è stata dettata da restrizioni sui dati piuttosto che dal costo, ma presenta la stessa struttura: il modello costoso si occupa del ragionamento laddove necessario, mentre quelli più economici gestiscono il volume.

Costo per attività: la misura giusta, ma incompleta

Le indicazioni di Microsoft invitano a guardare oltre il prezzo per token e a comprendere il costo per attività. Concordo con questa visione e farei un ulteriore passo avanti, perché il costo di un'attività è composto da tre parti: token, elaborazione (compute) e la supervisione umana circostante. I token compaiono in fattura. La supervisione di solito no.

Un modello più economico che invia una parte maggiore del suo output a una persona per la correzione può costare di più per attività completata rispetto a uno più costoso, una volta calcolato il tempo di quella persona. Allo stesso modo, un'attività eseguita a basso costo e in modo corretto può comunque essere un'attività di cui nessuno aveva bisogno. Il costo per attività ti dice quanto costa un'attività. Non ti dice se il risultato per il cliente sia migliorato, ed è questa la domanda che un CFO finirà per porsi.

Rispondere a questa domanda richiede molto più di un buon router di modelli. Richiede una struttura attorno agli agenti.

La struttura: quattro parti, e il modello risiede in una di esse

Al centro dell'AI Centric Enterprise Architecture Framework di Insight c'è un'immagine semplice, un portale di pietra simile a quelli di Stonehenge: due pilastri verticali, un architrave appoggiato sopra e il terreno su cui poggiano tutti e tre gli elementi. Ogni parte sostiene un peso e ognuna ha un compito diverso.

Un pilastro è la tecnologia: l'ambiente tecnologico su cui operano gli agenti, dall'infrastruttura fino all'esperienza utente. Foundry, Azure e Agent 365 si trovano qui, e sono solidi montanti. L'altro pilastro è il business: i ruoli e il processo, ovvero chi esegue il lavoro, chi ne è responsabile e come cambia il lavoro man mano che l'AI ne assume una parte maggiore. La governance è l'architrave che unisce entrambi, determinando cosa viene creato, chi ne è il proprietario e ciò che ciascuna funzionalità è autorizzata a fare. Le fondamenta sono la conoscenza: una descrizione formale di ciò che l'organizzazione sa, a cui ogni agente accede per arrivare ai dati sottostanti.

In molte delle conversazioni che ho, l'impegno si è concentrato innanzitutto sul pilastro tecnologico. Questo è comprensibile, perché è lì che si concentrano le dimostrazioni. Ma la maggior parte di ciò che determina un risultato in produzione risiede negli altri tre. Quattro domande ti mostrano dove.

Cosa fa Insight: partire da ciò che è già in esecuzione

La prima conversazione riguarda raramente un nuovo modello. Riguarda ciò che è già in esecuzione: agenti che un team ha creato lo scorso trimestre, funzionalità AI attivate all'interno di software acquistati dall'organizzazione anni fa, strumenti adottati senza che a nessuno venisse chiesto nulla. Iniziamo individuandoli, collocando ogni passaggio su quella scala e nominando un responsabile.

Da qui, Insight supporta il percorso dalla sperimentazione alla produzione a tappe, partendo dal nostro AI Centric Enterprise Architecture Framework e attingendo ai nostri Agentic Enterprise Accelerators. La prontezza aziendale e tecnologica vengono verificate insieme prima di qualsiasi avanzamento:

• Scegliere i modelli in base alle prove. Valutiamo Astra, Sol e Luna rispetto alle attività specifiche dell'organizzazione in Foundry e creiamo una proiezione dei costi per ciascun caso d'uso che includa la supervisione umana.
• Dimostrare l'efficacia prima di scalare. Le nuove funzionalità vengono inizialmente eseguite in parallelo al processo esistente, in modo che il confronto venga effettuato sui casi reali dell'organizzazione prima di qualsiasi passaggio di consegne.
• Concordare su cosa gli agenti possano fare affidamento. Prima di indirizzare gli agenti verso i dati, collaboriamo con il business per stabilire quali fonti siano autorevoli e come vengano definiti i termini specifici dell'organizzazione. I nostri Agentic Enterprise Accelerators aiutano a costruire quella descrizione condivisa dell'organizzazione, in modo che gli agenti vi siano ancorati.
• Scegliere cosa sviluppare per primo. Aiutiamo la leadership a classificare i casi d'uso in base a valore, fattibilità e riutilizzabilità, poiché la stessa funzionalità viene spesso richiesta da tre funzioni diverse con tre vocabolari differenti, finendo per essere sviluppata tre volte. Gli acceleratori supportano tale prioritizzazione e il rilascio regolamentato che ne consegue.
• Gestire la governance dell'ambiente Microsoft. In qualità di Microsoft Day 1 Launch Partner per Agent 365, Insight aiuta le organizzazioni a configurare e gestire le fondamenta di Azure, Foundry e Agent 365 su cui si basa tutto questo, incluse le scelte relative a region e residenza dei dati.

Nulla di tutto questo sostituisce ciò che Microsoft ha creato. Il Model Router, i limiti di token e i guardrail di Foundry sono i controlli corretti per il pilastro tecnologico, e noi li configuriamo come tali. Il resto della struttura è ciò che conferisce un reale significato a questi controlli per il business. Se stai ancora decidendo da dove iniziare, la nostra guida su come colmare il divario di implementazione dell'AI è un ottimo punto di partenza.

Cambio di prospettiva: stesso modello, risultato diverso

GPT-6 sarà disponibile per i tuoi concorrenti lo stesso giorno, tramite la stessa piattaforma e allo stesso prezzo. Non sarà il modello a differenziare gli agenti di un'organizzazione da quelli di un'altra. A farlo saranno il responsabile, le prove, l'ancoraggio e le decisioni su dove risiedono i dati.