Recentemente ho letto un articolo scritto dal CTO di Creao, Peter Pang
parla di come hanno costruito l'architettura di base per un AI Agent, e c'è una parte che mi ha colpito molto
Ha detto che hanno preso una decisione che suona un po' controintuitiva: hanno intenzionalmente reso l'AI "stupida"
➢➢➢
Hanno diviso il sistema in due parti
Una parte chiamata Host, quella intelligente, responsabile della gestione degli account, delle password, dei soldi, dei dati, tutte le cose importanti sono qui
L'altra parte chiamata Sandbox, quella intenzionalmente "muted", l'AI opera qui ma non può toccare alcuna chiave reale o account
Se vuole richiamare qualche servizio esterno, deve fare richiesta e solo se l'Host approva, viene inoltrata
Perché progettare in questo modo?
Ha citato un errore comune tra gli ingegneri:
Ogni volta che aggiungono una nuova funzionalità, per comodità, danno all'AI più permessi
Una o due volte non si vedono problemi, ma col tempo, quell'AI che esegue compiti, diventa silenziosamente il luogo con i permessi più elevati nel sistema
Se succede qualcosa, è un disastro totale
Al contrario, se il sandbox dell'AI fin dall'inizio avesse solo diritti di esecuzione, senza alcuna identità e chiave
anche se qualcuno lo attaccasse o lo ingannasse, potrebbe solo ottenere un certificato temporaneo per quel compito, e nient'altro
//
Dopo aver letto, ho pensato a come ho impostato il "guida esperta del mercato azionario" su CreaoAI
Molti fan mi chiedono, perché l'esperto non mi dice direttamente "questo si può comprare"
In realtà, la logica è la stessa
L'esperto può aiutarti a girare un'azione come un calzino
Ti mostra fondamentali, posizioni istituzionali, punti di rischio
Ma la decisione di comprare non l'ho mai fatta fare all'AI, quel confine è stato tracciato, non si sposta solo perché ci sono molte domande
L'AI ti aiuta ad analizzare è una cosa, prendere decisioni per te è un'altra
Se succede qualcosa, i soldi sono andati, e pentirsi è troppo tardi.
//
Peter ha detto che quello che vogliono non è un sandbox che diventa sempre più capace
ma un Host intelligente che circonda il sandbox in modo molto rigoroso.
Penso che questa frase si applichi anche al design dei prodotti AI: più chiari sono i confini, più gli utenti si sentono tranquilli nel lasciare a te le questioni davvero importanti
Il contenuto sopra è solo a scopo informativo e non costituisce un consiglio di investimento. DYOR #美股
parla di come hanno costruito l'architettura di base per un AI Agent, e c'è una parte che mi ha colpito molto
Ha detto che hanno preso una decisione che suona un po' controintuitiva: hanno intenzionalmente reso l'AI "stupida"
➢➢➢
Hanno diviso il sistema in due parti
Una parte chiamata Host, quella intelligente, responsabile della gestione degli account, delle password, dei soldi, dei dati, tutte le cose importanti sono qui
L'altra parte chiamata Sandbox, quella intenzionalmente "muted", l'AI opera qui ma non può toccare alcuna chiave reale o account
Se vuole richiamare qualche servizio esterno, deve fare richiesta e solo se l'Host approva, viene inoltrata
Perché progettare in questo modo?
Ha citato un errore comune tra gli ingegneri:
Ogni volta che aggiungono una nuova funzionalità, per comodità, danno all'AI più permessi
Una o due volte non si vedono problemi, ma col tempo, quell'AI che esegue compiti, diventa silenziosamente il luogo con i permessi più elevati nel sistema
Se succede qualcosa, è un disastro totale
Al contrario, se il sandbox dell'AI fin dall'inizio avesse solo diritti di esecuzione, senza alcuna identità e chiave
anche se qualcuno lo attaccasse o lo ingannasse, potrebbe solo ottenere un certificato temporaneo per quel compito, e nient'altro
//
Dopo aver letto, ho pensato a come ho impostato il "guida esperta del mercato azionario" su CreaoAI
Molti fan mi chiedono, perché l'esperto non mi dice direttamente "questo si può comprare"
In realtà, la logica è la stessa
L'esperto può aiutarti a girare un'azione come un calzino
Ti mostra fondamentali, posizioni istituzionali, punti di rischio
Ma la decisione di comprare non l'ho mai fatta fare all'AI, quel confine è stato tracciato, non si sposta solo perché ci sono molte domande
L'AI ti aiuta ad analizzare è una cosa, prendere decisioni per te è un'altra
Se succede qualcosa, i soldi sono andati, e pentirsi è troppo tardi.
//
Peter ha detto che quello che vogliono non è un sandbox che diventa sempre più capace
ma un Host intelligente che circonda il sandbox in modo molto rigoroso.
Penso che questa frase si applichi anche al design dei prodotti AI: più chiari sono i confini, più gli utenti si sentono tranquilli nel lasciare a te le questioni davvero importanti
Il contenuto sopra è solo a scopo informativo e non costituisce un consiglio di investimento. DYOR #美股