Ho un amico programmatore che ha assemblato una workstation con una buona configurazione.
RTX 4090, 64G di RAM, quando l'ho comprata ho speso qualche mese di stipendio, e di solito la uso per cosa?
Riunione.
Dopo la riunione faccio un po' di relax, spengo il computer dopo il lavoro, è così.
Una macchina in grado di far girare DeepSeek, di implementare Llama e di sostenere mezza applicazione AI, la sua missione quotidiana principale è ricevere tre messaggi su DingTalk ogni mattina e poi entrare in uno stato di sonno apparente.
Questo non si chiama potenza di calcolo, si chiama tomba della potenza di calcolo.
Questo problema è più grande di quanto pensi.
Potresti pensare che sia solo uno spreco personale, che non ha nulla a che fare con il mondo.
Ma ho fatto un calcolo, in Cina ci sono circa 700 milioni di PC, e una buona parte di questi ha un utilizzo medio che non supera il 20%; e per il restante 80% del tempo, cosa stanno facendo?
Standby, blocco schermo, modalità protettiva: dopo che lo schermo si spegne, la differenza rispetto a un mattone è limitata al fatto che il mattone non ha ventole.
Dall'altra parte, le aziende di AI stanno spendendo un sacco di soldi per GPU.
Le grandi aziende stanno competendo per i server, i team piccoli non possono permetterseli, chiamare API è costoso, distribuire privatamente è costoso, vogliono eseguire un grande modello - lasciamo perdere, continuiamo a utilizzare API, paghiamo per token, quanto spendiamo non è chiaro.
A sinistra c'è un sacco di potenza di calcolo inutilizzata, a destra ci sono persone che hanno bisogno di potenza di calcolo, e in mezzo non c'è nulla - oppure, KeyCompute deve essere quel posto in mezzo a cui non c'è nulla.
Cos'è KeyCompute
In parole semplici: una piattaforma di servizi di potenza di calcolo AI.
In termini complessi: una piattaforma che ti permette di trasformare un computer inutilizzato in un nodo di calcolo, e ti consente anche di chiamare vari grandi modelli su richiesta.
Ma se devo dirti in parole semplici, ciò che fa KeyCompute è - applicare la logica del mercato dell'usato alla potenza di calcolo.
Se hai potenza di calcolo inutilizzata a casa, e altri ne hanno bisogno, KeyCompute costruisce questo ponte; la tua macchina esegue modelli per altri, la piattaforma fa i conti, tu guadagni, è come affittare una stanza inutilizzata su un piattaforma di affitto, solo che quello che affitti è CPU e GPU, e chi viene non è un viaggiatore, ma una serie di token.
Per chi chiama, KeyCompute è un'altra cosa: tutti i principali modelli (GPT, Claude, Gemini, DeepSeek, Llama) possono essere chiamati utilizzando un'interfaccia API standard, un solo Key, che gestisce tutto, senza dover registrare account ovunque, gestire costi ovunque, e controllare quale modello è andato in crash oggi.
La questione dei nodi consumer è più difficile del previsto
Potresti pensare: non è solo un PC personale che aiuta a eseguire modelli, sembra tutto qui.
No.
Primo problema: il tuo PC non ha un IP pubblico.
La maggior parte delle connessioni a banda larga domestiche, NAT traversal, indirizzi interni, gli operatori non ti permettono di avere un IP pubblico; se vuoi che le richieste degli altri bussino alla tua porta, mi dispiace, il numero civico non è pubblico, il corriere non può consegnare.
La strategia di KeyCompute è di collegare i nodi tramite un "polling attivo" - non aspetti che gli altri vengano a cercarti, ma sei tu a chiedere al server "c'è lavoro? Se c'è lavoro, dammi"; prendi i risultati, completali e restituiscili; in questo modo non hai bisogno di un IP pubblico, il firewall degli operatori non ti riguarda, e puoi connetterti anche con una normale connessione a banda larga.
Secondo problema: cosa fare se i nodi sono instabili.
Il tuo PC oggi esegue modelli, domani lo userai per giocare, dopodomani la tua famiglia guarderà video, e fra qualche giorno ci sarà un blackout, i nodi potrebbero scomparire in qualsiasi momento, questo è il destino dei dispositivi consumer.
La risposta di KeyCompute è il failover automatico - se un nodo scompare, il compito viene reinserito automaticamente, un altro nodo prende il comando, l'utente non se ne accorge, il sistema di routing controlla continuamente la salute dei nodi, assegnando lavoro solo a quelli attivi e escludendo automaticamente quelli inattivi.
Questo è chiamato alta disponibilità, e non far sapere agli utenti le complicazioni del tuo backend.
Una fattura, tutti i modelli
Chi ha già chiamato API ha un problema comune: le fatture sono disperse in sette o otto posti.
La fattura di OpenAI è negli Stati Uniti, per ricaricare serve una carta Visa, pagamento in dollari, e serve un proxy; la fattura di Anthropic è in un altro posto, il processo di ricarica è diverso; DeepSeek ora può essere usato direttamente in Cina, ma la sua fattura non corrisponde a quelle dei due sopra.
Alla fine, ti ritrovi a gestire quattro o cinque account, quattro o cinque API Key, quattro o cinque sistemi di fatturazione, e il tempo di riconciliazione mensile è più lungo del tempo effettivo di utilizzo.
KeyCompute ha uniformato questa cosa.
Tutti i modelli, un formato API compatibile con OpenAI standard, basta cambiare l'endpoint; il codice che prima chiamava GPT, basta cambiare una riga nell'URL, e subito puoi passare a DeepSeek o Gemini, ricariche tramite Alipay e WeChat, pagamento in RMB, fattura precisa per ogni singolo token consumato, senza dover indovinare.
Ogni chiamata blocca uno snapshot del prezzo al momento della richiesta; significa che se chiami oggi, il prezzo sarà quello di oggi, anche se domani la piattaforma aumenta i prezzi, le richieste di ieri non verranno rivalutate; questo dovrebbe essere un livello base di decenza.
Che cos'è questa "distribuzione di secondo livello"?
Nella pagina del prodotto è scritto "sistema di distribuzione di secondo livello".
Appena vedi queste quattro parole, potrebbe già risuonarti in testa la musica di sottofondo di alcune riunioni di vendita.
Non avere fretta.
La logica di distribuzione qui è piuttosto semplice: raccomandi KeyCompute a un amico, dopo che si registra, ogni volta che consuma, ricevi una certa percentuale di commissioni; non è un sistema a piramide, ma una normale ricompensa per raccomandazione, la maggior parte dei prodotti SaaS ha questo meccanismo di codice invito.
Nel campo delle API AI, il modello commissionale basato sull'uso è piuttosto ragionevole - se hai raccomandato un amico che chiama 1 milione di token al mese, dovresti effettivamente guadagnare di più rispetto a raccomandare uno che si è registrato e poi non ha mai effettuato il login.
Ma se davvero intendi fare di questo la tua attività principale, ti consiglio di riflettere su perché hai così tanti amici disposti a utilizzare API AI.
Il problema dello stack tecnologico
KeyCompute è scritto in Rust.
È una scelta che fa dire "wow" agli ingegneri e "e allora?" a chi non è ingegnere.
Il motivo per cui si usa Rust è solitamente uno solo: requisiti di prestazioni elevati, non possono esserci pause di GC, la sicurezza della memoria non può essere lasciata al caso; scenari come il gateway API AI - alta concorrenza, bassa latenza, ogni richiesta è in fase di fatturazione - sono effettivamente i punti in cui Rust ha un vantaggio.
Backend Axum, frontend Dioxus (anch'esso un framework frontend Rust, simile a React ma realizzato in Rust), database PostgreSQL, caching Redis.
L'intero stack è relativamente moderno, Docker Compose si avvia con un clic, per i team tecnici il costo di apprendimento non è alto.
Adatto a chi
Sviluppatori individuali: non vogliono gestire più account API, vogliono una chiamata unificata, pagamento in RMB, ricarica diretta in Cina; KeyCompute è più semplice rispetto a dover utilizzare un proxy per pagare in dollari.
Piccole e medie imprese: hanno più linee di business legate all'AI, necessitano di controllare unificatamente i permessi e l'uso delle API Key, non vogliono che i singoli team gestiscano i propri account.
Chi ha potenza di calcolo inutilizzata: se hai un PC con buone prestazioni a casa o in azienda, installa un client leggero, collegati al pool di nodi, esegui solo quando c'è una richiesta, altrimenti usa normalmente la macchina, guadagno passivo, ma i profitti dipendono dal volume di richieste effettive della piattaforma; non aspettarti troppo nelle fasi iniziali.
Partner ecologici: hanno una base utenti legata all'AI, vogliono lanciare rapidamente un set di servizi di intermediazione API, utilizzando le infrastrutture di KeyCompute per risparmiare sui costi di costruzione e trarre profitto dal sistema di distribuzione.
Per concludere
Quando questa cosa è stata discussa per la prima volta, il pensiero generale era: "C'è così tanta potenza di calcolo inutilizzata, perché non utilizzarla?"
Poi ho scoperto: dietro queste due parole c'è un sacco di problemi ingegneristici da risolvere, come connettersi senza IP pubblico, come gestire nodi instabili, come fare la fatturazione, come unificare i modelli multipli; ognuno di questi è un problema che potrebbe costituire un articolo tecnico a sé stante.
La valutazione della direzione di KeyCompute è corretta - la domanda di potenza AI sta crescendo, le risorse di calcolo inutilizzate stanno aumentando, due cose stanno accadendo contemporaneamente, e in mezzo dovrebbe esserci una piattaforma.
Per quanto riguarda se si possa realizzare, dipende dall'esecuzione.
Dopotutto, ci sono stati molti progetti che hanno chiuso nonostante avessero la direzione giusta, e ce ne sono altri che sono sopravvissuti anche con direzioni sbagliate; questo non ha nulla a che fare con la potenza di calcolo del tuo PC, e nemmeno con il fatto che il tuo PC prenda il sole ogni giorno.
Ma almeno, sta facendo qualcosa di significativo.
Il tuo PC che giace inattivo potrebbe non ricevere questo trattamento.
GitHub:
github.com/keycompute/keycompute
Contatti:
keycompute@163.com
#KeyCompute #GPT #Claude #DeepSeek #AI算力
Contenuti di OpenSea che ti interessano
Naviga | Crea | Acquista | Vendi | Aste
Segui il canale OpenSea di Binance
Essere aggiornati sulle ultime notizie