Cloudflare è lieta di annunciare il lancio di Clef-omni, un modello decisionale in grado di elaborare input audio, video, immagini e testo. Inoltre, abbiamo ridotto il prezzo di Clef-flash e migliorato le prestazioni di Clef. L'innovazione e l'iterazione rapida sono nel nostro DNA, e questo è solo l'inizio.
Clef-omni: multimodalità completa
Il nuovo modello Clef-omni è in grado di elaborare input audio, video, immagini e testo. Questo rappresenta un cambiamento di paradigma per i modelli decisionali, che finora erano principalmente basati su testo. Con Clef-omni, è possibile inviare un unico modello per prendere decisioni su qualsiasi modalità, senza dover impostare pipeline complesse.
Per iniziare con Clef-omni, è possibile utilizzare il seguente comando curl:
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLAREACCOUNTID/ai/run/@cf/cloudflare/clef-omni \
-X POST \
-H "Authorization: Bearer $CLOUDFLAREAUTHTOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "clef-omni",
"state": "Review the installation: a photo of the unit, an audio recording of it running, and a video of the fan.",
"images": ["data:image/png;base64,
"], "audio": ["data:audio/mpeg;base64,
"], "videos": ["data:video/mp4;base64,
"], "questions": {
"label_visible": {"type": "noul", "instructions": "Is the model and serial number label visible in the photo?"},
"sounds_normal": {"type": "noul", "instructions": "Does the unit sound like it is running smoothly, without rattling or grinding?"},
"fan_running": {"type": "noul", "instructions": "Is the fan running in the video?"}
}
}'
Architettura e prestazioni
Clef-omni è costruito su una base di Qwen3-Omni-30B-A3B-Instruct mixture-of-experts (MoE), in grado di elaborare testo, immagini, audio e video direttamente all'interno di una singola pipeline. Il modello esegue una rapida prefill pass su tutto il payload, valutando tutte le modalità e le opzioni di parametro valide contemporaneamente.
Le decisioni calibrate e legate allo schema ora gestiscono senza soluzione di continuità testo, immagini, audio e video sincronizzato in una singola chiamata API. Clef-omni è anche veloce: le decisioni basate solo su testo tornano in circa 130 ms alla mediana, le immagini in circa 150 ms e i clip audio in pochi centinaia di millisecondi. Anche un clip video completo di 21 secondi con audio è valutato in circa 1,5 secondi, il tutto in una singola chiamata API.
Benchmark
I nostri benchmark mostrano prestazioni solide in vari test, anche con nuove modalità e architettura MoE. Ecco alcuni risultati:
- BFCL · case exact: 98.2
- ToolRet · nDCG@10: 66.6
- API-Bank · accuracy: 92.7
- Home appliances · case exact: 69.3
- When2Call · accuracy: 63.3
- BANKING77 · macro-F1: 94.8
- CLINC150+OOS · macro-F1: 97.7
- BRIGHT · nDCG@10: 42.0
- Amazon ESCI · macro-F1: 57.8
- PhishNChips · accuracy: 73.2
Clef-flash: più economico
Abbiamo ascoltato i vostri feedback e abbiamo ottimizzato Clef-flash per renderlo più economico. Ora Clef-flash è più economico di Jev, mantenendo comunque prestazioni e qualità elevate. Ecco i nuovi prezzi:
- Clef-flash: $0.038 per M input tokens (precedentemente $0.09)
- Clef: $0.24 per M input tokens
- Clef-omni: $0.15 per M input tokens
Per ottenere prezzi più bassi, abbiamo ridotto la finestra di contesto di Clef-flash a 24k, rispetto ai 64k precedentemente annunciati. Tuttavia, i pesi del modello su Hugging Face rimangono inalterati e sono stati addestrati per supportare una finestra di contesto di 256k se si sceglie di auto-ospitare.
Clef: più veloce
Abbiamo migliorato le prestazioni del modello Clef con nuove ottimizzazioni alla versione ospitata di Clef su Workers AI. Nessun nuovo peso del modello è stato rilasciato, poiché la maggior parte delle ottimizzazioni che abbiamo apportato sono a livello di infrastruttura di servizio, non in modo sostanziale ai pesi o all'architettura del modello.
Cloudflare continua a innovare e migliorare i suoi modelli decisionali, offrendo soluzioni sempre più veloci, economiche e complete. Stay tuned per ulteriori aggiornamenti e miglioramenti.