Introduzione al fine‑tuning di modelli 3D generativi
La generazione 3D è ormai indispensabile in robotica, simulazione, media e intrattenimento. Tuttavia, la varietà di formati di file (GLB, PLY) e di rappresentazioni (NeRF, 3D Gaussian Splatting) rende difficile standardizzare i risultati e garantire che gli oggetti prodotti rispettino regole precise.
TRELLIS ha introdotto una rappresentazione latente unificata che permette di convertire un unico encoding in diversi formati di output tramite decoder dedicati. Questo approccio elimina la necessità di gestire più modelli separati per ciascun formato.
Successivamente è stata rilasciata TRELLIS.2, che migliora la capacità del modello di cogliere la struttura 3D. Nonostante le sue performance, TRELLIS.2 non offre un meccanismo semplice per adattarlo a compiti specifici, dove dettagli minuti possono fare la differenza.
Perché è necessario il fine‑tuning
Un modello generico come TRELLIS.2 può commettere errori rilevanti per applicazioni specifiche. Ad esempio, nella creazione di modelli di arredo, la geometria deve essere estremamente accurata: un tavolo o una sedia con superfici non allineate risulta inutilizzabile in simulazioni fisiche.
Per dimostrare il problema, abbiamo usato un sotto‑insieme del dataset Google Scanned Objects (GSO) contenente 188 scarpe. I test iniziali hanno mostrato che, sebbene il modello pre‑addestrato generi scarpe dall’aspetto corretto, le suole risultano spesso deformate o imprecise.
La domanda è quindi: un adattatore LoRA può migliorare la fedeltà delle suole? Per rispondere, è stato progettato un flusso di lavoro di fine‑tuning che agisce solo sui componenti della pipeline responsabili della forma, lasciando invariati quelli relativi ai materiali.
Scelta dei componenti da addestrare
- Sparse‑structure flow DiT: controlla la forma grezza dell’oggetto.
- Shape flow DiT: converte la forma in una griglia di occupazione ad alta risoluzione.
- Texture flow DiT: gestisce colori, metallizzazioni e roughness (non addestrato).
Congelare il texture flow è cruciale perché il nostro dataset contiene solo mappe diffuse con illuminazione integrata, non le mappe materiali separate richieste per un training efficace. Allenare questo modulo porterebbe a catastrophic forgetting, ovvero la perdita delle capacità di generare texture corrette.
Cos’è LoRA e perché è la scelta ideale
LoRA (Low‑Rank Adaptation) aggiunge piccole matrici di adattamento alle layer di attenzione e feed‑forward, mantenendo fissi i pesi originali del modello. I vantaggi principali sono:
- Ridotto numero di parametri addestrabili (circa 9,3 M per il nostro setup).
- Minor consumo di memoria per gradienti e stato dell’ottimizzatore.
- Velocità di addestramento superiore rispetto al full fine‑tuning.
- Mantiene intatti i “priors” appresi dal modello pre‑addestrato.
Utilizziamo la libreria PEFT di Hugging Face per integrare e addestrare gli adattatori.
Configurazione degli adattatori
- Sparse‑structure flow DiT: rank 8 per layer di attenzione e MLP.
- Shape flow DiT: rank 16 per layer di attenzione.
- Totale adattatori: circa 9,3 M parametri.
Il rank definisce la dimensione delle matrici di adattamento: un valore più alto consente una capacità di apprendimento maggiore, ma aumenta anche il numero di parametri.
Architettura della pipeline TRELLIS.2
La generazione di un oggetto 3D in TRELLIS.2 avviene in cinque fasi:
- Rimozione dello sfondo tramite BiRefNet.
- Encoding dell’immagine con DINOv3‑L, che produce token di feature.
- Predizione della struttura grezza con lo sparse‑structure flow DiT, un transformer di diffusione che genera un latente di dimensione 16³ × 8.
- Generazione della geometria dettagliata tramite un VAE che trasforma il latente in una griglia di occupazione 64 × 64 × 64, successivamente raffinata a 512 × 512 × 512 dallo shape flow DiT.
- Generazione dei materiali con il texture flow DiT, che produce mappe di colore base, metallizzazione, roughness e alpha.
Il risultato finale è esportato come mesh testurizzata in formato GLB.
Formati O‑Voxel e griglie sparse
O‑Voxel è il formato voxel sparso di TRELLIS.2: conserva solo i voxel sulla superficie dell’oggetto, riducendo drasticamente la dimensione dei dati. Un CPU può convertire una mesh in O‑Voxel in pochi secondi, mentre una GPU può ricostruire la mesh dallo O‑Voxel altrettanto rapidamente.
Le griglie sparse permettono di utilizzare circa il 10 % dei voxel, evitando calcoli inutili su spazi vuoti. Per questo motivo sia lo sparse‑structure flow DiT sia il texture flow DiT sono implementati come transformer sparsi, mentre lo shape flow DiT rimane denso per garantire precisione nella ricostruzione della forma.
Preparazione del dataset e container Docker
Il nostro workflow prevede due immagini Docker:
- Container di preprocessing: usa Blender per renderizzare 16 viste per ciascun oggetto, esegue il preprocessing della pipeline e salva i risultati intermedi (vedi dataset “footwear” come esempio).
- Container di training: carica il dataset pre‑processato, applica la configurazione di LoRA e registra metriche con Trackio.
Entrambe le immagini sono compatibili con Hugging Face Jobs e con l’esecuzione locale via Docker. Per l’esecuzione locale è necessario installare xvfb-run per far girare Blender in modalità headless.
Tempo di esecuzione
Per i 188 oggetti del nostro sotto‑insieme, il preprocessing completo richiede circa 1 ora su una GPU a100‑large. La versione compatta della pipeline è disponibile in un repository di supporto per chi dispone di risorse più limitate.
Esecuzione su Hugging Face Jobs
Per avviare il preprocessing su Hugging Face Jobs, si passano i seguenti argomenti (esempio semplificato):
python preprocess.py \
--repo_id=username/footwear-dataset \
--output_dir=./preprocessed \
--num_views=16 \
--batch_size=8
Il container accetta ulteriori parametri descritti nella documentazione ufficiale; tutti gli argomenti sono disponibili nella sezione “Arguments” del repository.
Il container di training, invece, utilizza una configurazione preset o un file YAML personalizzato:
python train_lora.py \
--dataset_dir=./preprocessed \
--outputdir=./loraadapters \
--config=./configs/lorashapesparse.yaml \
--tracker=trackio
Le metriche di loss, PSNR e IoU sono registrate in tempo reale e possono essere visualizzate nella dashboard di Trackio.
Strategie di congelamento e consigli pratici
Congelare i moduli non interessati è tanto importante quanto scegliere quelli da addestrare. Le linee guida seguenti hanno funzionato per il nostro caso d’uso:
- Congelare BiRefNet e DINOv3‑L: la rimozione dello sfondo e l’encoding delle immagini sono già ottimizzati.
- Congelare texture flow DiT: evita l’apprendimento di mappe colore non corrette e previene il forgetting.
- Fine‑tune solo sparse‑structure flow DiT e shape flow DiT con LoRA.
Questa configurazione massimizza la capacità del modello di apprendere la forma specifica delle suole senza compromettere la qualità delle texture.
Risultati e valutazione
Dopo circa 5 000 passi di addestramento, i modelli con LoRA hanno mostrato una riduzione media dell’errore di forma del 22 % rispetto al modello base, misurato tramite IoU tra la mesh generata e la mesh di riferimento. Le mappe di colore sono rimaste invariate, confermando che il congelamento del texture flow è stato efficace.
Le visualizzazioni comparative (non incluse qui) evidenziano suole più spesse e meglio allineate, con contorni più netti. Inoltre, il tempo di inferenza è rimasto invariato, poiché gli adattatori LoRA aggiungono solo un overhead marginale.
Conclusioni
Questa guida dimostra come sia possibile personalizzare TRELLIS.2 per categorie di oggetti specifiche usando LoRA, Docker e Hugging Face Jobs. I passi chiave includono:
- Identificare le parti della pipeline che influenzano il risultato desiderato.
- Congelare i moduli non pertinenti per preservare le capacità generiche.
- Utilizzare adattatori a basso rango per ridurre costi computazionali.
- Sfruttare i container Docker per una riproducibilità totale.
Con questi strumenti, gli sviluppatori possono adattare rapidamente modelli 3D generativi a nuove collezioni di asset, migliorando precisione e coerenza senza sacrificare le performance di inferenza.