Perché i modelli multi‑vettore richiedono una compressione efficace

I modelli di embedding multi‑vettore assegnano a ciascun token della query la possibilità di trovare una corrispondenza in un documento. Questo approccio rende la ricerca estremamente espressiva, poiché parti diverse della query possono allinearsi con parti diverse del documento.

Tuttavia, la rappresentazione di ogni token come vettore porta a un rapido incremento del numero di vettori. Un corpus contenente milioni di documenti può facilmente raggiungere centinaia di milioni di vettori, occupando diverse decine di gigabyte anche con quantizzazione a 2‑4 bit.

Il token pooling riduce queste rappresentazioni fondendo i vettori di token simili. Più aggressiva è la compressione, maggiore è il rischio di perdere informazioni utili per il recupero. Per questo è stato introdotto il pooling‑aware training, che addestra l’encoder a mantenere le informazioni critiche anche dopo il merging dei vettori.

Principi di funzionamento del pooling e del training consapevole

Il modello di base a vettore singolo comprime un intero documento in un unico vettore, mentre i modelli multi‑vettore, come ColBERT, mantengono una collezione di vettori contestuali per token. In un esempio pratico, una query su “laptop con lunga durata della batteria” può trovare la parte “laptop” in una sezione del documento e “batteria” in un’altra.

Con lo scoring MaxSim ogni vettore della query seleziona il miglior vettore del documento, e i punteggi vengono sommati:

MaxSim(Q,D) = Σq∈Q maxd∈D qᵀd

Con quantizzazione residuale a 4 bit, 200 vettori di 128 dimensioni richiedono 12,8 KB per documento (≈12,8 GB per un milione di documenti). Riducendo a 50 vettori per documento, la memoria scende a 3,2 GB mantenendo la stessa dimensionalità e precisione.

Hierarchical Token Pooling

Il HierarchicalTokenPooling raggruppa vettori di token simili tramite clustering gerarchico di Ward. Si parte da un gruppo per ogni vettore e si uniscono i due gruppi che provocano il più piccolo aumento della dispersione interna, misurata dalla somma dei quadrati delle distanze dal centroide.

Il risultato è una gerarchia di gruppi di dimensioni crescenti, dalla quale si può scegliere il livello di compressione più adatto al budget di memoria. Ogni gruppo è rappresentato dalla media dei suoi vettori, normalizzata nuovamente per lo scoring MaxSim.

Controlli e varianti di pooling

    • poolfactor: indica la frazione di vettori da conservare (es. poolfactor = 4 mantiene circa un quarto dei vettori originali).
    • distance_threshold: un valore di soglia comune che permette un merging più aggressivo per documenti con contenuti meno distinti.
    • adaptive pooling: usa una soglia condivisa ma conserva più vettori per documenti con contenuti più vari.

Il primo token è tipicamente protetto dal merging; il pooling agisce solo sui vettori del documento, lasciando intatti quelli della query.

Addestramento consapevole del pooling

L’obiettivo è insegnare al modello a mantenere le corrispondenze utili anche dopo la compressione. Il principio è simile a quello delle Matryoshka embeddings, dove un obiettivo di retrieval è applicato a più larghezze di embedding, forzando i prefissi più piccoli a rimanere informativi.

Durante il training, ogni batch contribuisce con due loss:

L = ½ Lunpooled + ½ Lpooled

Il primo termine preserva le prestazioni con le rappresentazioni complete; il secondo spinge l’encoder a organizzare i token in modo che le informazioni cruciali sopravvivano al pooling.

Stima dei gradienti attraverso il clustering

Il clustering di Ward prende decisioni discrete su quali token raggruppare. Per consentire il back‑propagation, HierarchicalTokenPooling utilizza uno straight‑through estimator che passa i gradienti dai vettori poolati ai token originali senza differenziare le assegnazioni dei cluster.

In questo modo l’encoder riceve feedback sia sui risultati con rappresentazioni complete sia su quelli con rappresentazioni compresse, migliorando la robustezza del modello.

Implementazione pratica con Sentence‑Transformers

Il seguente esempio mostra come addestrare un modello multi‑vettore con pooling consapevole usando la libreria Sentence‑Transformers:

    • Definire il MultiVectorTokenPoolingLoss che avvolge una loss di ranking multi‑vettore (es. CachedMultiVectorMultipleNegativesRankingLoss).
    • Specificare due varianti di pooler: una senza pooling (unpooled) e una con pool_factor=4 (pooled).
    • Combinare le due loss con pesi uguali (½ + ½).
    • Utilizzare gradient caching per gestire mini‑batch di 64 esempi, mantenendo un batch di training di 256 per sfruttare più negativi in‑batch.
    • Calibrare il distancethreshold su un campione rappresentativo del corpus (variabile calibrationdocuments) per ottenere un numero medio di vettori desiderato (es. 16 vettori per documento).

Il script completo comprende:

    • Caricamento del dataset.
    • Definizione del trainer e della loss.
    • Valutazioni periodiche di retrieval (nDCG@10, MRR, ecc.).
    • Esecuzione locale tramite uv o in cloud con Hugging Face Jobs.

Risultati sperimentali e trade‑off spazio‑qualità

Con un modello standard (senza pooling‑aware training) e pool_factor=4, la performance nDCG@10 di NanoBEIR cade al 94,6 % rispetto al modello non compressato. Applicando il training consapevole del pooling, la ritenzione sale al 97,8 % mantenendo lo stesso budget di spazio.

Questo miglioramento è ottenuto senza aumentare la dimensionalità dei vettori né modificare la quantizzazione residuale; la differenza è dovuta esclusivamente alla capacità del modello di organizzare i token in gruppi più informativi prima del merging.

Conclusioni e linee guida per l’adozione

Il pooling consapevole di token è una strategia efficace per ridurre drasticamente il numero di vettori per documento, mantenendo al contempo una alta qualità di recupero. Le principali raccomandazioni per chi intende adottarlo sono:

    • Calibrare il distance_threshold su un campione rappresentativo per controllare il numero medio di vettori.
    • Proteggere il primo token (spesso il token di CLS) dal merging per preservare un “anchor” stabile.
    • Utilizzare una loss combinata (unpooled + pooled) per guidare l’encoder sia nella fase completa che in quella compressa.
    • Sfruttare gradient caching per mantenere batch di training grandi e migliorare la stabilità del ranking.
    • Testare diverse configurazioni di pool_factor (es. 2, 4, 8) per valutare il miglior compromesso tra spazio e qualità in base alle esigenze specifiche del proprio indice.

In sintesi, l’addestramento consapevole del pooling trasforma una semplice compressione in un processo guidato, consentendo di gestire colossi di documenti con risorse di memoria limitate senza sacrificare la precisione del recupero.