Un set di convalida è un insieme di dati utilizzati per addestrare l'intelligenza artificiale (AI) con l'obiettivo di trovare e ottimizzare il modello migliore per risolvere un dato problema. I set di convalida sono noti anche come set di sviluppo.
Un'intelligenza artificiale supervisionata viene addestrata su un corpus di dati di addestramento. L'addestramento, l'ottimizzazione, la selezione del modello e il test vengono eseguiti con tre diversi set di dati: il set di addestramento, il set di convalida e il set di test. I set di convalida vengono utilizzati per selezionare e ottimizzare il modello AI finale.
I set di addestramento costituiscono la maggior parte dei dati totali, con una media del 60%. Durante i test, i modelli si adattano ai parametri in un processo noto come regolazione dei pesi.
Il set di convalida costituisce circa il 20 percento della maggior parte dei dati utilizzati. Il set di validazione contrasta con training e test set in quanto è una fase intermedia utilizzata per scegliere il modello migliore e ottimizzarlo. La convalida è talvolta considerata una parte della fase di formazione. È in questa fase che avviene l'ottimizzazione dei parametri per l'ottimizzazione del modello selezionato. L'overfitting viene verificato ed evitato nel set di convalida per eliminare gli errori che possono essere causati per previsioni e osservazioni future se un'analisi corrisponde in modo troppo preciso a un set di dati specifico.
I set di test costituiscono il 20% della maggior parte dei dati. Questi set sono dati e risultati ideali con cui verificare il corretto funzionamento di un'intelligenza artificiale. Il set di test è garantito come i dati di input raggruppati insieme agli output corretti verificati, generalmente mediante verifica umana. Questo set ideale viene utilizzato per testare i risultati e valutare le prestazioni del modello finale.
È generalmente considerato poco saggio tentare ulteriori aggiustamenti dopo la fase di test. Il tentativo di aggiungere un'ulteriore ottimizzazione al di fuori della fase di convalida aumenterà probabilmente l'overfitting.