🔐 Nella puntata di questa settimana ci occupiamo ancora di Mythos, il nuovo LLM di Anthropic, analizzando il blog di Aisle riguardante l'uso di small LLM, e il blog post di AI Security Institute. 🧪 In tema di AI applicata al codice, parliamo del paper 'Embarassingly Simple Self Distillation' di Apple. Si tratta di un metodo estremamente semplice: il modello genera codice, lo riusa come dataset per il fine tuning e modifica il suo comportamento in base a diversi parametri. Il risultato è un miglioramento della performance nel coding. 🤯 Molto interessante è il meccanismo alla base di SSD. Il modello non ha bisogno di supervisione umana diretta dal momento che impara da sé stesso. Separando token 'Lock' e token 'fork' SSD riesce a rendere il modello più o meno stabile a seconda delle necessità.
