Oamenii de știință chinezi au îmbunătățit capacitățile rețelelor neuronale folosind genetica

Metoda GENOME (GENetic Optimisation for Model Evolution) utilizează mecanismele evoluției genetice, încrucișarea, mutația, selecția și moștenirea trăsăturilor, pentru a adapta rapid modelele la noi sarcini, scrie incrussia.ru.

Metodele tradiționale de personalizare a modelelor lingvistice necesită seturi mari de date partiționate și resurse computaționale semnificative. Abordărilor existente de combinare a modelelor le lipsește flexibilitatea și capacitatea de a se adapta la noi sarcini în timp real. GENOME depășește aceste limitări și permite modelelor să învețe noi abilități chiar și pe seturi de date mici.

În cadrul experimentelor, cercetătorii au utilizat modele din familia gemma-2-2b-it. Rețelele neuronale au fost antrenate suplimentar cu GENOME pe parcursul a 10 generații, la fiecare dintre acestea parametrii modelelor fiind optimizați treptat.

Cercetătorii estimează că noua abordare surclasează metodele de adaptare a modelelor de ultimă generație după mai multe criterii. Sistemul depășește cel mai bun model individual în medie cu 24,06% și un ansamblu de algoritmi cu 10,75%. Rețelele neuronale GENOME s-au descurcat deosebit de bine în sarcinile care necesită un raționament profund.

Spre deosebire de alte metode care își pierd eficiența pe mai multe sarcini, noua tehnică prezintă performanțe stabile în majoritatea domeniilor de cunoștințe.

Anterior, divizia B2B Tech a Yandex a deschis accesul la preînvățarea cu metoda LoRA pentru clienții întreprinderi. Cu ajutorul acestei tehnici, modelele lingvistice ale companiilor pot fi adaptate la sarcini de afaceri specifice.

Acum ne puteți urmări și pe Telegram, Facebook și Instagram pentru a fi la curent cu ultimele știri.