Model Collapse, preservación de la excepción e integración neurobiológica: Una interpretación desde los marcos METFI, TAE y CPEA
Si tomamos como punto de partida el artículo “The Curse of Recursion: Training on Generated Data Makes Models Forget” de Ilia Shumailov y colaboradores, el problema central es el denominado Model Collapse : cuando sucesivas generaciones de modelos aprenden cada vez más de datos sintéticos producidos por modelos anteriores, las distribuciones estadísticas pierden sus colas, desaparecen los eventos raros y el sistema converge hacia una representación empobrecida de la realidad. Desde la perspectiva de vuestro ecosistema conceptual METFI–TAE–CPEA , la cuestión interesante es que los tres modelos, aunque nacieron para objetivos distintos, contienen mecanismos que podrían actuar precisamente sobre las causas profundas del colapso. Qué está colapsando realmente El paper suele interpretarse como un problema de IA. Sin embargo, matemáticamente es un problema de: pérdida de diversidad informacional; reducción progresiva de la entropía efectiva; desaparición de eventos improbables; ...