Sobreajuste en cribado virtual: cómo corregir el modelo

Llevo años revisando publicaciones de cribado virtual y conozco el truco: la cifra suele obtenerse con una partición aleatoria que coloca en el conjunto de prueba moléculas prácticamente clónicas de las del entrenamiento. Eso no es validar un modelo; es evaluarlo sobre datos que, en buena medida, ya ha memorizado.

El sobreajuste en cribado virtual con IA no es un problema menor ni una preocupación académica abstracta. Es una de las razones por las que tantos candidatos prometedores anunciados por la industria no sobreviven al primer ensayo bioquímico fuera del laboratorio. Y lo peor es que el problema tiene solución, aunque exige romper con varias inercias muy instaladas en la práctica computacional.

No basta con entrenar un algoritmo más grande, añadir más descriptores o cambiar una red neuronal por otra. Antes hay que responder a una pregunta menos vistosa y bastante más incómoda: ¿contra qué tipo de moléculas estamos midiendo el modelo? Si la respuesta es contra compuestos muy parecidos a los que ya ha visto, la métrica puede ser impecable y el experimento, irrelevante.

El espejismo de la división aleatoria: por qué tus métricas engañan

Una partición habitual reserva entre el 70 y el 80 % de los datos para entrenamiento y entre el 20 y el 30 % para prueba. En una partición en tres conjuntos, las proporciones deben definirse de forma explícita y sumar el 100 %: por ejemplo, entrenamiento, validación y prueba. Lo que no puede hacerse es escribir 70/20/30 como si se tratara de una división entre entrenamiento y prueba, porque esa combinación suma el 120 % y no describe ningún reparto válido.

El problema importante, en cualquier caso, no es la aritmética. Es la aleatoriedad aplicada a un espacio químico que no es aleatorio.

La partición aleatoria es heredera directa de prácticas muy útiles en visión por computador y procesamiento del lenguaje natural. En química medicinal puede convertirse en una trampa. Si dos moléculas comparten un esqueleto químico muy parecido —algo que suele medirse con el coeficiente de Tanimoto—, el modelo aprende durante el entrenamiento que esa zona del espacio químico responde de una determinada manera ante una diana. Cuando en la evaluación aparece un análogo cercano, lo clasifica correctamente no necesariamente porque haya aprendido la relación entre estructura y actividad, sino porque ya ha visto buena parte del patrón.

Esto produce lo que en estadística se conoce como fuga de similitud. El modelo parece predecir con precisión, pero en realidad está reconociendo, no generalizando. En un conjunto de datos de cribado virtual donde se repiten familias químicas, sustituyentes y andamios moleculares, la distancia entre entrenamiento y prueba puede ser mucho menor de lo que sugiere la división formal.

La diferencia es crucial. Un compuesto de prueba no es realmente una novedad para el modelo sólo porque tenga otro identificador o porque haya sido colocado al otro lado de una frontera aleatoria. Si conserva el mismo andamio, una geometría parecida y un patrón de sustitución reconocible, la evaluación está comprobando hasta qué punto el algoritmo recupera vecinos químicos conocidos. Esa pregunta puede ser válida durante una fase exploratoria, pero no debe confundirse con una prueba de generalización.

Hay varias señales que delatan este problema:

• El rendimiento es extraordinariamente alto en la partición aleatoria y cae con brusquedad cuando se separan familias químicas.
• Las moléculas del conjunto de prueba tienen vecinos muy próximos en el conjunto de entrenamiento.
• El modelo funciona bien con una diana o una colección concreta, pero no conserva el rendimiento al cambiar de campaña, ensayo o procedencia de los datos.
• Las curvas de aprendizaje parecen estabilizarse, aunque la validación siga apoyándose en compuestos casi duplicados desde el punto de vista químico.
• La importancia de las variables se concentra en descriptores que actúan como marcas de familia, tamaño o composición, en lugar de capturar relaciones farmacológicas más transferibles.

La fuga de similitud no siempre es un error de programación. A menudo es una consecuencia lógica de haber mezclado en el mismo conjunto moléculas que pertenecen a una misma serie de optimización. El código puede ejecutarse sin fallos, las semillas aleatorias pueden estar fijadas y el informe puede ser perfectamente reproducible. Lo que falla es la pregunta experimental.

La consecuencia práctica es directa: un equipo que entrena con una partición aleatoria, valida con un AUROC alto y envía los compuestos al laboratorio puede estar perdiendo tiempo y dinero. En el peor de los casos, además, publica resultados que otros equipos no lograrán reproducir cuando intenten trabajar con familias químicas nuevas.

Una molécula no es nueva para el modelo sólo porque aparezca en la carpeta de prueba.

Hay otro matiz que suele perderse. La partición aleatoria no es inútil por definición. Puede servir para depurar el código, comparar rápidamente arquitecturas o comprobar que el modelo ha aprendido alguna señal básica de los datos. También puede ser razonable cuando el objetivo explícito consiste en priorizar análogos dentro de una serie química ya conocida. Lo que no es razonable es presentarla como evidencia suficiente de que el sistema descubrirá actividad en regiones no exploradas del espacio químico.

Más allá del scaffold split: los límites de la separación estructural

Hace una década, la partición por andamios moleculares, conocida como scaffold split, se convirtió en la solución intuitiva al problema. La lógica era razonable: separar los conjuntos asegurándose de que el entrenamiento y la prueba no compartieran el esqueleto molecular principal debería obligar al modelo a aprender relaciones químicas genuinas, en lugar de limitarse a memorizar familias. Y durante un tiempo pareció funcionar.

El problema es que un andamio diferente no significa necesariamente un compuesto diferente. Dos moléculas pueden tener esqueletos formales distintos y conservar una similitud química global elevada cuando se evalúan con Tanimoto o mediante descriptores fisicoquímicos. Cambiar un anillo aromático por otro, sustituir un heteroátomo o alterar la forma en que se define el esqueleto no garantiza que desaparezca la relación farmacológica.

El ejemplo clásico es comparar un anillo de benceno con uno de piridina. Desde una definición estricta, el andamio puede cambiar. Sin embargo, el tamaño, la planitud, la distribución electrónica y buena parte de la geometría pueden mantenerse. Si el farmacóforo apenas se mueve, el modelo continúa recibiendo una pista muy parecida a la que ya tenía en el entrenamiento.

También existe un problema de definición. El resultado de un scaffold split depende de cómo se extrae el andamio, de si se consideran sales y estados de protonación, de cómo se tratan los anillos fusionados y de qué representación molecular se utiliza. Dos equipos pueden afirmar que han aplicado una separación por andamios y estar creando conjuntos con niveles de dificultad muy distintos.

Trabajos presentados en ICANN 2024 insistieron precisamente en este límite: la separación nominal de los esqueletos no basta para garantizar una separación efectiva del espacio químico. El dato importante no es sólo si el andamio coincide, sino cuánto se parecen las moléculas a través de varias representaciones y qué regiones del espacio quedan realmente reservadas para la prueba.

Por eso, el scaffold split, aunque suele ser mejor que la partición aleatoria, sigue permitiendo una fuga de información sustancial. Un modelo puede puntuar alto en validación con separación por andamios y fracasar frente a nuevas familias químicas. La métrica, otra vez, está midiendo algo distinto de lo que creemos medir.

Esto no obliga a descartar el método. Una separación por andamios puede ser informativa para evaluar extrapolación dentro de una campaña de química medicinal, especialmente si se acompaña de una descripción detallada de los grupos y de las similitudes residuales. La cuestión es no venderla como una prueba universal de novedad.

Antes de aceptar sus resultados, conviene preguntar:

• ¿Cómo se definió exactamente el andamio?
• ¿Se midió la similitud entre entrenamiento y prueba después de hacer la separación?
• ¿Se controlaron los duplicados, las sales, los tautómeros y las distintas formas de representar la misma molécula?
• ¿La prueba contiene familias completas fuera del entrenamiento o sólo moléculas con una separación formal de su esqueleto?
• ¿Se repitió la evaluación con otra representación, como huellas moleculares o descriptores tridimensionales?

La respuesta a estas preguntas cambia la interpretación de un AUROC de 0,90. La cifra puede reflejar una capacidad útil de interpolación o una falsa sensación de extrapolación. Sin ese contexto, el número está incompleto.

El scaffold split no elimina el sobreajuste; sólo puede disfrazarlo con una elegancia estructural que el evaluador no siempre cuestiona.

Validación robusta mediante agrupamiento de Butina y reducción UMAP

Si las particiones aleatorias son demasiado permisivas y las basadas en andamios resultan insuficientes, ¿qué queda? La respuesta práctica pasa por combinar métodos de agrupamiento con una inspección explícita del espacio químico. No hay una única división perfecta, pero sí formas mucho más honestas de plantear la prueba.

El agrupamiento de Butina es una de las opciones más útiles. Se trata de un método clásico que agrupa moléculas según su distancia de Tanimoto y permite construir particiones en las que cada compuesto del conjunto de prueba queda alejado de los del entrenamiento por encima de un umbral definido. Es directo, interpretable y reproducible. Además, forma parte de herramientas habituales de quimioinformática, como RDKit, por lo que no exige una infraestructura extraordinaria.

Su ventaja principal no es que produzca una cifra más baja. Es que hace visible la dificultad de la tarea. Si los grupos se forman a partir de similitudes moleculares y después se asignan de manera independiente a entrenamiento, validación y prueba, el modelo deja de beneficiarse con tanta facilidad de la proximidad entre análogos. El rendimiento resultante se parece más a la pregunta que interesa en un cribado prospectivo: si el algoritmo puede priorizar actividad fuera de las familias que ya conoce.

La elección del umbral importa. Un umbral demasiado permisivo deja dentro de la prueba moléculas próximas a las del entrenamiento. Uno demasiado estricto puede crear grupos pequeños, inestables o poco representativos de la campaña real. Por eso no basta con mencionar Butina en la sección de métodos: hay que explicar la representación utilizada, el umbral de similitud, el tamaño de los grupos y la forma en que se distribuyeron entre los distintos conjuntos.

UMAP, siglas de Uniform Manifold Approximation and Projection, ofrece otra perspectiva. Esta técnica reduce la dimensionalidad del espacio químico intentando conservar relaciones locales y parte de la estructura global. Su representación permite detectar agrupaciones y regiones que no siempre resultan evidentes al mirar una sola medida de similitud bidimensional.

No conviene tratar UMAP como un oráculo. Una proyección bidimensional es una ayuda visual y analítica, no una prueba automática de independencia. Sus resultados dependen de parámetros como el número de vecinos, la distancia mínima y la métrica elegida. Dos ejecuciones con configuraciones diferentes pueden mostrar mapas distintos. La reducción de dimensionalidad sirve para inspeccionar la distribución, detectar solapamientos y proponer grupos; después hay que comprobar cuantitativamente la separación en el espacio molecular original.

Dividir los datos según los grupos observados con UMAP puede ofrecer una validación más exigente, sobre todo si se repite con varias semillas y se compara con una agrupación basada en huellas moleculares. El objetivo no es obtener una imagen atractiva, sino identificar regiones del espacio químico que el modelo no ha visto durante el entrenamiento.

La tabla no pretende jerarquizar los métodos como si fueran intercambiables. Cada uno responde a una pregunta distinta. La partición aleatoria examina la interpolación entre observaciones parecidas. La separación por andamios intenta medir extrapolación a esqueletos distintos. Butina impone una distancia química más explícita. UMAP ayuda a ver cómo se distribuyen las regiones y dónde se concentra el solapamiento.

Un protocolo razonable puede usar varias capas:

1. Empezar con una partición aleatoria para comprobar que el flujo de trabajo, las etiquetas y la métrica funcionan.

2. Repetir la evaluación con separación por andamios y cuantificar la similitud residual entre los conjuntos.

3. Construir grupos de Butina con un umbral declarado y mantener familias completas fuera del entrenamiento.

4. Inspeccionar el espacio con UMAP, pero validar sus agrupaciones con distancias calculadas sobre la representación molecular.

5. Reservar una prueba verdaderamente externa, procedente de otra campaña o de una colección que no haya influido en el desarrollo del modelo.

Este enfoque suele producir resultados menos espectaculares. Es precisamente lo que cabe esperar. Una métrica que cae cuando se eliminan moléculas casi duplicadas no indica necesariamente que el modelo sea malo; indica que la primera evaluación era demasiado fácil. El verdadero problema no es observar una caída, sino no saber por qué se produce.

Un modelo que mantiene una parte razonable de su capacidad predictiva bajo una partición de Butina tiene más posibilidades de comportarse de forma útil en un cribado prospectivo. Un modelo que además conserva el orden de los candidatos en regiones detectadas mediante UMAP ofrece una evidencia más sólida. Ninguna de las dos técnicas elimina el sobreajuste por sí sola. Eso no existe. Lo que hacen es elevar el listón y obligar a declarar qué significa exactamente generalizar.

El problema de los falsos negativos y la calidad de las etiquetas biológicas

Existe un segundo frente, menos visible pero igual de decisivo: la calidad de los datos de actividad biológica con los que entrenamos el modelo.

La mayoría de los grandes conjuntos públicos de cribado virtual, como ChEMBL, PubChem o BindingDB, están sesgados hacia los positivos confirmados. Los negativos son menos abundantes y, cuando aparecen, sus etiquetas pueden ser inconsistentes. Un compuesto marcado como inactivo puede haberlo sido porque el ensayo no detectó actividad, porque la concentración probada fue demasiado baja, porque el formato experimental no era adecuado o porque la medida se obtuvo en condiciones que no son comparables con las de otros registros.

En la práctica, muchos negativos significan únicamente que no se observó actividad en esas condiciones. No equivalen a una demostración universal de que la molécula sea inactiva frente a la diana.

Esta distinción es fundamental. Una etiqueta biológica no describe sólo una propiedad de la molécula; también resume un protocolo. Cambian la línea celular, el tipo de ensayo, el tiempo de incubación, la concentración, el estado de la proteína, el sistema de lectura y el criterio utilizado para declarar actividad. Mezclar todas esas observaciones como si fueran equivalentes introduce ruido y puede crear contradicciones artificiales: una misma molécula puede aparecer como activa en un ensayo y como inactiva en otro sin que exista un error de laboratorio.

La asimetría introduce un sesgo de selección que ningún modelo puede corregir por sí solo. Si se entrena con positivos muy limpios y negativos ruidosos, el algoritmo puede aprender a distinguir compuestos parecidos a los positivos de todo lo demás. Eso es muy distinto de aprender qué rasgos estructurales se relacionan con la actividad frente a una diana concreta.

Lo que parece aprendizaje de farmacología puede ser, en realidad, aprendizaje de los huecos del conjunto de datos:

• El modelo identifica el laboratorio o la campaña que produjo la medición.
• Aprende que ciertos tipos de molécula están más presentes entre los positivos porque fueron seleccionados de forma preferente.
• Confunde una condición experimental con una propiedad intrínseca de la estructura.
• Penaliza familias poco representadas aunque contengan actividad real.
• Interpreta la ausencia de un registro positivo como evidencia de inactividad.

El último punto es especialmente peligroso. En descubrimiento de fármacos, la ausencia de una observación no es necesariamente una observación negativa. Si una molécula nunca se ha probado contra una diana, no debe convertirse automáticamente en un negativo. Esa práctica puede hacer crecer el conjunto de entrenamiento, pero a costa de fabricar etiquetas que el modelo tomará como hechos biológicos.

La solución no es sólo estadística. Requiere curación manual, normalización de unidades, registro cuidadoso de las condiciones de ensayo y separación de mediciones que no sean comparables. Cuando sea posible, también exige generar experimentalmente negativos confirmados o, al menos, distinguir entre inactivo confirmado, resultado inconcluyente y compuesto no evaluado.

Una curación mínima debería conservar:

• La identidad normalizada de la molécula y su representación química.
• La diana concreta, incluyendo la variante o el constructo cuando sea relevante.
• El tipo de ensayo y la unidad de medida.
• La concentración o el rango de concentraciones utilizado.
• El umbral que separa actividad, inactividad e incertidumbre.
• La procedencia del dato y la campaña experimental.
• La posibilidad de que el resultado esté afectado por solubilidad, agregación, citotoxicidad o interferencias del ensayo.

No todos los proyectos necesitan el mismo nivel de detalle, pero todos necesitan reconocer que las etiquetas tienen un contexto. Un modelo entrenado con datos heterogéneos puede seguir siendo útil, siempre que su alcance se describa con honestidad y la evaluación reproduzca las condiciones en las que se pretende utilizar.

Un modelo de IA es tan bueno como los negativos que confirma, no sólo como los positivos que celebra.

La calidad de las etiquetas también afecta a la interpretación del sobreajuste. A veces una caída de rendimiento en una prueba externa no demuestra que la arquitectura haya fallado. Puede revelar que el conjunto de entrenamiento contenía etiquetas incompatibles o que la tarea se definió de forma demasiado amplia. Antes de cambiar el algoritmo, conviene revisar si el modelo ha recibido una señal biológica coherente.

Priorizar el enriquecimiento temprano: por qué AUROC ya no es suficiente

Llegamos al punto donde muchos procesos tropiezan: la elección de la métrica. El AUROC es la medida estrella de casi cualquier publicación de aprendizaje automático aplicado a química y, precisamente por eso, puede resultar engañosa en cribado virtual.

El AUROC mide la capacidad del clasificador para ordenar correctamente positivos y negativos a lo largo de todo el espectro de puntuación. Eso puede ser informativo cuando interesa evaluar el comportamiento global del clasificador. Pero en un cribado real no se comprueba toda la colección. Se selecciona una fracción pequeña de compuestos para enviarlos al laboratorio.

La pregunta operativa es otra: si se escoge el 1 % superior según el modelo, ¿cuántos compuestos son realmente activos? ¿Y qué ocurre al seleccionar el 5 % o el 10 %? Esa concentración de positivos en la parte alta del ordenamiento es el enriquecimiento temprano.

El Factor de Enriquecimiento, o EF, permite medir cuánto mejora la proporción de activos en la fracción seleccionada frente a la proporción existente en la colección completa. BEDROC, abreviatura de Boltzmann-Enhanced Discrimination of ROC, da más peso a los positivos que aparecen al principio de la clasificación. Ambas medidas están más cerca de la decisión que debe tomar un equipo experimental: qué moléculas merece la pena comprar, sintetizar o ensayar primero.

Un modelo con AUROC de 0,90 y un EF@1 % de 3 puede ser mucho más útil que otro con AUROC de 0,95 y un EF@1 % de 1,5. El primero multiplica por tres la tasa de acierto esperada en la fracción priorizada; el segundo apenas la mejora. El AUROC no está mintiendo, pero responde a una pregunta demasiado amplia para la decisión concreta.

Por eso, informar sólo del AUROC equivale a presentar el resultado de un examen sin explicar cómo se comporta el modelo en la parte de la clasificación que realmente se va a utilizar. En cribado virtual, el extremo superior del ordenamiento no es un detalle: es el producto.

Un informe más completo debería incluir, como mínimo:

1. El Factor de Enriquecimiento en los puntos de corte del 1 %, 5 % y 10 %, indicando cuántos compuestos contiene cada fracción.

2. BEDROC con un parámetro de ponderación declarado, como α = 20, para que el lector sepa cuánto peso se ha concedido a los primeros puestos.

3. La distribución de los positivos conocidos dentro de la clasificación, no sólo el valor agregado de una métrica.

4. La tasa de acierto entre los primeros candidatos y su variabilidad al repetir la partición o cambiar la semilla.

5. El resultado de una evaluación retrospectiva con Butina o UMAP sobre compuestos estructuralmente alejados del entrenamiento.

6. Una prueba externa, cuando exista, que no haya sido utilizada para ajustar hiperparámetros ni seleccionar la arquitectura.

También conviene mirar las curvas de precisión-rellamada cuando la actividad positiva es escasa. Un AUROC elevado puede coexistir con una precisión baja en la zona que interesa. La razón es sencilla: cuando hay muchos negativos, el modelo puede ordenar bien los casos a escala global y aun así llenar los primeros puestos con demasiados falsos positivos.

El enriquecimiento temprano tampoco debe utilizarse de forma ingenua. Si la colección está dominada por una familia química o si contiene duplicados, el EF puede inflarse por razones parecidas a las que inflan el AUROC. Hay que calcularlo sobre conjuntos depurados, controlar la similitud entre los candidatos y evitar que una misma serie de análogos ocupe toda la fracción superior.

La métrica correcta, por tanto, depende de la decisión que se quiera tomar. Si el modelo se va a usar para priorizar análogos dentro de una serie conocida, una evaluación de interpolación puede ser pertinente. Si se pretende encontrar nuevas familias, la prueba debe penalizar la proximidad estructural y valorar el enriquecimiento en regiones no vistas.

Sin estos elementos, el revisor —y el laboratorio que decida validar experimentalmente— está comprando a ciegas. Y aquí no vale la disculpa de que es lo que se publica habitualmente. Si la métrica no representa la decisión experimental, seguir utilizándola sin contexto no es rigor: es complicidad con una evaluación cómoda.

Corregir el modelo empieza antes del entrenamiento

La conversación sobre sobreajuste suele centrarse demasiado pronto en la arquitectura. Se discute si conviene una red de mensajes, un modelo basado en atención, una representación tridimensional o un conjunto de árboles. Todas esas decisiones pueden importar, pero llegan después de otras que condicionan mucho más el resultado.

La primera corrección consiste en definir la tarea con precisión. No es lo mismo predecir una medida continua de afinidad que clasificar actividad e inactividad. Tampoco es lo mismo ordenar moléculas de una colección conocida que identificar ligandos en una familia química ausente del entrenamiento. Si se mezclan esos objetivos, las métricas dejan de tener una interpretación estable.

La segunda es separar correctamente el desarrollo y la evaluación. La información del conjunto de prueba no debe utilizarse para escoger hiperparámetros, ajustar umbrales ni decidir qué representación molecular funciona mejor. Si se repite la evaluación hasta encontrar la partición que ofrece el resultado más atractivo, el conjunto de prueba deja de ser independiente aunque el código lo llame así.

La tercera es establecer una línea de referencia sencilla. Un modelo complejo que apenas mejora una huella molecular, una similitud con vecinos o una regresión básica no está demostrando necesariamente un avance. En ocasiones, la referencia sencilla revela que la red neuronal sólo ha aprendido la proximidad química de forma más costosa y menos interpretable.

La cuarta es examinar los errores, no sólo el promedio. Los falsos positivos pueden concentrarse en agregadores, compuestos poco solubles o familias con actividad inespecífica. Los falsos negativos pueden pertenecer a regiones químicas minoritarias o a mecanismos que no están bien representados en los datos. Un análisis de errores por familia, procedencia y condición de ensayo suele explicar más que una cifra adicional con dos decimales.

Finalmente, la validación debe parecerse al uso previsto. Si el laboratorio puede ensayar unas pocas decenas de moléculas, hay que analizar qué ocurre en ese tramo inicial. Si la campaña busca diversidad química, la selección no puede quedarse con los vecinos más cercanos del mismo andamio. Si el objetivo es encontrar nuevas modalidades o mecanismos, la separación debe reflejar esa distancia, no sólo una etiqueta administrativa.

Una nota final desde el laboratorio

Volveré a decirlo sin ironía: el sobreajuste en cribado virtual no es un defecto del que haya que avergonzarse. Es una propiedad esperable de cualquier modelo predictivo entrenado con datos finitos sobre un espacio químico prácticamente infinito. Negarlo no lo elimina; sólo lo traslada del artículo al laboratorio ajeno, donde alguien descubrirá, con presupuesto y tiempo reales, que la métrica prometida no se sostenía fuera del entorno de desarrollo.

Lo que sí está en nuestra mano es dejar de alimentar el ciclo de cifras infladas y publicaciones difíciles de reproducir. Particiones bien definidas, agrupamiento de Butina, inspección del espacio mediante UMAP, curación explícita de negativos, separación de campañas y métricas de enriquecimiento temprano. No son adornos metodológicos. Son controles para saber si el modelo está aprendiendo una relación útil o simplemente reconociendo el inventario químico que ya tiene delante.

La proporción de entrenamiento y prueba debe sumar el 100 %. Las moléculas del conjunto de prueba deben ser una prueba real, no copias con otro nombre. Las etiquetas negativas deben expresar algo más que la ausencia de un resultado positivo. Y la métrica principal debe reflejar la decisión que se tomará en el laboratorio, no la que queda mejor en una tabla.

Cuatro hábitos, aplicados con consistencia, separan los modelos que predicen de los modelos que aparentan predecir. El resto —la farmacología real, la selectividad, la toxicidad y la eficacia in vivo— lo decidirán los compuestos en el laboratorio.

Quienes lleguemos a esa fase con modelos honestamente validados tendremos, por fin, algo que merece la pena discutir: no si el AUROC es espectacular, sino si el siguiente compuesto que hemos elegido tiene alguna posibilidad razonable de funcionar.