La técnica permite aprovechar respuestas y razonamientos de sistemas de Estados Unidos para reducir la brecha tecnológica, aunque investigadores advierten que podría mantener a China detrás de la frontera del sector.
La destilación consiste en entrenar un modelo de inteligencia artificial a partir de las respuestas generadas por otro, en lugar de desarrollarlo desde cero. Los laboratorios chinos utilizan así resultados de modelos estadounidenses para incorporar capacidades y razonamientos que serían costosos de obtener mediante sus propios procesos de entrenamiento.
La práctica parece haberse extendido a gran escala. Un estudio publicado en julio en Findings of the Association for Computational Linguistics mostró que un modelo pequeño entrenado por DeepSeek con 800.000 ejemplos producidos por un sistema más potente elevó su puntuación en una prueba de matemáticas del 14,6% al 45,8%. Además, un informe de Anthropic publicado en septiembre indicó que cinco empresas chinas habían recopilado más de 180 millones de mensajes de sus modelos durante cinco meses.
El mecanismo también permite aprovechar los avances obtenidos por las compañías estadounidenses mediante aprendizaje por refuerzo, una técnica en la que los modelos prueban soluciones hasta alcanzar un objetivo. Actualmente, las empresas de Estados Unidos destinan más de la mitad de sus recursos informáticos a métodos relacionados con ese aprendizaje, frente a apenas una vigésima parte a comienzos de 2024. Los investigadores calculan que los modelos chinos están entre tres y seis meses por detrás de los mejores sistemas estadounidenses; sin la destilación, la brecha podría casi duplicarse, estima Saif Khan, del Centro de Tecnología y Estrategia Estatal.
La ventaja china no depende únicamente de copiar sistemas extranjeros: más de la mitad de los principales investigadores de inteligencia artificial del mundo son de origen chino, según trabajos presentados en NeurIPS. Sin embargo, los chips informáticos avanzados son actualmente el principal motor del progreso del sector, y cada gigante tecnológico estadounidense dispone individualmente de más recursos de ese tipo que todos sus competidores chinos juntos.
Anthropic y OpenAI adoptaron medidas para limitar el acceso de empresas chinas al proceso de razonamiento generado por sus modelos y reforzaron la detección de campañas de destilación. Anthropic comenzó a cobrar incluso por solicitudes que identifica y rechaza por ese motivo. La compañía afirmó que las medidas redujeron entre un 90% y un 99% los datos recopilados por quienes recurren a la práctica, aunque podrían provocar una merma de entre un 5% y un 7% de sus ingresos.
En China también existen dudas sobre la dependencia de esta técnica. Zhang Yiming, fundador de ByteDance, comunicó a sus empleados en julio que la empresa no la usaría para potenciar sus modelos. Según una paráfrasis de sus declaraciones publicada por el blog tecnológico chino LatePost, la destilación puede ayudar a acortar la distancia con la frontera tecnológica, pero difícilmente permite superarla. Investigadores chinos también señalan que una eventual mejora recursiva autónoma de los modelos podría requerir una infraestructura sofisticada que los sistemas basados en destilación no tendrían.