A medida que los sistemas de respuesta a preguntas se vuelven más avanzados, los desarrolladores están explorando nuevas técnicas para mejorar su rendimiento. Un enfoque prometedor es el modelo RAG (Recuperación-Generación Aumentada), que combina la recuperación de información y las capacidades del lenguaje generativo. Al ajustar la incrustación utilizada para la recuperación de datos específicos del dominio, los investigadores han encontrado una forma de mejorar significativamente la precisión de las respuestas de los modelos RAG. Este artículo profundiza en los detalles de esta técnica.

Introducción a RAG

Para comprender mejor por qué el ajuste de incrustaciones es tan efectivo para los modelos RAG, primero debemos cubrir algunos antecedentes sobre RAG en sí.

¿Qué es RAG?

RAG son las siglas de Retrieval-Augmented Generation (recuperación aumentada por generación). Es un método que combina la recuperación de información con modelos generativos. Un modelo RAG primero recupera información relevante y luego genera una respuesta basada en esa información. Esto aumenta la capacidad del modelo para responder preguntas complejas. Tiene dos partes: un recuperador y un generador. El recuperador extrae fragmentos relevantes de un gran corpus de documentos en función de la pregunta. Luego, el generador usa esos fragmentos para generar una respuesta coherente. Este enfoque funciona mejor para responder preguntas de dominio abierto porque puede recuperar dinámicamente la información más reciente.

Pros y limitaciones de los modelos RAG

En comparación con los modelos generativos y de recuperación de texto tradicionales, los modelos RAG tienen algunas ventajas:

  • Puede proporcionar resultados de búsqueda más precisos y útiles.
  • Puede manejar consultas complejas y textos largos.
  • Puede generar resultados de búsqueda personalizados según la intención del usuario.

Sin embargo, los modelos RAG también tienen algunas limitaciones:

  • El entrenamiento y la inferencia son computacionalmente costosos
  • Altos requisitos de datos de entrenamiento y capacidad del modelo
  • Dificultad para gestionar consultas y textos de dominios especializados

El papel de las incrustaciones en RAG

Una vez cubiertos los conceptos básicos de RAG, analicemos cómo las incrustaciones juegan un papel crucial y se pueden optimizar.

Ajuste fino de los modelos de IA integrados

Comparación de recuperación de diferentes modelos de incrustación en datos de dominio

En este experimento se utilizaron más de 30 000 fragmentos de conocimiento y 600 preguntas de usuario estándar para realizar pruebas de recuperación. Comparamos principalmente el rendimiento de recuperación de los modelos m3e-base, bge-base-zh y bce-embedding-base_v1 con datos de entrada en chino e inglés.

Ajuste del modelo de incrustación en los datos del dominio

  1. Recopilación de datos: recopile datos suficientes relacionados con el dominio, incluidos documentos, pares de preguntas y respuestas, etc. Estos datos deben cubrir puntos de conocimiento clave y preguntas comunes en el dominio.
  2. Preprocesamiento: Limpiar y preprocesar los datos para eliminar el ruido y la redundancia, garantizando así la calidad de los datos.
  3. Ajuste fino: ajuste fino de un modelo integrado previamente entrenado (por ejemplo, BERT) en los datos del dominio. El entrenamiento continuo en los datos del dominio ayuda al modelo a adaptarse mejor a la semántica y al uso del lenguaje en ese dominio.
  4. Evaluación y optimización: evalúe el rendimiento del modelo de incrustación ajustado en RAG y ajuste los parámetros de entrenamiento y los conjuntos de datos según sea necesario para optimizar aún más el rendimiento.

A través del ajuste fino, el modelo de incrustación puede comprender mejor la semántica específica del dominio, mejorando así las capacidades de recuperación y generación del modelo RAG y aumentando las tasas de respuesta y la calidad.

Tomando el modelo m3e como ejemplo:
Descargar: https://huggingface.co/moka-ai/m3e-base
Referencia de ajuste fino: https://github.com/wangyuxinwhy/uniem/blob/main/examples/finetune.ipynb

Después de ajustar los datos del dominio y volver a probar la recuperación, vimos un aumento directo en la tasa de recuperación del 33%: un resultado muy prometedor.

Conclusión

El ajuste fino del modelo de incrustación es una forma eficaz de mejorar las tasas de respuesta de RAG. Al ajustar los datos del dominio, el modelo de incrustación puede comprender mejor la semántica específica del dominio, lo que mejora el rendimiento general del modelo RAG. Aunque los modelos RAG tienen ventajas significativas en el control de calidad de dominio abierto, su rendimiento en dominios específicos aún necesita una mayor optimización. Las investigaciones futuras podrían explorar más métodos de ajuste fino y mejoras en la calidad de los datos para mejorar aún más la precisión de las respuestas y la usabilidad de los modelos RAG en todos los dominios.