Abstracto

Problemas de sesgo en modelos de lenguaje de gran tamaño: solución mediante SDRT

Aarush1*, Chandhu 2

Desde el inicio del desarrollo de los transformadores y los recientes avances en los modelos de lenguaje grande (LLMS), el mundo entero ha sido tomado por sorpresa. Sin embargo, múltiples modelos LLM, como gpt-3, gpt-4 y todos los modelos LLM de código abierto, vienen con su propio conjunto de desafíos. El desarrollo del procesamiento del lenguaje natural (NLP) utilizando transformadores comenzó en 2017, iniciado por Google y Facebook. Desde entonces, los modelos de lenguaje grande han surgido como herramientas formidables en los dominios de la investigación del lenguaje natural y la inteligencia artificial. Estos modelos poseen la capacidad de aprender y predecir, lo que les permite generar texto coherente y contextualmente relevante para una amplia gama de aplicaciones. Además, los modelos de lenguaje grande han tenido un impacto significativo en varias industrias, incluida la atención médica, las finanzas, el servicio al cliente y la generación de contenido. Tienen el potencial de automatizar tareas, mejorar la comprensión del lenguaje y mejorar las experiencias del usuario cuando se implementan de manera efectiva. Sin embargo, junto con estos beneficios, también existen riesgos y desafíos importantes asociados con estos modelos, incluido el entrenamiento previo y el ajuste fino. Para abordar estos desafíos, proponemos SDRT (Teoría de Representación del Discurso Segmentado) y hacemos que los modelos sean más conversacionales para superar algunos de los obstáculos más difíciles.