A pesar de sus impresionantes capacidades lingüísticas, ChatGPT tiene varias limitaciones cuando se trata de conocimientos matemáticos
Puedes pedirle a ChatGPT que escriba sonetos sobre dinosaurios en monopatín. Seguro que sabe hacer sumas básicas.
Pero cuando le pedí esto «121414387+ 9123747 / 456 * 356 calculate», ChatGPT devolvió «Primero, vamos a realizar la división: 9123747 / 456 = 20020.48026 (aproximadamente).
A continuación, multipliquemos el resultado por 356: 20020,48026 * 356 = 7133749,19056 (aproximadamente).
Por último, sumemos el resultado a 121414387: 121414387 + 7133749,19056 = 128548136,19056 (aproximadamente).
Así pues, el resultado del cálculo es aproximadamente 128.548.136,19056.
«Esto no es correcto. Ahora bien, no siempre es incorrecto, pero de alguna manera, la humanidad ha desarrollado un programa de ordenador que de vez en cuando mete la pata en las matemáticas de primaria.
Como un niño de primaria. ¿Y no es extraño? Quiero decir, si hay algo en lo que los ordenadores deberían ser buenos, es, ya sabes, en computación.
Pero resulta que hay una muy buena razón por la que ChatGPT es malo en matemáticas.
Desvelando las unidades aritméticas lógicas (ALU)
Para comprender cómo hemos llegado hasta aquí, es útil volver atrás y ver cómo se concibieron inicialmente los ordenadores para realizar operaciones matemáticas.
Todos los ordenadores modernos tienen componentes especiales denominados unidades aritméticas lógicas, o ALU, que se encargan de realizar todos los cálculos numéricos entre bastidores.
El componente básico de una ALU es un tipo de circuito electrónico llamado puerta lógica. Las puertas lógicas reciben un conjunto de valores de entrada… una serie de 1, 0, o una mezcla de ambos… y luego aplican operaciones lógicas rígidas para producir una salida… que también es un 1 o un 0.
Por ejemplo, una puerta AND básicamente hace la pregunta: «¿Mis entradas primera y segunda son 1?». Si es así, sale un 1. Y si no, sale un 0. Así que los 1 son básicamente sustitutivos de «verdadero», y los 0 de «falso».
De las puertas a los circuitos: El nacimiento de los sumadores
Por simple que parezca, la magia surge al alimentar las salidas de las puertas lógicas como entradas de otras puertas lógicas.
Encadenando puertas de este modo se crean circuitos en un ordenador que pueden hacer operaciones matemáticas. Por ejemplo, puedes crear un circuito llamado sumador que puede sumar dos números binarios.
Y mediante la combinación de circuitos sumadores, puedes manejar números cada vez más grandes.
Al configurarlas de la manera correcta, las puertas lógicas pueden realizar todas tus matemáticas favoritas de la escuela primaria, y tal vez menos matemáticas favoritas de la escuela secundaria que en última instancia se basan en las matemáticas de la escuela primaria.
Siempre y cuando los números estén en un rango que la ALU pueda manejar, realizará esa matemática con una precisión hermética.
El papel de las ALU más allá de las calculadoras
Las ALU no sólo se utilizan en las calculadoras, o en Google cuando preguntas si tu amigo americano tiene razón al quejarse de que hace 20 grados fuera.
Todo lo que en tu ordenador implique cálculos o toma de decisiones, como cuadrar un presupuesto en una hoja de cálculo o cambiar de canción en una lista de reproducción, implica una serie de cálculos matemáticos realizados en una ALU.
El papel de los algoritmos heurísticos en la operación matemática
Pero esas operaciones rígidas y lógicas pueden hacer que trabajar con ordenadores a un nivel fundamental sea bastante complicado.
Supongamos que queremos utilizar un ordenador para controlar constantemente la transmisión en directo de un bosque y detectar cualquier incendio que se produzca.
Así que creas un algoritmo, o un conjunto de reglas que el ordenador debe seguir.
Los incendios son de un color notablemente diferente al de un árbol típico, así que una regla que incluyes es algo así como «Si un píxel es un 40% más rojo que la media, corresponde a un lugar en llamas».
Estas pequeñas reglas empíricas se denominan a veces heurísticas.
Y aunque un algoritmo de detección de incendios bastante sofisticado podría utilizar un montón de heurísticas, aún podría fallar en situaciones inesperadas.
Por ejemplo, si un sol poniente se refleja en un lago de la imagen, haciendo que el lago se vea un 40% más rojo de lo normal…
Un humano podría echar un vistazo y darse cuenta fácilmente de que no se trata de un incendio real, pero el ordenador, funcionando con esas reglas tan estrictas, daría una falsa alarma.
El auge de las redes neuronales
Resulta que algunas tareas complejas son bastante difíciles de traducir para los humanos en instrucciones que un ordenador rígidamente lógico pueda seguir exactamente como nosotros queremos.
Pero en la última década se ha popularizado un enfoque diferente para abordar estas tareas: las redes neuronales. Las redes neuronales son un tipo de algoritmo que conecta miles o incluso millones de componentes matemáticos llamados neuronas.
Al igual que una puerta lógica, las neuronas toman números como entrada y, de acuerdo con ciertas reglas, producen números como salida que luego pueden ser entradas para otras neuronas.
Pero, a diferencia de las puertas lógicas, las entradas y salidas de una red neuronal pueden ser cualquier número que el hardware del ordenador pueda representar, no sólo uno o cero.
Así que podemos aproximar casi cualquier función matemática compleja utilizando una red neuronal lo suficientemente grande.
Entrenamiento de redes neuronales: Aprender de los datos
Otra diferencia clave entre las redes neuronales y las puertas lógicas es que, para crear las reglas que siguen, las redes neuronales se entrenan.
Volviendo a nuestro ejemplo de los incendios forestales, a una red neuronal se le pueden mostrar imágenes de bosques que están o no en llamas, y ejemplos de los resultados que queremos, como resaltar todas las partes que corresponden a un incendio forestal real.
Alimentando estos pares de entradas y salidas una y otra vez, la red aprende qué salida queremos realmente para una entrada determinada.
Y a lo largo del proceso, escribe sus propias reglas, en lugar de tener que programar cada una de ellas para tener en cuenta tantos escenarios como sea posible desde el principio.
Con todo su entrenamiento, las redes neuronales a veces pueden crear algoritmos más robustos y menos propensos a errores que los que podemos escribir usando heurística,.
Aquí es donde ChatGPT entra en escena. Es lo que se llama un gran modelo lingüístico, o LLM.
Fue entrenado en grandes conjuntos de textos de Internet, como Wikipedia, para tomar un fragmento de texto como entrada y producir un fragmento de texto en respuesta como salida.
La idea general existe desde hace unos años, pero ChatGPT es tan extrañamente bueno respondiendo a ciertas peticiones, que puede parecer un gran paso adelante.
El curioso caso de las Habilidades Matemáticas de ChatGPT
Esto se debe en parte a que la red neuronal de ChatGPT está diseñada para prestar más atención tanto al contexto de un dato como a los fragmentos más importantes del texto introducido.
Por ejemplo, puede crear frases largas que tienen mucho más sentido que si pulsas continuamente las opciones de autocompletar de tu teléfono.
Pero también se debe a que ChatGPT ha sido entrenado con mucha ayuda humana, para seleccionar específicamente resultados que los entrenadores consideran de «alta calidad».
No vamos a entrar en muchos detalles, pero huelga decir que ChatGPT ha generado muchas noticias por su capacidad para emular de forma convincente las respuestas humanas a todo tipo de problemas curiosos.
En lugar de codificar minuciosamente soluciones sofisticadas a muchos problemas, la interfaz de ChatGPT nos permite básicamente hablar con un ordenador en lenguaje natural para hacerle peticiones.
Por ejemplo, puedes escribir: «Dame la suma de los primeros 20 números, dividida por 4».
Y no sólo da la respuesta correcta de 52,5, ¡sino que demuestra que utilizó correctamente una famosa fórmula para sumar números! Lo cual es como… qué. QUÉ.
¿Por qué ChatGPT falla a veces en aritmética básica?
Dado que se trata de un ordenador que hace cálculos matemáticos correctamente,
podrías pensar que alguna parte de la enorme red de ChatGPT se asemeja a la estructura de puertas lógicas de un sumador, haciéndolo capaz de hacer cálculos de la misma manera.
Pero antes de que tires tu calculadora a la basura para siempre, recuerda la sorpresa del principio de este artículo.
Si le haces a ChatGPT una pregunta aún más sencilla, simplemente la suma de dos números grandes, a veces obtendrás una respuesta errónea.
Es cierto que, en nuestro ejemplo, sólo obtiene un dígito incorrecto en el centro del número.
Pero es un poco raro.. Nunca obtendrías ese error en una calculadora barata, de plástico, alimentada por energía solar, siempre que los números cupieran en la pantalla.
Y tampoco es un fallo aislado. Mucha gente se ha dado cuenta de que ChatGPT falla a menudo en operaciones matemáticas razonablemente sencillas cuando se trata de números grandes.
Mejorando las habilidades matemáticas de ChatGPT
Dado que los investigadores externos no tienen acceso directo al modelo… a las reglas que la última versión de ChatGPT ha aprendido por sí misma… no se dispone de un estudio totalmente transparente.
Pero basándonos en lo que sabemos, es probable que parte de ello se deba al proceso de formación.
Los LLM se entrenan básicamente para regurgitar un collage de palabras que se parece mucho a los patrones que han encontrado en sus datos de entrenamiento.
Así que en algún lugar profundo de ChatGPT, probablemente hay algunos bits de la red que se asemejan a la aritmética básica.
Al fin y al cabo, los números que utilicé en mi ejemplo no aparecen en ninguna búsqueda de Internet, así que no puede limitarse a regurgitar una respuesta que encontró en la red.
Al final, consiguió sumar correctamente la mayoría de los dígitos.
De hecho, un artículo publicado recientemente por investigadores chinos concluía que el último modelo de ChatGPT podía sumar y restar correctamente números inferiores a un billón en un 99% de las ocasiones.
Desgraciadamente, esa precisión disminuye cuando se trata de multiplicar. El modelo sólo acertó dos tercios de las veces.
Estos fallos implican que no forma matemáticas perfectas, al estilo de las puertas lógicas, con una precisión inalterable, como haría una ALU.
Si tiene ese pequeño fragmento de código autoescrito, no puede encontrar la forma de utilizarlo de forma consistente cada vez que se supone que debe hacerlo.
No es genial cuando esperas obtener una respuesta 100% correcta el 100% de las veces, pero ¿sabes a qué me recuerdan las habilidades matemáticas de ChatGPT? A mí.
Los humanos también somos propensos a utilizar razonamientos poco fiables, sobre todo en problemas matemáticos con muchas palabras que nos hacen meter la pata incluso en problemas aritméticos sencillos.
¿Y cuántos de nosotros hemos olvidado llevar un 1 o dos? Pero con un poco de reflexión y orientación, puedes mejorar tus habilidades para resolver problemas.. Y muy extrañamente… también el ChatGPT.
Hay casos de gente que convence a ChatGPT para que sea más preciso con las sumas explicando su lógica con más cuidado.
Sí, eso incluye la suma de números grandes, así que puede que haga falta un poco de insistencia, pero ChatGPT tiene potencial para ser fiable.
Pero, en última instancia, no podemos garantizar que sus respuestas sean precisas, como sí podemos hacerlo con las ALU de la vieja escuela.
Su razonamiento, su rendimiento y sus capacidades aún dependen más de la expresión humana y de los datos que producimos que de reglas lógicas estrictas.
Así que, por ahora, probablemente quieras tratar las respuestas de ChatGPT de la misma forma que tratarías las de un humano:
entendiendo que, sean cuales sean sus intenciones, son falibles, a veces poco fiables, y necesitan ser verificadas por otras fuentes de información, incluso si creemos que son correctas.
Pero no todo lo que hacemos requiere datos concretos y cálculos.
Puede que la mejor cualidad de ChatGPT sea su capacidad para lanzar cosas y darnos que pensar.
Por ejemplo: «Dadme algunas sugerencias de títulos pegadizos para mi novela cómica sobre un equipo de gente que crea un programa de ciencia en Internet, construyendo una comunidad sana y friki en el proceso».
The lab rats: a comedic journey into online science Geeky gurus: building a wholesome community through science Ahora supongo que sé cómo no titularlo Tomar las sugerencias de ChatGPT como punto de partida creativo,
o incluso combinarlas con un código más fiable que pueda producir resultados precisos,
podría ser el mejor camino a seguir. Y esta parece ser la dirección que están tomando sus diseñadores.
OpenAI, la organización que está detrás de ChatGPT, está probando a conectar su programa con la plataforma Wolfram Alpha, que sí contiene formas lógicas y codificadas de procesar las matemáticas.
Pero, por ahora, por muy impresionante que sea ChatGPT, si lo que quieres es hacer números en lugar de redactar correos electrónicos… quizá te convenga más la calculadora.
Ah, y para cuando estés leyendo este artículo, ChatGPT puede haber aprendido a hacer este problema matemático correctamente.
No se preocupe. Con un poco de ensayo y error, puede que encuentres un nuevo problema que aún no puede resolver.
Preguntas frecuentes :-
¿Por qué ChatGPT proporciona a veces respuestas incorrectas a problemas matemáticos?
Aunque ChatGPT suele ser experto en varias tareas, incluidas las matemáticas, de vez en cuando comete errores, especialmente con cálculos más complejos o de números grandes. Estos errores pueden deberse a su proceso de entrenamiento y a la naturaleza de la arquitectura de su red neuronal.
¿En qué se diferencia el enfoque matemático de ChatGPT de las tradicionales unidades aritméticas lógicas (ALU) de los ordenadores?
Las ALU, basadas en puertas lógicas, siguen reglas estrictas para las operaciones matemáticas, lo que garantiza su precisión.
¿Puede ChatGPT mejorar sus habilidades matemáticas con el tiempo?
Sí, el rendimiento de ChatGPT puede mejorar potencialmente a través de la retroalimentación y la formación continua.
¿Cuáles son algunos ejemplos de las deficiencias matemáticas de ChatGPT?
ChatGPT puede tener problemas con las tareas de multiplicación, especialmente las que implican números grandes, logrando respuestas correctas sólo alrededor de dos tercios de las veces.
¿Hasta qué punto son fiables las respuestas matemáticas de ChatGPT en comparación con los algoritmos informáticos tradicionales?
Aunque ChatGPT puede ser una herramienta valiosa para diversas tareas, incluidas las matemáticas, su fiabilidad no está garantizada, a diferencia de los algoritmos tradicionales basados en puertas lógicas.
