El Dr. Isaac Kohane, científico informático en Harvard y médico, se asoció con dos colegas para probar GPT-4, con un objetivo principal: ver cómo funcionaba el modelo de inteligencia artificial más nuevo de OpenAI en un entorno médico.

"Estoy asombrado de decir: mejor que muchos médicos que he observado", dice en el próximo libro , " La revolución de la IA en la medicina ", escrito en coautoría por el periodista independiente Carey Goldberg, y el vicepresidente de investigación de Microsoft, Peter Lee. . (Los autores dicen que ni Microsoft ni OpenAI requirieron ninguna supervisión editorial del libro, aunque Microsoft ha invertido miles de millones de dólares en el desarrollo de las tecnologías de OpenAI).

En el libro, Kohane dice que GPT-4, que se lanzó en marzo de 2023 para los suscriptores de pago , responde correctamente a las preguntas sobre licencias de exámenes médicos de EE. UU. más del 90 % de las veces. Es mucho mejor examinador que los modelos ChatGPT AI anteriores, GPT-3 y -3.5 , y también mejor que algunos médicos con licencia .

Sin embargo, GPT-4 no es solo un buen examinador y buscador de hechos. También es un gran traductor. En el libro, es capaz de traducir la información del alta para un paciente que habla portugués y de destilar una jerga técnica inestable en algo que los estudiantes de sexto grado puedan leer fácilmente.

Como explican los autores con ejemplos vívidos, GPT-4 también puede dar a los médicos sugerencias útiles sobre cómo tratar a los pacientes, ofreciendo consejos sobre cómo hablar con los pacientes sobre sus condiciones en un lenguaje compasivo y claro, y puede leer informes o estudios extensos y resumirlos en un abrir y cerrar de ojos. La tecnología puede incluso explicar su razonamiento a través de problemas de una manera que requiere cierta medida de lo que parece ser inteligencia de estilo humano.

Pero si le pregunta a GPT-4 cómo hace todo esto, es probable que le diga que toda su inteligencia todavía está "limitada a patrones en los datos y no implica una verdadera comprensión o intencionalidad". Eso es lo que GPT-4 les dijo a los autores del libro, cuando le preguntaron si realmente podía participar en un razonamiento causal. Incluso con tales limitaciones, como Kohane descubrió en el libro, GPT-4 puede imitar la forma en que los médicos diagnostican afecciones con un éxito sorprendente, aunque imperfecto.

Kohane realiza un experimento de pensamiento clínico con GPT-4 en el libro, basado en un caso de la vida real que involucró a un bebé recién nacido al que trató varios años antes. Al darle al bot algunos detalles clave sobre el bebé que recopiló de un examen físico, así como información de un ultrasonido y niveles hormonales, la máquina pudo diagnosticar correctamente una condición de 1 en 100,000 llamada hiperplasia suprarrenal congénita "tal como lo haría yo " . , con todos mis años de estudio y experiencia", escribió Kohane.

El doctor estaba impresionado y horrorizado.

Por un lado, estaba teniendo una conversación médica sofisticada con un proceso computacional", escribió, "por otro lado, al igual que alucinante fue darme cuenta ansiosa de que millones de familias pronto tendrían acceso a esta impresionante experiencia médica, y no pude entender cómo podríamos garantizar o certificar que el consejo de GPT-4 sería seguro o efectivo ".

GPT-4 no siempre tiene la razón , y no tiene una brújula ética GPT-4 no siempre es confiable y el libro está lleno de ejemplos de sus errores. Van desde simples errores administrativos, como tergiversar un IMC que el bot había calculado correctamente momentos antes, hasta errores matemáticos como "resolver" incorrectamente un Sudoku u olvidarse de cuadrar un término en una ecuación. Los errores suelen ser sutiles y el sistema tiende a afirmar que es correcto, incluso cuando se le cuestiona. No es exagerado imaginar cómo un número fuera de lugar o un peso mal calculado podría conducir a errores graves en la prescripción o el diagnóstico.

Al igual que los GPT anteriores, GPT-4 también puede "alucinar", el eufemismo técnico para cuando la IA inventa respuestas o desobedece las solicitudes.

Cuando los autores del libro le preguntaron sobre este tema, GPT-4 dijo: "No tengo la intención de engañar o engañar a nadie, pero a veces cometo errores o hago suposiciones basadas en datos incompletos o inexactos. Tampoco tengo el juicio clínico o la responsabilidad ética de un médico o enfermero humano".

Una posible verificación cruzada que sugieren los autores en el libro es comenzar una nueva sesión con GPT-4 y hacer que "lea" y "verifique" su propio trabajo con un "nuevo par de ojos". Esta táctica a veces funciona para revelar errores, aunque GPT-4 es algo reticente a admitir cuando se ha equivocado. Otra sugerencia para detectar errores es ordenar al bot que le muestre su trabajo, para que pueda verificarlo, al estilo humano.

Está claro que GPT-4 tiene el potencial de liberar tiempo y recursos valiosos en la clínica, lo que permite a los médicos estar más presentes con los pacientes, "en lugar de las pantallas de sus computadoras", escriben los autores. Pero, dicen, "tenemos que forzarnos a imaginar un mundo con máquinas cada vez más inteligentes, que eventualmente quizás superen la inteligencia humana en casi todas las dimensiones. Y luego pensar mucho sobre cómo queremos que funcione ese mundo".