Ellen Loeshelle de Qualtrics: elija su IA según el problema que intenta resolver

Jul 11, 2023

En conjunto con nuestroArtículo número del messobre la voluntad del consumidor de interactuar con soluciones impulsadas por inteligencia artificial (IA), No Jitter habló conA Ellen Loeshe,Calidad ' Director de Desarrollo de Productos de IA. Ella compartió sus ideas sobre una variedad de temas de IA que se presentan aquí en un formato de preguntas y respuestas.

NJ: ¿Puede hablarnos del impulso para pasar del tipo de IA utilizado en la categoría “conversacional” (procesamiento del lenguaje natural (NLP) y comprensión del lenguaje natural (NLU)) a la IA generativa (Gen AI) y los grandes modelos de lenguaje ( LLM) que los impulsan?

A Ellen Loeshe : PNL es en realidad el término general para la utilidad de estos algoritmos. Los LLM son solo un conjunto de herramientas dentro de esta caja de herramientas que usaríamos para el procesamiento o la comprensión del lenguaje natural. No los veo totalmente dicotómicos.

Cuando practicas PNL, hay un montón de diferentes tipos de herramientas que puedes usar para comprender el proceso, interpretar, generar lenguaje, algunas tan simples como escribir reglas o expresiones regulares u otras cosas por el estilo. También hay capacidades de aprendizaje automático más básicas que llevan mucho tiempo en el mercado. Y luego están los modelos de aprendizaje profundo, los modelos de lenguaje grandes, etc.

Lo que hemos encontrado con los modelos de lenguaje grandes es que tienen un desempeño realmente impresionante al generar un lenguaje similar al humano; no es perfecto. En primer lugar, no siempre es exacto, pero parece el más nativo que he visto.

Entonces, los LLM están brindando una especie de "salto adelante" en precisión, relacionabilidad, etc., que otras estrategias de PNL realmente no han tenido el mismo impacto o al menos no han generado el mismo tipo de publicidad. Es uno de los movimientos desde que estoy en el espacio que se siente tectónico.

Pero todavía estamos en medio de un ciclo de exageración. Siempre estoy tratando de expresar mis propias reacciones y las de todos los demás y decir, bueno, tecnología aparte, ¿cuál es el rumor y cómo podemos mantenernos al tanto de gran parte de lo que está sucediendo?

NJ: Bien, pero ¿por qué los LLM funcionan mejor que los enfoques más tradicionales de PNL?

Loeshelle : Muchos científicos de datos no saben realmente por qué son mucho mejores, pero la pista más importante que tenemos hasta ahora está en la palabra grande. El tamaño de los conjuntos de capacitación para los LLM es mucho mayor que cualquier otra cosa que hayamos usado históricamente. Por lo tanto, los LLM tienen más práctica, más experiencia con patrones de lenguaje reales, en comparación con otros enfoques que hemos usado en el pasado que se basaban en conjuntos de lenguajes más pequeños u optimizados por costo en lugar de por rendimiento. Todavía estamos en ese espacio extraño donde los LLM tienen en muchos casos un costo prohibitivo para que las empresas los utilicen o construyan los suyos propios. Eso tendrá que cambiar.

NJ: ¿Hay algún aprendizaje de los “tipos más antiguos” de IA que pueda aplicarse a estos casos de uso más nuevos?

Loeshelle : Totalmente. Incluso estuve leyendo un artículo interesante durante el fin de semana sobre el papel que desempeñan las ontologías: puedes pensar en una ontología básicamente como una taxonomía de términos o conceptos y, a menudo, [estas taxonomías] son ​​jerárquicas. Ese tipo de cosas pueden informar un modelo generativo como entrada.

Por lo tanto, me apasiona mucho el hecho de que no existe una tecnología única para todos. Deberíamos elegir el tipo de algoritmo según el problema que intentamos resolver y también nuestras limitaciones comerciales. El costo es obviamente enorme. Si no puedo permitírmelo, tal vez no valga la pena el 2% adicional en precisión. Tal vez debería usar algo que históricamente me haya funcionado antes.

Pero, en mi opinión, utilizarlos juntos generalmente producirá un mejor resultado a un ritmo más rentable. Mi filosofía aquí en Qualtrics es que Gen AI es una herramienta que podemos aprovechar cuando tiene sentido y nos brinda ventajas únicas. Pero no es la única herramienta. No es algo que estemos haciendo sólo por hacerlo.

Nuestra ventaja como empresa llegará si podemos aprovechar nuestros propios activos de forma diferente a como lo hacen los demás. Si nuestros competidores dicen: "sí, estamos tomando ese mismo conjunto de datos de código abierto y ese mismo algoritmo de código abierto" y los conectamos exactamente de la misma manera, entonces no habremos logrado distanciarnos de nuestra competencia en todo.

Es mejor para nosotros mezclar, combinar, usar algunas de las cosas más antiguas para informar las cosas más nuevas, o ser súper estratégicos sobre cuándo usamos cada tipo para no desperdiciar nuestro presupuesto con una ganancia muy baja.

NJ: ¿Puedes aclarar lo que quieres decir con “material antiguo”?

Loeshelle : Claro, si quieres ir a "cosas súper antiguas", entonces se basa en reglas. Dentro de nuestro producto, tenemos capacidades donde realmente se pueden definir sentimientos basados ​​en palabras, partes del discurso, estructuras lingüísticas [y otras cosas] que ocurrirían en el texto. Eso está en un lado del espectro. El otro lado del espectro es decir, ¿podemos utilizar un modelo de lenguaje grande para predecir cuál sería el sentimiento sin haber codificado cada palabra? Pero pueden trabajar juntos (pueden alimentarse unos de otros) y pueden aprender de las reglas que hemos creado en el pasado.

Y esas reglas fueron creadas por humanos con experiencia en negocios o experiencia en el dominio. Trabajamos con industrias como servicios financieros, seguros y atención médica donde en realidad no se les permite usar LLM o modelos generativos basados ​​en su propia tolerancia interna al riesgo. Por lo tanto, tienen que recurrir a algunas de las técnicas más rudimentarias para poder utilizar cualquier tipo de producto como este. Poder ofrecer eso ha sido un activo estratégico para nosotros.

NJ: Una de las preguntas que sigue surgiendo es la preocupación por el conjunto de datos en sí, en qué se entrenó y la introducción de toxicidad o sesgo o, ya sabes, alucinaciones, etc. ¿Qué tan transparente es usted acerca de los datos utilizados para entrenar el modelo? – acabas de mencionar, un conjunto de datos de código abierto y un algoritmo de código abierto. ¿Puede un administrador de TI empresarial realmente tener acceso al conjunto de datos?

Loeshelle : Los conjuntos de datos que utilizamos normalmente provienen de nuestros propios datos; son parte de nuestro ecosistema. Tenemos lenguaje en nuestros contratos que dicta cómo podemos o no usar los datos de los clientes. Ese corpus es una de nuestras ventajas estratégicas y por eso no, no lo vamos a compartir. Pero está totalmente dentro del derecho de un gerente de TI preguntar al respecto y hacernos responsables (y lo hacen) de cómo usamos o no sus datos, cómo revisamos en busca de sesgos y limitaciones éticas en nuestras propias prácticas de modelado. .

NJ: Ha habido algunos ejemplos en los últimos meses de empresas que han implementado un bot impulsado por Gen AI que interactúa con el cliente y algo sale mal y tienen que retirarlo. Luego está el modelo de asistencia al agente, en el que se sugieren cosas al agente que éste puede usar o no según le parezca. ¿Alguna idea sobre eso?

Loeshelle: Tenemos una tolerancia tan baja a la imperfección tanto en situaciones humanas como en situaciones de robots, que es muy fácil perder la confianza en estas cosas.

Piense en las primeras experiencias con Google o Alexa de Amazon, ¿verdad? Haces estas preguntas y tan pronto como obtienes una mala respuesta, dices: "Olvídalo, no voy a volver a hacer esa pregunta. No confío en que tengas esa respuesta". De manera similar, cuando hablo con un agente humano real, ¿no puedes darme una respuesta? Escale a su supervisor. Ocurre el mismo comportamiento.

Entonces, automáticamente restringe el espacio de búsqueda que estoy dispuesto a usar para ese chatbot o esa interfaz de cualquier tipo, ¿verdad? Y luego es muy difícil recuperar esa confianza.

Creo que mantener a un humano informado es enormemente ventajoso. Y las ventajas son dobles porque está el lado tecnológico de "¿Pueden nuestras cosas Gen AI manejarlo?" y luego está el otro lado: "¿Están la sociedad y la cultura preparadas para ello?"

Nueva Jersey: ¿Cuáles son algunas de las mejores prácticas para las implementaciones de IA?

Loeshelle : Si volvemos a pensar en Alexa, una de las cosas que más me gustó de lo que hace Amazon es que me envían correos electrónicos describiéndome las nuevas habilidades que tiene mi Alexa, por ejemplo. En realidad, eso limita lo que sé que debo pedirle para que pueda tener éxito. Crear un paradigma de UX o UI para que las personas puedan tener éxito inherentemente con su tecnología lo protegerá a usted y a ellos.

Un informe de Qualtrics encontró que los consumidores se sienten cómodos no solo interactuando con la IA para brindar atención al cliente, sino que también están dispuestos a que la IA forme parte de sus interacciones financieras, médicas y legales.

En las noticias de esta semana: ASAPP lanzó GenerativeAgent, Amazon Bedrock de AWS ahora incluye modelos nuevos y actualizados y una herramienta de código bajo/sin código, y ServiceNow ha agregado resumen de casos y texto a código a su kit de herramientas impulsado por Gen AI.

La estructura de precios de Microsoft Copilot fue noticia, pero ¿qué obtienen los usuarios por esos 30 dólares cada mes? Desglosamos cómo funciona Copilot, qué puede hacer y qué tan seguros están los datos del usuario dentro de Copilot.

En las noticias de esta semana: Microsoft revela el precio de Copilot, Poly presenta los auriculares certificados de Microsoft Teams, Minerva integra su producto de asistencia para agentes con el análisis de texto basado en IA de Luminoso y Qualtrics lanza XM/os2, su plataforma actualizada que ahora está totalmente habilitada con IA. .