Tres cosas que los CIO pueden hacer para que la IA genere sostenibilidad

Aunque nadie sabe todavía cómo detener el crecimiento exponencial del consumo energético de la IA, algunos responsables de TI han encontrado formas de mitigar su impacto en las iniciativas de sostenibilidad.

El año pasado, cuando muchos CIO se preparaban para su primera ronda de informes de alcance 3, la inteligencia artificial (IA) generativa se abrió camino en prácticamente todas las oficinas. A veces entró por la puerta principal, pero en la mayoría de los casos, se filtró silenciosamente, a medida que los trabajadores experimentaban con ella para redactar documentos y correos electrónicos sin admitir necesariamente que lo estaban haciendo.

En muchas organizaciones, los casos de uso se han detenido ahí, pero algunos departamentos de TI están sancionando -e incluso fomentando- el uso de la IA generativa para tareas como la codificación. Sin embargo, otras organizaciones buscan en sus proveedores de software actualizaciones que incluyan componentes de IA generativa. En el extremo opuesto se encuentran empresas como la compañía sueca de tecnología financiera Klarna, que ha integrado la IA generativa no sólo en una serie de proyectos internos, sino también en los productos que vende, y ha desarrollado una gobernanza de la IA que incluye directrices sobre cómo debe utilizarse en los proyectos.

Klarna se ha inclinado fuertemente hacia la IA desde que se lanzó ChatGPT en noviembre de 2022, y la sensación general dentro de la empresa es que la IA generativa puede ayudar a casi todos en la organización a ser más eficaces, independientemente de su nivel de habilidad o función. “Actualmente estamos estudiando un centenar de iniciativas tanto en producción como en desarrollo en toda la empresa en las que podríamos utilizar la IA generativa”, afirma Martin Elwin, director sénior de Ingeniería de Klarna. “Y no solo lo hacen los ingenieros, sino todo el mundo, desde el departamento financiero y jurídico hasta el de marketing y todos los demás”.

Martin Elwin, Klarna

Klarna

Hace varias semanas, Klarna anunció un asistente de IA que responde a las preguntas de los usuarios con poca o ninguna ayuda humana. Su software ayuda a los consumidores a encontrar las cosas que quieren comprar en el comercio más relevante, y les ayuda con los pagos y la asistencia postventa. Según Daniel Greaves, responsable de Comunicación de Klarna, la nueva generación de IA tuvo un éxito inmediato. “A las cuatro semanas de su lanzamiento, el asistente de IA se ha hecho cargo de dos tercios de las solicitudes de chat de nuestro servicio de atención al cliente, y está haciendo el trabajo equivalente al de unas 700 personas”, sostiene.

Pero estos y otros usos de la IA, por muy beneficiosos que parezcan, están levantando ampollas. “En la superficie y tal como existe hoy, la IA y la sostenibilidad te llevan en direcciones opuestas”, dice Srini Koushik, presidente de IA, Tecnología y Sostenibilidad de Rackspace Technology. “La IA consume mucha energía, ya sea entrenando grandes modelos de lenguaje o ejecutando inferencias. Y esto es sólo el principio. El consumo de energía crece exponencialmente”.

No obstante, Koushik y muchos otros tecnólogos sostienen que las ventajas de la IA compensan con creces su creciente huella de carbono, lo que puede no ser el caso de otras aplicaciones que consumen mucha energía, como las criptomonedas. La IA promete ayudar a los investigadores a descubrir fuentes de energía más eficientes, como la fusión nuclear, optimizar la utilización de las fuentes de energía actuales mediante una mejor distribución de la energía y medir las ramificaciones de las emisiones de CO2 analizando los patrones climáticos. “La IA beneficiará a la humanidad de muchas maneras”, afirma Koushik. “Y desde el punto de vista de mi propia empresa, si uno de los beneficios de la IA es que me ahorra enviar a alguien en un vuelo de Nueva York a Londres, habré compensado el consumo”.

Srini Koushik, Rackspace

Rackspace Technology

Tanto si la IA cumple sus promesas a largo plazo como si no, los directores de sistemas de información obligados a contabilizar todo su impacto en las emisiones de carbono ahora tienen que incluir el impacto de la IA en sus informes de alcance 3, y eso se complica muy rápidamente. Por ejemplo, si ejecuta la inferencia con un modelo que ha sido entrenado por otra persona, debe informar sobre su parte del impacto de CO2. El proveedor puede indicarle el coste total de la formación, pero nadie sabe cómo repartir ese coste entre todos los usuarios a lo largo de la vida útil del modelo.

“Nada de esto está claro todavía, porque los informes de alcance 3 son nuevos y la IA generativa también”, afirma Niklas Sundberg, director de la Oficina Digital y vicepresidente senior de la empresa suiza de transporte y logística global Kuehne+Nagel. Sundberg sabe tanto como nadie sobre los informes de alcance 3 y trata el tema en su libro Sustainable IT playbook for technology leaders.

A pesar de las ambigüedades, los responsables de TI siguen adelante con la IA. Por el camino, algunos han descubierto tres cosas que pueden hacer para mitigar el impacto en sus propias iniciativas de sostenibilidad. Las comparten aquí.

1. Utilizar un gran proveedor para optimizar la utilización

“Ya somos usuarios avanzados de IA, y una de las cosas que recomendamos es utilizar la IA, especialmente la inferencia, a través de proveedores que hayan compartido entornos de inferencia de IA bajo demanda”, dice Elwin. Esto tiene sentido porque cuantas más personas utilicen un servicio de nube pública, mayores serán las tasas de utilización. La mejora en el uso de recursos para ejecutar aplicaciones de IA que consumen mucha energía podría marcar la diferencia en la huella de carbono global de su organización.

Los CIO pueden ir un paso más allá haciendo una lista de preguntas a los proveedores, empezando por cómo entrenan sus modelos y cómo se ejecuta la inferencia. “Si sólo se compran servicios de inferencia, hay que preguntarles cómo pueden tener en cuenta todo el impacto previo”, dice Tate Cantrell, director técnico de Verne, una empresa con sede en el Reino Unido que ofrece soluciones de centros de datos para empresas e hiperescaladores. “La salida de la inferencia tarda una fracción de segundo. Pero la única razón por la que esos pesos dentro de la red neuronal son como son es la enorme cantidad de entrenamiento -potencialmente uno o dos meses de entrenamiento a algo así como 100 a 400 megavatios- para conseguir que la infraestructura sea como es. Entonces, ¿cuánto de eso hay que cobrar?”.

Tate Cantrell, Verne

Verne

Cantrell insta a los CIO a preguntar a los proveedores sobre sus propios informes. “¿Informan abiertamente sobre el impacto de sus servicios desde el punto de vista de la sostenibilidad? ¿Cuánto dura el proceso de formación, durante cuánto tiempo es válido y a cuántos clientes ha repercutido ese peso?”.

Según Sundberg, una solución ideal sería que el modelo de IA informara sobre su huella de carbono. “Deberías poder preguntar a Copilot o ChatGPT cuál es la huella de carbono de tu última consulta”, afirma. “Que yo sepa, ninguna de las herramientas te dará una respuesta a esa pregunta por el momento”.

2. Utilizar el modelo más adecuado para resolver cada pieza del problema

Cuando Klarna construyó su asistente de IA, no utilizaron un único modelo de IA para hacerlo todo. En su lugar, pasaron por un proceso en el que evaluaron cada paso del servicio para ver qué era realmente necesario para cada parte. “Nos esforzamos por hacer un uso eficiente de los recursos”, afirma Elwin. “Nos aseguramos de utilizar un modelo lo más pequeño posible que ofreciera la capacidad necesaria para completar un paso determinado”.

Klarna ha generalizado esta idea emitiendo directrices para asegurarse de que los equipos piensen de esta manera cuando construyan otras soluciones. Un paso puede requerir un modelo completo, como el GPT-4, mientras que otra parte del servicio funciona bien con un modelo más ligero como el GPT-35 Turbo.

Los modelos más pequeños requieren menos electricidad no sólo durante la fase de formación, sino también para la inferencia. En última instancia, las empresas tendrán que medir el consumo de energía, y puede que sea por consulta, donde los modelos más pequeños funcionan mucho mejor. “No se necesita GPT-4 para adjudicar siniestros en un entorno de seguros”, dice Koushik. “Necesitas algo más pequeño y entrenado con datos más específicos de tu dominio, que sea más preciso a la hora de responder a preguntas de tu dominio que utilizar GPT-4”.

Aunque las grandes empresas llevan bastante tiempo trabajando con el aprendizaje automático, sus modelos no son tan sofisticados como los modelos de código abierto más grandes, dice Sundberg. “Pero hacen un mejor trabajo para resolver problemas corporativos muy específicos como la fijación de precios y la predicción de la pérdida de clientes”.

3. Priorice sus casos de uso

Un CIO puede tener una visión equilibrada de los casos de uso y priorizarlos. “La mayoría de la gente no necesita Copilot”, dice Koushik. “Los beneficios de escribir mejores correos electrónicos no justifican el coste de suscripción y las emisiones de CO2. Por otro lado, nuestro departamento jurídico sí se beneficia de Copilot de un modo que compensa el coste, así que se lo hemos extendido”.

Niklas Sundberg, Kuehne+Nagel

Kuehne+Nagel

Dar prioridad a los casos de uso significa que los responsables de TI tendrán que decir a algunos usuarios que la IA no es una solución adecuada para su problema. La mejor forma de no irritar a nadie es establecer directrices claras desde el principio. Empiece por encontrar formas de medir la huella de carbono de las herramientas de IA y, a continuación, para cada caso de uso, compárelo con los beneficios potenciales. “Es importante que los directores de sistemas de información dispongan de parámetros sobre las emisiones de CO2 de una aplicación determinada”, afirma Sundberg. “Esto les permite sopesar los costes y los beneficios. Si no puede averiguar por sí mismo cuál es la huella de carbono, intente preguntar a su proveedor de software”.

Pero lo que hace que esto sea más difícil es que los vendedores no siempre dicen lo que saben. “Aunque la IA generativa puede abrir muchas oportunidades de sostenibilidad, también hay un lado oscuro del que no se habla, y menos aún los proveedores”, dice Sundberg. “Están demasiado centrados en la carrera por alcanzar el estatus de proveedor líder en su espacio”.

SUBSCRIBE TO OUR NEWSLETTER