Erro ou criatividade da IA generativa, mesmo em nível baixo, traz riscos para as empresas

Telma Luchetta, sócia-líder na EY Latam de Generative AI, Data e Analytics. (Foto: Agência EY)

Uma pergunta tem chamado a atenção das empresas sobre o uso da IA generativa: qual é o nível aceitável de erro desses sistemas? Na linguagem da tecnologia, toda vez que a IA erra ou opta por ser criativa, oferecendo uma resposta não desejável, ela alucina. O problema é que essas alucinações representam risco para as organizações, que estão atrás de previsibilidade e segurança no uso dessa tecnologia.

“Não há uma resposta fechada sobre o grau de alucinação considerado normal, desejável ou aceitável no contexto corporativo. Isso dependerá de uma análise abrangente sobre a finalidade de uso da IA generativa; o público que está interagindo com essa tecnologia ou sendo impactado por ela; e as particularidades, inclusive regulatórias, do setor econômico em questão”, destaca Telma Luchetta, sócia-líder na EY Latam de Generative AI, Data e Analytics, que participou de evento sobre essa tecnologia promovido pela EY para executivos das áreas de tecnologia e operações. “De forma geral, uma assertividade da IA de 80% pode ser considerada elevada, mas isso depende da análise dos fatores que mencionei. Na indústria farmacêutica, por exemplo, esse índice não é aceitável, já que não se pode, para uma medicação, apresentar 20% de alucinação. Uma margem de 5% de erro já é alta quando falamos de vidas”, completa.

Nesse exemplo da indústria farmacêutica, a finalidade está no uso da IA generativa para tarefas que costumam demandar muito tempo ou esforço dos pesquisadores, mas que são fundamentais para o sucesso do medicamento desenvolvido. A triagem de compostos químicos, por exemplo, pode ser facilitada porque a IA generativa acelera esse processo com modelos treinados em conhecimento bioquímico que mapeiam os milhões de compostos para encontrar aqueles com maior probabilidade de tratar com sucesso determinada doença. A IA generativa também pode contribuir para a otimização dos testes clínicos, com a escolha assertiva dos pacientes adequados para essas simulações, por meio da análise dos indicadores biológicos. Em um contexto como esse, a busca é por uma IA generativa precisa nas avaliações, sem espaço para inovar nas respostas disponibilizadas aos pesquisadores.

Supervisão humana

Embora o uso dessa tecnologia seja desejável, podendo resultar em avanços nos medicamentos criados para o combate das doenças, é preciso cautela por parte das farmacêuticas, assegurando-se de que os níveis de alucinação serão realmente baixos. O ideal é que sejam criados mecanismos internos de supervisão humana voltados para identificar essas alucinações a tempo de serem corrigidas. Essas práticas só podem ser introduzidas de forma sustentável nas organizações por meio da governança.

“Para que esses erros possam ser percebidos, o primeiro passo é entender o sistema de IA generativa, sabendo explicar como ele funciona e como chegou a cada uma das decisões. Essa preocupação faz parte da governança em IA”, diz Denis Balaguer, líder de inovação da EY Brasil, que também palestrou no encontro realizado recentemente. “A explicabilidade, como é chamada essa prática de compreender o sistema de IA, torna-se ainda mais relevante em indústrias como a de seguros. Na hora de determinar o prêmio, a seguradora deve explicar o motivo de o segurado precisar pagar aquele valor específico. Há empresas que acertadamente preferem não usar a IA generativa porque não conseguem explicar com clareza essas decisões”.

ChatGPT interno

Ainda que o receio maior das organizações seja com o público externo, elas também estão sujeitas a riscos em relação aos colaboradores. “Há um movimento cada vez mais intenso de as empresas criarem seus próprios ChatGPTs. Para isso, elas estão escolhendo áreas operacionais como jurídico e RH para aumentar a produtividade dos seus profissionais. O raciocínio é primeiro tratar os problemas dentro de casa para depois partir para áreas de atendimento e de contato com o público externo”, afirma Telma. Nessa utilização interna, é preciso ter as mesmas preocupações de governança demonstradas em relação ao consumidor e demais públicos externos. O raciocínio de primeiro verificar a finalidade do uso da IA generativa deve ser aplicado.

“São preocupantes, por exemplo, índices de alucinação, mesmo que mínimos, em um sistema ligado à segurança do trabalho com as regras que devem ser seguidas pelos colaboradores. Uma resposta errada ou criativa da IA generativa nesses casos pode resultar em um acidente de trabalho, colocando em risco a vida do colaborador”, diz Denis. Nesse contexto, é preferível abrir mão do ChatGPT voltado para esse propósito ou contar com a supervisão humana que identifique as imprecisões.