Entenda o que é black box problem e por que ele está se tornando um obstáculo para a implantação de ferramentas de IA nas empresas
Muitas empresas voltadas para resultados utilizam ferramentas de inteligência artificial para automatizar tarefas e, assim, garantir mais eficiência e velocidade às operações. Aliás, elas fazem muito bem em ir por esse caminho.
No entanto, um dos desafios que a IA enfrenta é a confiança e aceitação do público às decisões e respostas fornecidas por ela. O black box problem faz esse obstáculo ficar ainda maior.
Isso porque as ferramentas baseadas em inteligência artificial não demonstram como funcionam, ou seja, não há como saber explicitamente como e por que chegam a determinadas conclusões.
Nem mesmo os desenvolvedores de soluções conseguem desvendar os meandros da tomada de decisão pela IA , o que gera desconfiança na tecnologia. Afinal, tudo o que se sabe é que um algoritmo decidiu que aquela seria a melhor resposta.
A falta de habilidades em gerenciamento de riscos em IA como a black box, desacelera projetos na área. De acordo com o State of AI in the Enterprise 2020, da Delloite, 41% das empresas que praticam gerenciamento de riscos em IA estão desacelerando projetos em IA em virtude desses mesmos riscos. Entre as que não fazem gerenciamento nenhum, a taxa é de 58%.
Então que problema é esse da black box? Para entender o que está por trás dele e como mitigá-lo, continue a leitura deste artigo.
O conceito de caixa preta em tecnologia
Como você sabe, uma caixa preta é um dispositivo, sistema ou programa que permite visualizar os dados de entrada e de saída, mas não fornece uma visão dos processos e nem do funcionamento entre eles.
Do conceito de black box já brota a desconfiança em relação a ele. Não há como saber o que exatamente é aprendido e como se apreende. Ou seja, não é possível ver o conteúdo entre as camadas, somente a conclusão.
As ferramentas mais comuns que sofrem com o black box problem são as que utilizam redes neurais artificiais ou deep learning.
Então, a pergunta é: se não se pode entender a maneira que as ferramentas de IA tomam determinadas decisões, como saber se elas estão no caminho certo?
Impactos do problema da caixa preta da IA em organizações
À medida que as ferramentas de IA tornam-se mais presentes em nossas vidas, auxiliando empresas e profissionais de diferentes setores, o impacto de suas decisões se torna mais sério.
As funções de IA estão desempenhando um papel importante na sociedade. Por exemplo: auxilia bancos a saber se um cliente está apto a receber empréstimo ou ajuda um médico a prever se um paciente precisa de determinado tratamento.
Saiba mais: Você sabe a importância da TI em gestão hospitalar?
No entanto, assim como os seres humanos, a inteligência artificial também pode cometer erros.
Se não sabemos como a IA chega a certas decisões, como avaliaremos se ela é boa ou não? Disso surgem preocupações éticas e morais ao ignorarmos o black box problem na IA.
Por não conter um código moral intrínseco, as ferramentas que utilizam a inteligência artificial não fazem assimilações éticas como os humanos. Então, ao produzir um determinado resultado imoral ou antiético, a inteligência artificial não vai perceber. Por isso que é tão desconfortável não entender o raciocínio por trás do resultado.
A partir dessa lógica, surgem os questionamentos da sociedade e vários desafios para as empresas.
Como confiar que a decisão da IA é a melhor? As pessoas se sentirão confortáveis com o uso dessa tecnologia em análises subjetivas até que os resultados sejam interpretáveis?
Veja: 6 desafios mais comuns em projetos com IA
Black box problem: do paradigma da opacidade ao da transparência
Devido ao black box problem, muitas empresas passaram a ocultar os detalhes técnicos de suas inteligências artificiais por motivos comerciais, para obter vantagens competitivas.
Esse modelo de negócio, embora maximize o lucro da empresa desenvolvedora, vai de encontro à necessidade de mitigar possíveis danos que o problema pode causar ao usuário final, sobretudo em setores críticos como financeiro, saúde e justiça.
Se o problema da black box é gerado pela falta de visibilidade das análises dos modelos, a solução é dar a elas transparência. Apenas a busca de transparência nos modelos de IA que pode de fato ajudar a melhorá-los, revelando suas falhas e gerando a possibilidade de repará-las.
Essa abordagem tem sido cada vez mais adotada no mercado, que está substituindo a cultura de segurança por meio da obscuridade pela transparência de códigos abertos.
Mas qual a solução que as empresas estão adotando para dar transparência ao processo de tomada de decisão de seus modelos de IA?
Veja também: Como usar a IA no relacionamento com o cliente?
Resolvendo o problema da caixa preta: IA explicável e interpretável
A resposta ao problema da black box está na IA explicável e na IA interpretável, ou seja, em ferramentas de inteligência artificial que produzam resultados que um ser humano consegue entender e explicar como foram produzidos. O que ambas significam?
IA interpretável é um algoritmo que fornece uma explicação dos processos de tomada de decisão. Muitos algoritmos de machine learning, por exemplo, são interpretáveis, pois seu aprendizado é supervisionado.
Já IAs explicáveis são ferramentas que se aplicam a algoritmos que não fornecem uma explicação clara de suas decisões. Ou seja, por meio de métodos e técnicas na aplicação da tecnologia de inteligência artificial, os resultados da solução podem ser entendidos por especialistas humanos.
De todo modo, essas funcionalidades ainda não estão disponíveis no mercado e até lá o black box problem sugere cautela com a IA em determinados níveis e para certos propósitos.
Ou seja, as decisões críticas baseadas em inteligência artificial devem ser tratadas como sugestões para decisões humanas e não como respostas definitivas. E então, como reduzir o problema?
Leia também: Criar inteligência artificial ou comprar?
Como reduzir os problemas da Inteligência artificial?
A forma mais eficiente de reduzir os problemas da IA no seu negócio é fazer auditorias especializadas com profissionais de TI experientes.
Os aprendizados e treinamentos precisam ser revisados e atualizados com frequência para refinar os processos.
Quem atua com projetos de IA sabe da importância de acompanhar os algoritmos e estabelecer formas de controle durante seu ciclo, desde a coleta de dados até a aplicação.
Para isso, é importante também que a empresa tenha processos de vigilância claros para monitorar os resultados e garantir, sempre que necessário, a validade das informações, a fim de manter a qualidade dos dados.
Além disso, é necessário que líderes da empresa tenham total conhecimento e interesse sobre o funcionamento das novas tecnologias, de modo a poder monitorar o aumento de seu poder de influência sobre os usuários e não depender de caixas pretas que não podem ser fiscalizadas internamente.
Com essas medidas, você provavelmente vai conseguir ter as suas estruturas e modelos baseados em inteligência artificial sob controle.
Confira: Visão computacional: por que você precisa mirar nessa área de IA
Da black box para a open box: um caminho em construção
Os modelos de inteligência artificial trazem às empresas inúmeras possibilidades de otimização de trabalho e personalização de experiência aos clientes.
Vimos que para evitá-los, critérios de avaliação justos são fundamentais. Mas também vimos que para que isso aconteça é preciso que eles sejam claros e transparentes.
Entretanto, a IA também traz riscos e desafios que precisam ser conhecidos e considerados, como o black box problem.
Na base disso está a necessidade de questionar e de contar com profissionais de TI que não queiram apenas automatizar pela simples automação, e sim para levar soluções personalizadas e éticas para a sua empresa.
Para auxiliar na sua jornada de transformação digital, conte com um parceiro para a formação de times em TI.
