Please use this identifier to cite or link to this item:
https://www.arca.fiocruz.br/handle/icict/55992
DESAFIOS PARA A ADOÇÃO DE INTELIGÊNCIA ARTIFICIAL PELO SISTEMA ÚNICO DE SAÚDE (SUS): ÉTICA, TRANSPARÊNCIA E INTERPRETABILIDADE
Saúde Pública
Inteligência Artificial
Aprendizagem de Máquina
Ética e Interpretabilidade
Public Health
Artificial Intelligence
Machine Learning
Ethics and Interpretability
Lima, Jefferson da Costa | Date Issued:
2022
Author
Comittee Member
Affilliation
Fundação Oswaldo Cruz. Instituto de Comunicação e Informação Científica e Tecnológica em Saúde. Rio de Janeiro, RJ, Brasil.
Abstract in Portuguese
Nos últimos anos, aplicações que utilizam componentes baseados em Inteligência Artificial (IA) têm se tornado onipresentes em nosso cotidiano. No campo da saúde, ao mesmo tempo em que a IA pode promover enormes avanços, uma questão que se apresenta, e que é desafiadora para a sua adoção, é fazer com que o seu uso seja justo e não discriminatório contra pessoas, grupos, comunidades, populações e instituições. Outra característica marcante é que parte do êxito recente das aplicações baseadas em IA está relacionada a modelos cada vez mais complexos, sacrificando o entendimento humano sobre o seu funcionamento. Em áreas potencialmente sensíveis como a saúde, a falta de transparência é uma limitação que pode ocultar tratamentos discriminatórios ou, por falta de confiança na solução, funcionar como uma barreira para a adoção da tecnologia, o que pode levar a perda de enormes oportunidades para a melhoria do acesso aos serviços de saúde. Esta pesquisa, no primeiro momento, se concentra em identificar os fatores, técnicos, regulatórios e éticos, que podem contribuir para a construção de um ambiente mais adequado para o desenvolvimento da IA nos serviços de saúde. Em seguida, busca compreender como o funcionamento dos métodos de interpretabilidade, que podem fornecer, para modelos de IA reconhecidamente pouco transparentes (black boxes), alguma interpretabilidade e como isso pode impactar os serviços de saúde. Para isso, foi criado um experimento contrafactual relacionado a multiplicidade preditiva e consistência de explicações por meio de listas de importância dos atributos de quatro dos principais modelos de predição (classificação). Esta é uma pesquisa construída com um olhar para o Sistema Único de Saúde (SUS) e, especialmente, o seu princípio doutrinário da Equidade. Com isso, esperamos que o uso de IA na saúde possa contribuir para mitigar os efeitos das iniquidades sociais e econômicas, não para perpetuá-las ou agravá-las, ao criar um ambiente mais transparente e confiável
Abstract
In recent years, applications that use Artificial Intelligence (AI) components have become ubiquitous in our daily lives. In the field of health, at the same time, when AI can make tremendous advances, a question that presents itself and is challenging for its adoption is to make its use fair and non-discriminatory against persons, groups, communities, populations, and institutions. Another striking feature is that part of the recent success of AI-based applications is related to increasingly complex models, sacrificing human understanding of their operation. In potentially sensitive areas such as health, lack of transparency is a limitation that can hide discriminatory treatments or, due to lack of confidence in the solution, act as a barrier to the adoption of technology, which can lead to the loss of enormous opportunities for improving access to health services, for example. This research first focuses on identifying the technical, regulatory, and ethical factors that can contribute to the construction of a more suitable environment for the development of AI in health services. Then, it seeks to understand how interpretability methods work, which can provide some interpretability for admittedly little transparent AI models (black boxes) and how this can impact health services. For this, a counterfactual experiment related to predictive multiplicity and consistency of explanations was created through lists of feature importances of four of the main prediction models (classification). This research was built with a look at the Unified Health System from Brazil (Sistema Único de Saúde - SUS) and its doctrinal principle of Equity. With this, we hope that using AI in health can mitigate the effects of social and economic inequities, not perpetuating or exacerbating them, by creating a more transparent and credible environment
Keywords in Portuguese
Ciência de DadosSaúde Pública
Inteligência Artificial
Aprendizagem de Máquina
Ética e Interpretabilidade
Keywords
Data SciencePublic Health
Artificial Intelligence
Machine Learning
Ethics and Interpretability
Share