Taverna /dev/All

Inteligência artificial pode prejudicar as minorias?

image

Recentemente comecei a me dedicar mais a fundo no estudo de machine learning e uma suspeita que tinha, mas não conseguia por em palavras, foi exposta neste artigo: Inteligência Artificial: a caixa preta que prejudica as minorias (https://imasters.com.br/desenvolvimento/inteligencia-artificial-caixa-preta-que-prejudica-minorias) de Carla Vieira.

É levantada uma questão muito interessante: de que maneira nós, desenvolvedores, acabamos por enviesar nossos algoritmos no momento em que alimentamos nossos modelos no desenvolvimento de soluções envolvendo aprendizado de máquina?

São apresentados alguns exemplos e referências bem interessantes, o que me motivou trazer para cá esta discussão buscando com isto opiniões (preferencialmente mais interessantes que os comentários postados no final do artigo pela comunidade) aqui, na Taverna.

(a imagem deste post, por exemplo, veio do artigo da Carla, em que a imagem de um homem na cozinha o caracterizou como mulher em um algoritmo de detecção de imagens)

O que vocês acham disto? Realmente podemos enviesar nossos algoritmos levando para eles nossos próprios preconceitos ou já existem técnicas que possibilitam minimizar este risco?

Uma das soluções apresentadas pela Carla foi a presença de equipes que apresentem maior diversidade. Realmente, faz sentido, mas como podemos gerenciar estas equipes pra mitigar o risco e, ainda mais importante, em equipes que não tenham grande diversidade, como tratar?

Sugeri à Carla por Twitter que publicasse uma bibliografia comentada sobre o tema, e ela me mostrou um trabalho que já iniciou mas ainda não possui muito conteúdo que pode ser visto neste link: https://github.com/carlaprv/material-de-estudo-ia-bias

Enfim, achei o assunto fascinante e quero agora discutir aqui com vocês a respeito. Qualquer contribuição para a discussão é super válida.

1 Curtida

É preciso pensar 1 milhão de vezes antes de tomar decisões baseadas em dados que contenham dados de sexo, cor e outros. Uma análise exploratória bem feita pode encontrar correlações estatísticas entre variáveis, as quais não implicam causalidade mas podem ser explicadas por fatores sociais externos aos dados, ou mesmo por algum viés na amostragem. Essas correlações podem revelar vieses que, se simplesmente deixarmos a máquina criar modelos, podemos cair em problemas como estes aqui.

O ideal é, na minha opinião, evitar esse tipo de variável se possivel. Por que diabos vou querer olhar a cor de alguém para quem vou conceder crédito? Olho a renda, histórico de dívidas, etc.

3 Curtidas

Um amigo ao ler este post me indicou a leitura deste livro: Weapons of Math Destruction

Ao ler a sinopse parece tratar justamente destes casos: https://weaponsofmathdestructionbook.com/

1 Curtida
1 Curtida

é por isso que já tem muita gente que fala sobre ética em data science, já tem livros e cursos por ai, segue um exemplo

1 Curtida

Fiz esse curso ano passado, porém hospedado na plataforma da Edx (https://www.edx.org/course/data-science-ethics). Recomendo fortemente a todos. Acho que é um assunto válido para todas as pessoas que se relacionem minimamente com tecnologia, não apenas quem está tecnicamente envolvido com dados.

1 Curtida

Um pouco distante do caso específico do bias do preconceito propagado pelo machine learning, mas ainda dentro do guarda-chuva da ética, é muito interessante dar uma brincada na Moral Machine do MIT. Você terá que fazer 13 escolhas difíceis envolvendo carros autônomos (classicamente conhecido como Dilema do Bonde) e ao final poderá comparar seu ponto de vista ético com a média das demais pessoas que já completaram a pesquisa.

1 Curtida

itexto