Um novo estudo da Universidade de Washington destacou o potencial de viés racial e de gênero significativo ao usar Inteligência Artificial para triagem de currículos.
Os pesquisadores testaram três modelos de código aberto e apontaram que eles favoreciam currículos com nomes associados a brancos em 85% das vezes e nomes associados a mulheres em 11% das vezes.
Entre as 3 milhões de combinações de emprego, raça e gênero testadas, homens negros tiveram o pior desempenho, com os modelos preferindo outros candidatos quase 100% das vezes.
- Elon Musk quer criar cluster para IA com 200 mil GPUs
- Conselheiro Sênior da OpenAI renuncia e equipe é dissolvida
- Matchmaking de Deadlock foi criado com ajuda do ChatGPT
Sobre o estudo
Para o estudo, os pesquisadores utilizaram 554 currículos e 571 descrições de emprego retiradas de documentos reais. Os pesquisadores alteraram os currículos, substituindo por 120 nomes associados a homens, mulheres, negros e/ou brancos.
As vagas empregos incluíam cargos de executivo, gerente de marketing e vendas, gerente de RH, trabalhador de recursos humanos, contador e auditor, engenheiro, professor de ensino médio, designer e trabalhador de vendas.
Os resultados apontam viés de gênero e raça, assim como viés interseccional quando gênero e raça são combinados. A tecnologia preferiu homens brancos mesmo para funções que são mais comumente ocupadas por mulheres, como postos de RH.
Os modelos utilizados eram todos de código aberto, sendo eles o da Salesforce, Contextual AI e Mistral.
Possível origem do viés
Para Kyra Wilson, doutorando da Escola de Informação da Universidade de Washington, o viés pode advir dos dados de treinamento. “Esses grupos têm privilégios existentes na sociedade que aparecem nos dados de treinamento. O modelo aprende com esses dados e depois reproduz ou amplifica os mesmos padrões em suas próprias tarefas de tomada de decisão”, disse ela.
A pesquisadora também afirmou que como a maioria dos modelos comerciais são caixas pretas proprietárias, é difícil para os pesquisadores investigarem esses modelos. E as empresas não são obrigadas a divulgar padrões ou vieses em seus resultados, criando um vazio de informações.
E remover nomes de currículos não resolverá o problema porque a tecnologia pode inferir a identidade de alguém a partir de sua história educacional, cidades onde vivem e até escolhas de palavras para descrever suas experiências profissionais. Parte da solução envolve a seleção do conjunto de dados de treinamento.
Respostas das empresas
Representantes da Salesforce e Contextual AI disseram que os modelos utilizados na pesquisa não foram projetados para esse tipo de aplicação por empregadores reais, o que compromete os resultados obtidos.
Em e-mail ao GeekWire, um porta-voz da Salesforce por e-mail destacou que “o modelo da Salesforce incluído no estudo foi lançado ‘para a comunidade de código aberto apenas para fins de pesquisa, não para uso em cenários de produção no mundo real’”.
Jay Chen, vice-presidente de marketing da Contextual AI, afirmou que o LLM usado foi baseado na tecnologia da Mistral e não é um produto comercial da Contextual AI.
Fontes: Universidade de Washington e GeekWire.
from Tudo sobre Notícias - Adrenaline https://ift.tt/RKgzqBn
via IFTTT