Letras de Kanye West são barradas por filtro de comentários ofensivos do Instagram

A comunicação humana é complexa. Entender e interpretar seu significados é um dos desafios atuais de Kevin Systrom, CEO do Instagram. Mesmo considerada uma empresa pequena (500 funcionários, cerca de 1 para cada 1,5 milhão de usuários), o Instagram adotou a ferramenta criada pelo Facebook para separar palavras “boas” de “más”, o DeepText, e agora procura formas de fazer com que a inteligência artificial seja capaz de diferenciar comentários ofensivos de letras de músicas. Enquanto isso, versos como os de Kanye West são barrados.

Por ironia, os primeiros testes executados foram no perfil de Taylor Swift, na época envolvida em polêmica com West e outros artistas. Em 2016, Taylor estava entre os tópicos mais falados da internet, caracterizada como uma vilã da Disney. O fim da “traiçoeira Swift” foi comemorado com comentários ofensivos, principalmente em suas fotos no Instagram, inundadas com emojis de cobra. Os comentários tomaram todos os seus posts, até sumir silenciosamente.

A mágica aconteceu através do filtro aplicado por Systrom. Como teste, o DeepText detectava termos específicos e os retirava do feed do usuário, fossem palavras, símbolos ou até mesmo os emojis de cobra que perseguiam Taylor. A partir desses resultados, a empresa expandiu suas pesquisas para desenvolver o potencial completo da ferramenta.

O próximo passo

Mesmo sendo um filtro avançado, o sistema era limitado por sua essência robótica. Como poderia identificar uma cantada abusiva de uma piada interna entre amigos? Ou, ainda, como entender significados por trás de termos culturais diferentes? As atualizações apresentaram respostas positivas, mas o passo seguinte era entender o teor por trás dos comentários, através de uma série de regras aplicadas ao filtro.

Em testes, os engenheiros detectaram dificuldade em fazer o programa reconhecer a diferença entre músicas e insultos, como na canção de Kanye West, na polêmica “Famous”. Ao mesmo tempo, insultos mais inteligentes são aceitos sem problemas.

“For my southside niggas that know me best / I feel like me and Taylor still might have sex / Why, I made that bitch famous., trecho barrado de “Famous”

Para resolver casos assim, a empresa procurou entender a história por trás da mensagem. Se uma ofensa for usada com alguém, ela será retirada. Porém, se essa ofensa for a si mesmo ou como meio narrativo, então ela se adequa a política de comentários adotado pelo Instagram.

As regras estão sendo adaptadas para entender essas sutilezas. Definiu-se caminhos através de meios, como uma pesquisa pela relação dos usuários em questão ou até mesmo o histórico particular de quem realizou o comentário – uma espécie de “escala do karma”, como os engenheiros batizaram.

Posicionamento social

A internet é uma ferramenta que potencializa discursos, seja isso para o bem ou não, e todas as empresas que possuem alguma forma de comunicação online precisam lidar com isso. Contestados por seus discursos publicitários vazios, empresas como o Twitter e o Facebook são criticados constantemente pela sua inércia (preguiça) no combate de ódio nos feeds. Por outro ladro, o Airbnb ganhou espaço com a execução de suas promessas de venda, posicionando-se fortemente contra casos de racismo entre seu público alvo, por exemplo.

Kevin Systrom escolheu esse lado. O desafio agora é entender o que está por trás das palavras, mesmo que nas mais distorcidas se colocadas fora do contexto, como justificaria Kanye West. De qualquer forma, a plataforma entendeu que não se posicionar também é uma forma de levantar bandeiras, e por agora, o Instagram é uma das empresas que possui a equipe mais dedicada em tornar saudável o uso das redes sociais para seus usuários.