Até alguns anos atrás, os algoritmos de aprendizado de máquina simplesmente não funcionavam muito bem em muitas tarefas significativas, como reconhecer objetos ou traduzir. Assim, quando um algoritmo de aprendizado de máquina falhava em fazer a coisa certa, essa era a regra, e não a exceção. Hoje, os algoritmos de aprendizado de máquina avançaram para o próximo estágio de desenvolvimento: quando apresentados com entradas que ocorrem naturalmente , eles podem superar os humanos. O aprendizado de máquina ainda não atingiu um desempenho verdadeiro em nível humano, porque quando confrontado por um adversário trivial, a maioria dos algoritmos de aprendizado de máquina falha drasticamente. Em outras palavras, chegamos ao ponto em que o aprendizado de máquina funciona, mas pode ser facilmente quebrado.
A atividade tem por objetivo discutir os conceitos de Machine Learning, e com uma visão mais hacker, abordar suas vulnerabilidades. Enganar uma ML não é algo tão complexo quanto deveria ser, e as consequências são extremamente prejudiciais. Um exemplo simples pelo qual todos nós já passamos é o de filtro de spam que trabalha com modelos estatísticos e que acaba por deixar passar e-mails maliciosos com termos positivos. De fato, quebrar um modelo é tão simples que, por vezes, os atacantes não precisam envenenar os dados de treinamento analisados para aprender os parâmetros de um modelo de aprendizado de máquina. Em vez disso, pode-se forçar os modelos a cometer erros instantaneamente , apenas perturbando as entradas nas quais o modelo faz previsões (após a conclusão do treinamento - durante a fase de inferência).
Uma maneira comum de encontrar perturbações forçando modelos a fazer predições erradas é computar exemplos contraditórios, por meio de imagens sujas com ruídos (estagnografia). Todas essas situações serão apresentadas, explicadas e discutidas na apresentação.