Um ponteiro laser pode atacar carros de piloto automático.

Quão fácil é atacar modelos de IA?

Um raio laser é suficiente!

Recentemente, um especialista da Ali Security publicou um novo estudo que tornaria os modelos de IA não mais válidos com um simples ponteiro laser.Neste estudo, eles projetaram um algoritmo para simular o feixe “atacando” o modelo de IA. Este método de teste também foi validado no mundo real, e “atacar” é muito fácil de operar. É mais perigoso para os sistemas visuais baseados em IA existentes, como a condução automática baseada na visão de IA.

Quando feixes de diferentes espectros atingem o mesmo objeto, a IA pode identificá-lo erroneamente, como reconhecer um sinal de pare como uma passagem.

É difícil imaginar que se uma pessoa está descansando com os olhos fechados em um automóvel em movimento e a IA identifica “perigoso à frente” como “viajando” e depois cai diretamente em um penhasco, ou não consegue reconhecer o pedestre à frente, isso seria um problema. pesadelo para os pedestres.

Além disso, quando a câmera de um automóvel sofre interferência de um Raio Laser, o bonde é identificado como um anfíbio e a placa de rua como um dispensador de sabão.

“Atacar a IA não requer amostras de contramedidas feitas pelo homem. Um simples ponteiro laser pode fazê-lo. Queremos usar esta pesquisa para revelar alguns “erros” em modelos de IA que não foram explorados antes, de modo a IA “forte”, para que possa resistir a esse tipo de “ataque” em o futuro e fazer com que os profissionais relevantes atribuam importância à melhoria da segurança dos modelos de IA.” Disse o chefe do Ali Security Turing Laboratory.

É bem conhecido que o desempenho do reconhecimento de imagem de aprendizado em profundidade é afetado sob certas condições de iluminação. No entanto, como a possibilidade de aprendizado em profundidade com interferência de laser pode ser descoberta?

"Há duas razões principais. Por um lado, a maioria dos ataques físicos anteriores cometeu um erro de reconhecimento do modelo ao se prender ao Patch, que introduz interferência artificial. Estamos pensando se existem outras formas de ataque que podem atacar o reconhecimento de imagem (ataque a laser emite laser quando precisa atacar, e o Patch não precisa ser colado); O sistema foi inspirado pela identificação errônea de acidentes de carro fatais em clima claro, me fazendo pensar se algumas condições extremas de luz poderiam representar uma ameaça aos sistemas de IA.” O autor deste artigo está atualmente fazendo pesquisa e prática no Ali Security Turing Laboratory.

Atualmente, este artigo sobre segurança de Ali foi incluído recentemente pelo CVPR 2021: Link

O contra-ataque a laser é mais do que apenas cometer erros no reconhecimento da imagem. Ao alterar o comprimento de onda do laser, o resultado do reconhecimento da imagem também pode mudar constantemente. Por exemplo, uma cobra-rei pode ser identificada como meias, mesa, microfone, abacaxi, mamba verde , milho, etc. sob a interferência de laser roxo para laser vermelho.

E... cachorro-quente!!!

Entende-se que as variáveis controláveis do próprio laser não são apenas o comprimento de onda, mas também a largura e a intensidade do feixe de laser, o que terá alguma influência nos resultados de interferência do reconhecimento da imagem.

Alguns casos de identificação errônea são particularmente interessantes. Como mencionado acima, ao usar um feixe de laser amarelo, as cobras-rei são classificadas erroneamente como milho, e existem algumas semelhanças entre as cobras-rei e a textura do milho.

Além disso, raios laser azuis confundem tartarugas com águas-vivas:

O raio laser vermelho pode confundir o rádio com um aquecedor de ambiente.

Os pesquisadores então realizaram extensos experimentos para avaliar o método de interferência do feixe de laser (advlb) proposto no artigo.

Eles avaliaram primeiro o advlb em uma caixa preta em um ambiente analógico digital – ele pode atingir uma taxa de sucesso de ataque de 95.1% em 1.000 imagens classificadas corretamente do ImageNet.

Especificamente, para cada imagem, os pesquisadores realizam um ataque de consulta caixa preta (incapaz de obter o modelo), ou seja, consulta a API, retorna os resultados, modifica os parâmetros do laser de acordo com os resultados e os sobrepõe na imagem, e consulta a API novamente para determinar se o ataque foi bem-sucedido. Entre as 1000 imagens, cada imagem precisa ser consultada 834 vezes em média para ter sucesso“ Como esse método de ataque pertence à configuração de caixa preta, ele precisa de muitas tentativas. ” Yue Feng, especialista sênior em algoritmos do laboratório Turing de segurança de Ali, disse. Finalmente, 95.1% das imagens podem ser atacadas com sucesso, enquanto 4.9% das imagens não podem ser atacadas com sucesso devido à limitação do espaço de busca.

Os pesquisadores então os testaram no mundo real, usando as seguintes ferramentas:

A ferramenta é muito simples, incluindo três pequenas canetas laser portáteis (potência: 5MW) – feixes de laser de baixa potência com comprimentos de onda de 450nm, 532nm e 680nm respectivamente, e celular Google pixel 4 para tirar fotos.

Nos testes internos e externos, os pesquisadores alcançaram taxas de sucesso de ataque de 100% e 77.43%, respectivamente.

Conforme mostrado na figura abaixo, no teste interno, os objetos alvo incluem concha, banana e sinal de parada. A imagem na coluna do meio mostra os resultados da simulação digital e a imagem na terceira coluna mostra os resultados do teste interno. Pode-se verificar que os resultados dos dois são consistentes.

Em seguida é o teste ao ar livre. Os pesquisadores usaram o sinal de pare para testar a taxa geral de sucesso do ataque foi 77.43%. Espera-se que essa taxa de sucesso faça um famoso carro de piloto automático atingir o céu.

Esses resultados comprovam ainda mais a ameaça do feixe de laser para o mundo real.

Alguns leitores podem ficar confusos. Como você faz isso no mundo real com interferência de laser? Afinal, o laser tem agregação e não é fácil de espalhar. De um modo geral, é difícil ver a trajetória do feixe de lado, muito menos o brilho óbvio na imagem acima.

A esse respeito, a pesquisadora nos explicou: “no início, consideramos o efeito dingdal da luz. Durante o processo de fotografar qualquer objeto, tiramos trilhas de luz ao mesmo tempo, mas como a energia das trilhas de luz é muito fraca, um ambiente mais escuro é realmente necessário neste caso. Outra maneira é colocar uma fenda de luz na cabeça da caneta laser, que pode ser atingida diretamente no objeto. Como a energia no foco do laser é forte, ela tem um certo efeito, desde que não seja uma luz externa extremamente forte, semelhante aos semáforos durante o dia. Embora seja mais fraco do que no escuro, ainda tem visibilidade. Mas pensamos principalmente em 'segurança noturna'. ”

Por exemplo, a figura a seguir mostra a trajetória do feixe vista do lado do laser sob o efeito Dindal.

Durante o experimento, a equipe descobriu que o feixe tem uma alta taxa de sucesso dentro de um determinado intervalo (como mostrado no diagrama dinâmico abaixo), então ele também pode se adaptar ao ambiente dinâmico do mundo real até certo ponto. Do ponto de vista da segurança, esse método de ataque também pode ser usado como detecção de simulação para testar se o modelo é seguro o suficiente nessa condição.

A figura a seguir mostra a cena do laser atingindo sinais de trânsito através de fendas de luz:

Depois, há cenas internas e externas sob a luz do dia:

Depois de analisar o erro de previsão de DNN causado pelo feixe de laser, os pesquisadores descobriram que as causas do erro podem ser divididas em dois tipos:

Primeiro, as características de cor do feixe de laser alteram a imagem original e fornecem novas pistas para DNN. Como mostra a figura abaixo, quando o feixe de laser com comprimento de onda de 400nm irradia o “ouriço”, o espinho do ouriço combina-se com o roxo introduzido pelo raio laser para formar uma característica semelhante ao “espinho da bráctea”, resultando no erro de classificação.

Em segundo lugar, o feixe de laser apresenta algumas das principais características de uma determinada categoria, especialmente aquelas relacionadas à iluminação, como as “velas”. Quando o feixe de laser e o objeto alvo aparecem ao mesmo tempo, a DNN pode estar mais inclinada às características introduzidas pelo feixe de laser, resultando em erros de classificação. Ou, como mostra a figura acima, o próprio feixe de laser amarelo é semelhante à haste do esfregão, o que induz o DNN a identificá-lo como um “esfregão”.

“O fator mais importante é a 'intensidade' do laser. Quanto mais forte o laser, mais ele pode ser capturado pela câmera.” Disse o pesquisador.

A maioria dos métodos de ataque físico existentes usa o método “colar”, ou seja, o distúrbio antagônico é impresso como um rótulo e depois colado no objeto alvo.

Por exemplo, basta imprimir uma nota padronizada com uma impressora comum e colá-la na testa, você pode cometer um erro no sistema de reconhecimento de rosto.

Ou use “anti-patch” para fazer com que o sistema de detecção de alvos não veja que pessoas são pessoas.

Claro, esses métodos são relativamente complicados, e o mais simples pode ser colar pequenos adesivos em preto e branco nos sinais de estacionamento.

A aprendizagem multimodal tornou-se um hotspot de pesquisa no campo da inteligência artificial nos últimos anos, mas logo surgiram ataques contra modelos multimodais.

Por exemplo, o modelo de clipe proposto pela openai pode gerar interpretação de texto para imagens, e verifica-se que existem neurônios multimodais em sua rede, que podem ativar a imagem e o texto da mesma coisa ao mesmo tempo. Por exemplo, quando um rótulo rotulado como “iPod” foi anexado a esta maçã Granny Smith, o modelo a identificou incorretamente como iPod na configuração de amostra zero.

A Openai chama esses ataques de ataques tipográficos. Na opinião deles, o ataque descrito acima não é de forma alguma uma consideração acadêmica. Ao usar a poderosa função de leitura de texto do modelo, até mesmo fotos de palavras manuscritas podem enganar o modelo. Assim como o “counter patch”, esse ataque também é eficaz em cenas de campo. Mas, ao contrário de tais ataques, ele só precisa de papel e caneta.

O ataque baseado em laser não é apenas simples, mas também mais difícil devido às características da luz. Os pesquisadores alertam que as pessoas podem atacar de longa distância imediatamente antes que o objeto alvo atacado seja capturado pela câmera, por isso é impossível evitá-lo!

Quando o veículo autônomo se aproxima do sinal de pare, mesmo que o sinal de pare não possa ser reconhecido em um curto espaço de tempo, pode levar a acidentes fatais.

Os pesquisadores também apontaram que esse método de ataque é particularmente útil no estudo das ameaças de segurança ao sistema visual em condições de pouca luz. A figura a seguir mostra as vantagens do ataque a laser em condições de pouca luz. Pode ser aplicado tanto em ambientes digitais quanto físicos, o que também é sua vantagem.

Portanto, em resumo, o ataque do feixe de laser tem as características de ocultação, instantaneidade, luz fraca e aplicabilidade multiambiente.

Os pesquisadores apontaram que o método de ataque atual ainda apresenta deficiências. Um deles é que ainda será limitado ao atacar em um ambiente dinâmico, mas é difícil prever a extensão de seu desenvolvimento no futuro.
Há muito se descobriu que o reconhecimento de imagem é sensível à posição, ângulo, iluminação (luz natural, luz artificial) e outras condições. A essência do reconhecimento de imagem de interferência a laser está mais próxima dessa sensibilidade ou do combate a ataques?

Sobre isso, Zach disse: “na verdade, os dois não são contraditórios. Contrariar ataques pode afetar a saída do modelo por meio de interferência de acordo com a intenção do atacante. Quando a taxa de sucesso do ataque for muito alta, devemos considerar esse método como uma ameaça à segurança para minimizar os possíveis riscos de segurança do modelo no futuro. Nosso ataque está essencialmente mais próximo da sensibilidade, ou generalização, porque até o laser pertence a um tipo de condição de iluminação. No processo de ataque, não adicionamos outra interferência artificial, apenas um feixe de luz. “