ChatGPT personalizado apresenta riscos de segurança, alertam pesquisadores

Publicado originalmente em Olhar Digital. Para acessar, clique aqui.

Pesquisadores da Northwestern University alertam que a opção de personalizar o ChatGPT representa um risco de segurança aos usuários

No mês passado, a OpenAI lançou a GPT Store, sua plataforma que permite aos usuários criarem suas próprias versões de chatbots com o modelo de linguagem GPT.

“Qualquer um pode facilmente construir seu próprio GPT — nenhuma codificação é necessária”, escreveu a OpenAI em postagem.

A novidade é interessante aos entusiastas dos temas de inteligência artificial (IA) e chatbots. No entanto, a opção deixa a desejar quando o assunto é segurança e privacidade. Isso porque pesquisadores da Northwestern University fizeram um alerta sobre “uma vulnerabilidade de segurança significativa” que pode resultar no vazamento de dados dos usuários, conforme divulgou o TechXplore.

Leia mais:

No estudo conduzido por Jiahao Yu, doutorando de aprendizado de máquina seguro da Northwestern University, junto de mais quatro colegas, foi descoberto que atores mal-intencionados podem se aproveitar da tecnologia para extrair prompts e informações do sistema GPT.

Para os pesquisadores, as principais ameaças de seguranças estão relacionadas à extração de dados dos sistemas, sendo que a plataforma pode ser enganada para produzir dados de forma imediata, e vazamento de arquivos com dados confidenciais do usuário que personalizou seu próprio chatbot com GPT.

Ao todo, o estudo analisou mais a vulnerabilidade mais de 200 GPTs.

Nossa taxa de sucesso foi de 100% para vazamento de arquivos e 97% para extração imediata do sistema. Esses prompts podem expor quase inteiramente os prompts do sistema e recuperar arquivos carregados da maioria dos GPTs personalizados.

Jiahao Yu, doutorando de aprendizado de máquina seguro da Northwestern University.

O pesquisador observa que as extrações de dados dos usuários podem ser feitas sem especialização em coleta de dados ou codificação.

Ainda de acordo com o TechXplore, Colin Estep, pesquisador da empresa de segurança Netskope define que ataques como esse (de injeção de prompt) podem “manipular o comportamento do modelo para gerar resultados tendenciosos, maliciosos ou indesejáveis”.

O especialista ainda ressalta que ataques de injeção podem: forçar os LLMs (modelos de linguagem ampla) a produzirem informações plausíveis, mas que, na verdade, são imprecisas ou falsas; gerar conteúdo tendencioso; e expor dados potencialmente prejudiciais.

Compartilhe:

Share on whatsapp
Share on twitter
Share on facebook
Share on email
Share on linkedin
Share on telegram
Share on google
Language »
Fonte
Contraste