Publicado originalmente em Olhar Digital. Para acessar, clique aqui.
Pesquisadores da Northwestern University alertam que a opção de personalizar o ChatGPT representa um risco de segurança aos usuários
No mês passado, a OpenAI lançou a GPT Store, sua plataforma que permite aos usuários criarem suas próprias versões de chatbots com o modelo de linguagem GPT.
“Qualquer um pode facilmente construir seu próprio GPT — nenhuma codificação é necessária”, escreveu a OpenAI em postagem.
A novidade é interessante aos entusiastas dos temas de inteligência artificial (IA) e chatbots. No entanto, a opção deixa a desejar quando o assunto é segurança e privacidade. Isso porque pesquisadores da Northwestern University fizeram um alerta sobre “uma vulnerabilidade de segurança significativa” que pode resultar no vazamento de dados dos usuários, conforme divulgou o TechXplore.
Leia mais:
No estudo conduzido por Jiahao Yu, doutorando de aprendizado de máquina seguro da Northwestern University, junto de mais quatro colegas, foi descoberto que atores mal-intencionados podem se aproveitar da tecnologia para extrair prompts e informações do sistema GPT.
Para os pesquisadores, as principais ameaças de seguranças estão relacionadas à extração de dados dos sistemas, sendo que a plataforma pode ser enganada para produzir dados de forma imediata, e vazamento de arquivos com dados confidenciais do usuário que personalizou seu próprio chatbot com GPT.
Ao todo, o estudo analisou mais a vulnerabilidade mais de 200 GPTs.
Nossa taxa de sucesso foi de 100% para vazamento de arquivos e 97% para extração imediata do sistema. Esses prompts podem expor quase inteiramente os prompts do sistema e recuperar arquivos carregados da maioria dos GPTs personalizados.
Jiahao Yu, doutorando de aprendizado de máquina seguro da Northwestern University.
O pesquisador observa que as extrações de dados dos usuários podem ser feitas sem especialização em coleta de dados ou codificação.
Ainda de acordo com o TechXplore, Colin Estep, pesquisador da empresa de segurança Netskope define que ataques como esse (de injeção de prompt) podem “manipular o comportamento do modelo para gerar resultados tendenciosos, maliciosos ou indesejáveis”.
O especialista ainda ressalta que ataques de injeção podem: forçar os LLMs (modelos de linguagem ampla) a produzirem informações plausíveis, mas que, na verdade, são imprecisas ou falsas; gerar conteúdo tendencioso; e expor dados potencialmente prejudiciais.