Digamos que a chance dependeria muito.
Primeiro tinha algo, mas não era nada demais ou não tinha nenhum arquivo?
Se tinha algum arquivo seja de texto, qualquer coisa tu pode ter se infectado não só por um spyware, mas suas senhas podem ter sido roubadas na mesma forma.
Se não tinha nenhum arquivo, é um pouco mais suave Mas... é possível vc alterar as configurações de exibição de arquivos no sistema operacional para ocultar extensões conhecidas ou usar técnicas de esteganografia para esconder arquivos dentro de outros arquivos.
E tem mais, assim que vc conectou o pendrive pode ter acontecido o que chamamos de autorun que assim que vc conecta o pendrive, ele executa um arquivo em segundo plano. Mas se teu SO for moderno, eles implementaram medidas de segurança para evitar isso então a pergunta é, tua máquina tá segura pra isso?
E ainda só pra finalizar, tem a questão do USB Killer que é um pendrive normal só que contém um circuito modificado para emitir uma descarga elétrica de alta voltagem nos dispositivos quando é conectado a uma porta USB.
Ao ser conectado a um computador ou outro dispositivo eletrônico, o USB Killer descarrega rapidamente uma carga de energia elétrica, geralmente entre 200 a 220 volts, na porta USB. Essa sobrecarga de tensão pode danificar os componentes eletrônicos sensíveis do dispositivo conectado, como o controlador USB, a placa-mãe e outros circuitos internos.
Nunca é recomendado conectar pendrives que vc acha por aí no seu PC. Se for fazer isso, tenta usar DUAL BOOT ou máquina virtual para manusear os arquivos encontrados no pendrive.