Ваш пароль для расшифровки кешируется агентом GPG. Что бы очистить этот кеш, нужно выполнить
gpg-connect-agent reloadagent /bye
Шифрование работает исправно - нет причин для беспокойства.. Кеш будет очищен при выходе из системы и, очевидно, не будет передаваться вместе с файлом. GPG в первую очередь предназначен для защиты данных от других пользователей, а не от авторизованного пользователя, который их зашифровал.