Используйте пакетный менеджер и будет вам счастье, не придется сталкиваться с какими-то проблемами.
Команда по удалению простая, например для браузера:
sudo apt remove firefox
Через GUI можно удалить ненужные программы. Еще два варианты посредством пакетного менеджера и без него, как вам проще будет. Примерно тот же алгоритм что и при установке:
cd /папка/с/исходниками sudo make uninstall