При удалении приложения Андроид удаляет:
1. Папку /data/app/много-много-много-букв/ внутри который лежит файл base.apk
2. /data/data/имя.пакета.приложения/
3. /sdcard/Android/что-то-там-ещё-мне-лень-смотреть-полный-путь/имя.пакета.приложения/
Это пути, которые система возвращает приложению, когда оно спрашивает "куда мне класть файлы", "а где тут хранят кеш" и всё такое. То есть если приложение написано не идиотом, то мусора не остаётся. Если идиотом, то мусор останется, т.к. идиоты любят хранить данные не по своим путям, а просто где им захочется.