IntelliJ IDEA 上でAndroid アプリのパッケージ名変更時に気を付けたいこと

IntelliJ IDEA を使用してAndroid アプリを書いているのですが、リファクタ機能を用いてパッケージ名を変更した後、ビルドは通るものの以下のようなエラーが吐かれアプリの起動が上手く行かない・・・などといった症状に陥りました。

ActivityManager: Starting: Intent { comp={XXX/XXX} }
ActivityManager: Error type 3
ActivityManager: Error: Activity class {XXX/XXX} does not exist.

どうやら上手くディレクトリ名が変更されてなく、かつAndroidManifest.xml の記述もおかしかったので修正。
しかしまだ同様のエラーが吐かれる。

そこで旧パッケージ名でgrep してみると、IntelliJ IDEA の設定ファイル ./.idea/workspace.xml が怪しい。
このファイル中の旧パッケージ名を新パッケージ名に置換したところ、上手く動きました。
なるほど、どうやらIntelliJ IDEA のAndroid 向けプラグインは自分の設定ファイルを用いてアプリ起動などさせているみたい？