恥ずかしい・・・。
こんな投稿をしたんですが大間違いでした。
日本語Visual StudioにちゃんとWinFX開発環境構築できます。
しかもJan CTPでもできます。
問題は .NET Frameworkのバージョンではなく、Compact Frameworkのバージョンでした。
エラーメッセージをきちんと読みましょう＞自分
Visual Studio 2005をインストールするとCompact Frameworkが確かデフォルトでインストールされるはずですが（Expressは違います）、これとWindows SDKとが仲が悪いようです。
Compact Framework 2.0をアンインストールしてからWindows SDKのインストールをしたら何の問題もなくインストールできました。
続いてCider (WPFのVisual Studio用テンプレート)とWWFもインストール完了。
ついでにExpressionのCTPも2種類（Graphic DesignerとInteractive Designer）インストールしてみました。
なお WinFX Jan CTPのインストール手順については、MSエバンジェリストブログの高橋さんの投稿を参考にしてください。