VPN接続のためにはクライアント側にも設定が必要になることがあります。
あります、というよりは、ファイアウォールを動かしていれば必要です。
（Windows標準のファイアウォールだとチェックボックスひとつで終わりですが・・・でいいんだっけ？）
必要になるたびに毎回ネットで調べるのも嫌なので、自分のための覚え書き。
＃ここまで書いて今さらですが、サーバー側の設定ではなくクライアント側の話です、念のため。
クライアント側で開けてあげなければならないポートは2つ。
GRE 47番の送信
TCP 1723番の送信
市販のファイアウォール製品は、プロトコルのタイプとして TCP/UDP などを選択させると思いますので、GRE 47 については「TCPでもUDPでもないもの」を選んでください。
例えばウィルスバスターであれば "カスタム" という表記になっています。