vim keybindについて

vim keybindはとても便利だと思う反面、日本語入力との相性は悪いと思っている。
その理由は簡単で、モードを切り替えるたびに毎回ローマ字入力から英語入力に切り替える必要があるからだ。

例えば、下の行に移動したいとき、最初から英語でライティングしている場合は<jj>jである。
しかし日本語の場合はAlt+<jj>jと入力が多い。

この問題を解決できるのであればvimモードにする価値は十分にあるが、そのようなソリューションは存在しているのだろうか。