パレットをクラス・ジョブに紐づけずに、ギアセットに紐づけできればいいような気がしますが。
ギアセットを使用しない場合は、現在の仕様でジョブに紐づいているパレットを使用する感じ。
懸念されてるメモリ問題に引っかかりそうですね。

細かいディティールまではパッと思いつかなくて詰めが甘い感じが否めませんが、アイデアまでに。

少なくとも、コンフィグの組み合わせで最適動作を求めるのは、ユーザに依存しすぎなような気もします。
そういうのが好きって人も少なからずいるかとは思いますが、シンプルにやりたいことを実現できることも重要かとおもいます。