Kann mein Vermieter eine höhere Kaution als drei Monatsmieten verlangen?

Nein, das wäre rechtswidrig (§ 551 Abs. 1 BGB).

Muss ich die Kaution zahlen, wenn es nicht im Mietvertrag steht?

Nein, die Kautionszahlung muss vertraglich vereinbart sein.

Darf ich die Kaution mit den letzten Monatsmieten verrechnen?

Besser nicht. Das könnte als Mietminderung ausgelegt werden und zu Problemen führen.