一度に処理できるデータの量とアドインへの互換性に違いがあります。
64bit版では32bit版より多くのメモリにアクセスできるため、大きなデータの操作に適しています。
アドインへの互換性については、64bit版、32bit版のどちらかにしか対応していないアドインがあり、32bit版は64bit版より旧来からあるアドインとの互換性に優れています。
Microsoft Office 2021の標準インストールは64bit版となりますので、必須のアドインがある場合は事前に動作条件をご確認下さい。