はい、1台のPCに複数のBluetoothデバイスを同時に接続すること自体は可能です。
例えば、Bluetoothキーボードとマウスを同時に使用するようなケースでは、一度ペアリングすればWindowsが各デバイスを記憶し、問題なく併用できます。
注意点：オーディオデバイスについて
ご質問の趣旨である「複数のBluetoothオーディオデバイス（ヘッドホンやスピーカーなど）で同時に音声を再生する」ことは、Windowsの標準機能ではできません。一つのオーディオ出力先にしか音を送れないためです。
これを実現するには、以下のような方法が考えられます。
- Bluetoothトランスミッター（分配機能付き）：2台以上のデバイスへ同時に音声信号を送信できる、市販のBluetoothトランスミッター（スプリッター）を使用する方法です。この場合、PCとトランスミッター、トランスミッターと各オーディオデバイスがそれぞれ対応している必要があります。製品が
Bluetooth 5.0以上に対応しているか確認することをお勧めします。 - 仮想オーディオミキサーソフト：ソフトウェアを使って複数の音声出力を仮想的に束ねる方法もありますが、設定が複雑であったり、動作の安定性に欠ける場合があります。
単に複数のデバイスをPCに「接続」しておくだけで、使用する際に都度切り替えるのであれば、特別な機材は不要です。