補足情報です。
Windows 11では、新しい「メディア プレーヤー」アプリが標準の音楽・動画再生アプリとして導入されました。これは以前の「Groove ミュージック」に代わるものですが、この新しいアプリは、残念ながらエクスプローラーのプレビュー機能(プレビューハンドラー)に対応していません。
一方で、旧来の「Windows Media Player」(質問者様が発見された「Legacy」版)はOS内に残されており、こちらはプレビュー機能に対応しています。
このため、音声ファイルの既定のプログラムを「Windows Media Player Legacy」に切り替えることで、プレビュー機能が復活するというわけです。これはWindows 11のアプリ刷新に伴う仕様変更が原因と考えられます。