ご使用のPCスペックであれば、ホグワーツ・レガシーは快適に動作するはずです。私も同じゲームをプレイしていますが、同様の問題が報告されています。
私の環境では、Windowsの「ハードウェア アクセラレータによるGPUスケジューリング」を無効にすることで解決しました。この設定をオフにすると、DLSSフレーム生成は利用できなくなりますが、ゲームは最高設定でも安定して動作するようになりました。
この設定変更はPCの再起動が必要です。また、他のゲームのパフォーマンスに影響が出る可能性もありますのでご注意ください。一度お試しいただけますでしょうか。