ご認識の通り、Windowsのsudoコマンドは、PowerShellのコマンドレットを直接昇格させるためのものではなく、実行可能ファイル（.exe）の権限を昇格させるためのものです。
Remove-Itemはコマンドレットであり、netstat.exeのような独立した実行可能ファイルではないため、直接sudoで実行できません。
管理者権限でPowerShellのコマンドレットを実行するには、以下のようにpowershell.exe自体をsudoで起動し、その引数として実行したいコマンドレットを渡す必要があります。
sudo powershell.exe -Command "Remove-Item 'C:\path\to\your\folder' -Recurse -Force"
このようにすることで、新しい管理者権限のPowerShellプロセスが起動され、その中でRemove-Itemが実行されます。