シライ ミナ解決しました!ありがとうございます!
ご指摘の通り、アクセス許可の変更後に再度試したところ、うまくいきました。最終的に、以下の2つの場所から関連するキーを削除する必要があったようです。
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Print\Monitors\...\Ports の下にある該当の USBXXXのキー を削除
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Print\Printers\... の下にある USBPortListなどの関連エントリ を削除
この2か所を削除することで、ポートが完全に消えました。大変助かりました!