ミイさんの回答はWSLの機能自体を無効化する素晴らしい方法ですが、もしWSLの機能は使い続けたいが、アイコンだけを非表示にしたいという場合には、レジストリを編集する方法が有効です。
注意：レジストリの編集を誤るとシステムが不安定になる可能性があります。作業はご自身の責任において行ってください。
Windowsキー + Rを押して「ファイル名を指定して実行」を開き、「regedit」と入力してレジストリエディターを起動します。アドレスバーに以下のパスを貼り付けて移動します。HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\MyComputer\NameSpace左側のツリーから、{B2B4A4D1-474E-4262-A7AF-E345C5514AE4}という名前のキー（フォルダ）を探します。このキーを右クリックし、「削除」を選択します。エクスプローラーを再起動するか、PCを再起動すればアイコンが消えているはずです。