ハヤシ トシカツアドバイスありがとうございます。最終的に、以下の対応で解決できました。
C:\Users\Default\AppData\Local\Microsoft\Windows\Shell にある LayoutModification.xml ファイル自体を削除しました。C:\Users\%username%\AppData\Local\Microsoft\Windows\Shell にある LayoutModification.xml を編集し、MSI Centerに関連する全ての行(全部で5行ありました)を削除しました。
この手順で、PCを再起動してもピン留めされなくなりました!