荒川 静璃アラカワさんの回答は、この問題を解決するための最も一般的で安全な方法です。補足として、原因と別の方法について解説します。
問題の原因
この現象は、多くの場合、OSの再インストール時にブート構成情報(BCD)が正しく更新されなかったために発生します。ドライブをフォーマットしても、EFIシステムパーティションなどに古い起動情報が残ってしまうことがあるのです。結果として、古い（今はもう存在しない）OSへの参照と、新しいOSへの参照が両方表示されてしまいます。
別の解決アプローチ（上級者向け）
コマンドプロンプトを使った方法もあります。msconfigで解決しない場合や、より詳細な制御が必要な場合に有効です。
スタートメニューを右クリックし、「ターミナル（管理者）」または「コマンドプロンプト（管理者）」を選択します。bcdeditと入力してEnterキーを押し、現在のブートエントリの一覧を表示します。削除したいエントリのidentifier（例: {xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx}）を確認します。bcdedit /delete {identifier} のようにコマンドを実行して、不要なエントリを削除します。（{identifier}は実際に確認した値に置き換えてください）
注意: bcdeditコマンドはシステムの起動に直接関わるため、操作を誤るとPCが起動しなくなる危険があります。削除するエントリを間違えないよう、十分に注意してください。通常はmsconfigを使用する方法を強くお勧めします。