たぶんSteam内のライブラリの各ゲームの上で右クリ>ショートカットを作成 (又は削除)
で済んだと思うよ