Tirando as setas dos seus ícones de atalho

Edite o registro. Escolha o item HKEY_CLASSES_RootLnkfile. Delete a chave IsShortcut. Uma maneira mais fácil de se conseguir isso é instalando o programa Powertoys.