Por padrão a opção de enviar para a lixeira só está habilitado para os posts e páginas. Para os arquivos de mídia só aparece a opção excluir permanentemente, mas usando a constante MEDIA_TRASH podemos habilitar a lixeira também para a biblioteca de mídia, para fazer isso basta definir no seu wp-config.php a constante citada dessa forma:

define('MEDIA_TRASH', true);

Pronto, agora ao invés de aparecer o link excluir permanentemente, irá aparecer, colocar na lixeira, como na imagem abaixo: