Prince nam het nummer in november van 1991 op in zijn thuisstudio in Paisley Park in de Amerikaanse staat Minnesota. Hij produceerde het lied zelf en speelde alle instrumenten in. Hij besloot destijds niets met de opname te doen, maar bewaarde het in een kluis, waar nog veel meer onuitgebrachte projecten liggen.

Toch heeft With This Tear al eerder een publiek bereikt. Prince bood het lied namelijk aan Céline Dion aan. Zij nam het in 1992 op voor haar album.

Het is niet voor het eerst dat NPG Records, de platenmaatschappij van Prince, in de kluis is gedoken om niet eerder gehoord materiaal uit te brengen. In 2021, vijf jaar na de dood van de artiest, verscheen zelfs het volledige album Welcome 2 America. Sindsdien zijn meerdere singles en remixes met de wereld gedeeld.

Er wordt jaarlijks op 21 april stilgestaan bij het overlijden van Prince met een herdenkingsdag op zijn landgoed. Fans krijgen dan een tour en kunnen kaarsen aansteken. Dit jaar vindt van 3 tot en met 7 juni de 10th Anniversary Celebration of Life plaats, met optredens, luistersessies, concertvertoningen, een straatfeest en een singalong.

Prince werd wereldberoemd met nummers als Purple Rain, When Doves Cry en Kiss. Hij overleed in 2016 op 57-jarige leeftijd aan een overdosis pijnstillers.