De naam Peperstraat komt men alom tegen daar waar men specerijen verhandelde. Waarschijnlijk heeft in de Peperstraat een apotheker gewoond, maar dit is niet zeker.
De volksmond spreekt wel over deze straat van 't Pepertje.