O Plumlovu jako o někdejším templářském sídle se dozvídáme ze Zprávy z Veveří napsané kolem roku 1739. Rozšířené jsou i lidové pověsti o templářích na Plumlově, kteří mohli po jistou dobu vlastnit hrad nebo majetky v podhradí.

Hrad Plumlov byl vybudován pravděpodobně počátkem 2. poloviny 13. století. Předpokládá se, že to byl původně zeměpanský hrad, ale doklady k tomu ani k jeho založení nejsou. První zpráva o hradu je z roku 1320, kdy jej od opavského vévody Mikuláše II. kupuje král Jan Lucemburský. Krátce nato, v roce 1322, jej prodal Vokovi z Kravař. Páni z Kravař vlastnili Plumlov až do roku 1466, kdy jej vyženil Jan Heralt z Kunštátu. Po něm přešlo vlastnictví na pány z Pernštejna, kteří v 16. století přestavěli hrad na renesanční zámek. Krátce nato však začal Plumlov chátrat kvůli nedostatku finančních zdrojů jeho majitelů. Rozsáhlý požár a útoky švédských vojsk za třicetileté války nakonec vedly k jeho zboření na začátku 19. století. Jeho chatrné pozůstatky se dnes nacházejí uprostřed nádvoří nového plumlovského zámku.