Wzgórze zamkowe posiada dawniejszą niż dzieje samego zamku - i w znacznym stopniu jeszcze nieznaną - historię. Odkryty podczas wykopalisk cmentarz szkieletowy (na wschodniej części wzgórza) pozwala domyślać się, że właśnie w tym obronnym z natury miejscu stał benedyktyński kościół pw. św. Marcina, pierwszy parafialny kościół w tej okolicy, funkcjonujący od końca XI lub początku XII wieku. Spadkobiercą tradycji i wezwania tej świątyni jest istniejący do dzisiaj modrzewiowy kościół pw. św. Marcina z XV wieku. Kościół stoi na szczycie góry zwanej właśnie od jego pradawnego wezwania - Górą św. Marcina (384 m.npm).