Písemná zmínka o panské hospodě pod zámkem pochází již z roku 1560, ale nelze vyloučit, že její původ je ještě o něco starší.
Název místa je pak odvozen od Svatovojtěšské legendy, tedy vlastně úplně nejstarší etapy písemně zachycených „dějin“ Nepomucka (byť původ legend může být mnohem mladší, klidně až barokní). Tehdy, na sklonku 10.století, jak praví legenda, se vracel biskup Vojtěch z Říma do Prahy. Pocházel zdejší krajinou a konal zázraky, což ilustruje až neuvěřitelné množství jemu zasvěcených kaplí a kapliček rozesetých po okolí. V těchto místech na něj najednou vyskočili z křoví dva loupežníci. Světec však jen pokynul rukou a oba lapkové zůstali stát jako přimražení. Tak prý vznikl název „Vyskočilka“…