Zamek, położony na wysokim wzgórzu na prawym brzegu Popradu, na północ od wsi Sucha Struga, został zbudowany prawdopodobnie na przełomie XIII i XIV wieku. Niektórzy XIX-wieczni autorzy sugerowali, że początki najstarszej części budowli, czyli kamiennej wieży, mogą sięgać XII wieku; obecnie datuje się ją na XIII wiek.
Pierwsza wzmianka pochodzi z przywileju Władysława Łokietka z 17 kwietnia 1312 roku, który pozwolił zakonowi klarysek ze Starego Sącza na pobieranie cła "pod zamkiem Ritter". Wzmianka o zamku w Rytrze pojawiasię również w dyplomie Władysława Łokietka z 1331 roku, który nadał mieszczanom sądeckim las (łac. silvam) "obok zamku Rither". W XV wieku zamek w Rytrze stanowił rezydencję starostów sądeckich i został przebudowany.
Zamek już od XIII wieku należał z pewnością do domeny królewskiej. Pozostawał w rękach tenutariuszy: Jakusza z Boturzyna herbu Czewoja, rodu Toporczyków herbu Topór, którzy przyjęli nazwisko Ryterskich; w XVI wieku administratorem został Piotr Kmita. Wkrótce potem zamek popadł w ruinę, o czym świadczy relacja Marcina Bielskiego oraz lustracje z lat
1616-1617. Według lokalnych podań uległ zniszczeniu w 1657 roku w czasie najazdu Jerzego Rakoczego.
Z zamku zachowały się ruiny wieży i resztki muru, prawdopodobnie budynku mieszkalnego