Pierwotnie na tym miejscu znajdował się dwór renesansowy wzniesiony w latach 1596-97 dla Joachima von Stentsch. Budynek ten rozebrano w XIX w. Obecny pałac zbudowano w style neorenesansowym w latach 1864-67 dla E. K. von Schwarzenfelda. Pałac zachował bogaty wystrój wnętrza.
Od 2006 r. w pałacu działa Młodzieżowy Ośrodek Socjoterapii. W dniu 17.06.2016 r., na podstawie uchwały Rady Powiatu Zielonogórskiego, MOS w Przytoku otrzymał imię Ireny Sendlerowej.