Wojewoda podlaski, Stefan Mikołaj Branicki, w latach siedemdziesiątych XVII wieku wybudował dwór w miejscu zniszczonego, w potopie szwedzkim, zamku Wesołowskich. Jednak już w 1691 roku rozpoczęto sześcioletnią przebudowę dzięli której powstał dwukondygnacyjny barokowy pałac.
Następna rozbudowa zaczęła się w 1726 roku. Do pałacu dobudowano kolejną kondygnację wraz z tympanonem i hełmami na wieżach. Kolejnym etapem było wyburzenie pobocznych budynków i wybudowanie w ich miejscu skrzydeł bocznych. Wtedy powstał też, zachowany do dzisiaj, ogród.
W 1809 roku pałąc przejął car Aleksander I. Pod pozorem kolejnych remontów pałac został rozgrabiony, a jego wyposażenie trafiło do Carskiego Sioła. Utworzenie w pałacu, w 1841 roku, Instytutu Dobrze Urodzonych Panien doprowadziło do dalszej degradacji.
W okresie międzywojennym w pałacu urzędował wojewoda białostocki. W tym czasie przeprowadzono jedynie drobne prace renowacyjne. W 1944 pałac został zbombardowany i bardzo mocno zniszczony.
Odbudowę rozpoczęto zaraz po wojnie, a w 1950 wprowadziła się tu Akademia Medyczna (ob. Uniwersytet Medyczny). Dziś mieści się w pałacu Rektorat uczelni medycznej i Muzeum Historii Medycyny i Farmacji.