U podnóża Gaików, szczytu w Beskidzie Małym, w XV wiecznej wsi Lipnik, będącej siedzibą starostwa niegrodowego, istniał folwark stanowiący siedzibę starostów.
W 1596r. w jego miejsce ówczesny starosta Piotr Komorowski, wybudował niewielki zamek-rezydencję, mającą chronić przed zbójnikami beskidzkimi mieszkańców i granicę biegnącą między Rzeczypospolitą, a monarchią Habsburgów. W I połowie XIX wieku stał się własnością najstarszego syna Karola Habsburga i jego żony Henrietty, arcyksięcia Albrechta Fryderyka Habsburga, który od 1847r. był księciem cieszyńskim. Albrecht Fryderyk Habsburg, filantrop znany z hojności, popierał budowę hut, tartaków, szpitala i kościoła ewangelickiego, przekształcił dotychczasową lipnicką budowlę w późnoklasyczny pałac z zespołem parkowym. W 1885r. wydzierżawił, a następnie podarował go powstałemu w 1868r. w Wiedniu, Zgromadzeniu Zakonnemu Córek Bożej Miłości, które znalazło tu swoją pierwszą siedzibę na ziemiach polskich. W 1869r. przebudowany wg. projektu Emanuela Rosta. Został podwyższony, dobudowano Kaplicę św. Hildegardy i utworzono zakład naukowo-wychowawczy dla dziewcząt, przekształcony później w seminarium nauczycielskie. Po II wojnie światowej zostaje znacjonalizowany i umieszczono w nim III Liceum Ogólnokształcące im. A. Asnyka. Po 2001 r. wraca do prawowitych właścicieli,którzy na powrót powołali Gimnazjum i Liceum Zgromadzenia Córek Bożej Miłości. Zgodnie z założeniami zakonnymi zgromadzenie oprócz placówek oświatowych umieściło tu dom opieki dla upośledzonych dzieci i kobiet.
