Дворец был построен на высоком берегу реки Осама в промежутке между 1510 и 1514 годами. Семья Диего Колумба – он сам, его супруга Мария Толедская и их потомки – проживали здесь вплоть до 1577 года.
Здание Национального Пантеона было построено в качестве церкви и монастыря монашеского ордена иезуитов в 1747 году. В известном сооружении в саркофагах из мрамора захоронены герои Доминиканской республики.