Slottet ligger i den østlige delen av parken, som du må passere for å nå den bratte rampen bygget av baronen av Eschwege og som gir tilgang til slottet. Slottet består av to fløyer. Det tidligere klosteret i portugisisk sengotisk stil, tilhørende St. Jerome-ordenen og fløyen bygget i det 19. århundre av kong Ferdinand II. Disse fløyene er omkranset av en tredje arkitektonisk struktur, en fantasiversjon av en imaginær borg med murer som du kan gå rundt. Denne borgen omfatter brystvern, vakttårn, en inngang samt en hevebro. I 1838 kjøpte kong Ferdinand II det tidligere Hieronymite-klosteret til Vår Frue av Pena, som ble bygget av kong Manuel I i 1511 på toppen av åsen ovenfor Sintra. Klosteret hadde stått tomt fra 1834, når religiøse ordener ble undertrykket i Portugal. Klosteret besto av kloster og uthus, kapell, sakristi og klokketårnet. Dette utgjør i dag den nordlige delen av Pena dlott, også kjent som det gamle palasset. Kong Ferdinand startet med å gjøre reparasjoner på det tidligere klosteret som ifølge de historiske kildene fra den tiden var i svært dårlig forfatning. Han pusset opp hele øverste etasje og erstattet de fjorten cellene som ble brukt av munker med større rom og dekket dem med hvelvete tak som fortsatt kan sees i dag. Omtrent i år 1843 besluttet kongen å forstørre slottet ved å bygge en ny fløy (det nye palasset) med enda større rom (den store hallen er et godt eksempel på dette). Bygget endte i et sirkulær tårn ved siden av den nye kjøkkenet. Byggearbeidet ble ledet av baronen av Eschwege. I 1994 ble det foretatt reparasjonsarbeid som gjenopprettet de opprinnelige fargene på palassets eksteriør: Rosa ved det tidligere klosteret og oker ved det nye palasset.  Ved å transformere et tidligere kloster til en slottslignende bolig viste kong Ferdinand at han var sterkt påvirket av den tyske romantikken og at han trolig fant sin inspirasjon i Stolzenfels- og Rheinstein slott på bredden av Rhinen, samt fra Babelsberg palass i Potsdam. Bygggearbeidene ved Pena slott ble avsluttet på midten av 1860-tallet selv om det også ble foretatt videre arbeidet på et senere tidspunkt for utsmykningen av interiøret. Kong Ferdinand bestilte også Pena parken som ble plantet i palassets omkringliggende områder i stil med romantiske hager på den tiden, med svingete stier, paviljonger og steinbenker plassert på ulike steder langs stiene, samt trær og andre planter fra alle verdenshjørner. På denne måten utnyttet kongen det milde og fuktige klimaet i Sintra-åsene for å lage en helt ny og eksotisk park med over 500 forskjellige arter av trær. Pena slott ble utpekt som nasjonalmonument i 1910 og er en del av kulturlandskapet i Sintra. Et landskap som ble klassifisert av UNESCO som verdensarv i 1995.