Věznice byla postavena v letech 1885 – 1889, aby nahradila zastaralou Svatováclavskou trestnici, která stála mezi Karlovým náměstím a Vltavou. Místo pro novou věznici bylo v době její stavby mimo hranice města, uprostřed polí za předměstím Nuslemi. Nicméně během několika desetiletí rozšiřující se Praha věznici obklopila. V 30. letech byla k zařízení přidána velká budova soudu. Ve věznici bylo do roku 1939 popraveno 6 osob. Během nacistické okupace v letech 1939– 1945 tu byly drženy ve vazbě tisíce Čechů, od členů odboje až po účastníky černého trhu předtím, než byli posláni k popravě, do jiné věznice v Německu nebo do koncentračního tábora. Na jaře 1943 začali nacisté vykonávat popravy přímo v zařízení samotném, kde k tomuto účelu byly přizpůsobeny tři cely. Mezi 15. dubnem 1943 a 26. dubnem 1945 přišlo na Pankráci gilotinou o hlavu celkem 1079 lidí a celkově bylo popraveno 1087 osob. Tři místnosti užívané pro tento krvavý účel (nazývané Pankrácká sekyrárna) jsou chráněny (včetně popravčího nástroje) a slouží jako památka, která je příležitostně přístupná školám a veřejnosti. Po druhé světové válce bylo pak na základě velkého retribučního dekretu v letech 1945–1948 ve věznici popraveno 147 osob.
Výstavba věznice začala v červenci roku 1885 na periferii hlavního města Prahy, mezi Pankrácí a Nuslemi. Dokončena byla o čtyři roky později a ještě v témže roce v ní byli umístěni první vězni. Na tehdejší poměry se jednalo o moderní budovu s centrálním vytápěním, plynovým osvětlením, nacházely se v ní koupelny, přednáškový sál, tělocvična, nemocnice, učebny, dílenské místnosti, několik vycházkových dvorů, římskokatolický kostel, evangelická kaple a dokonce modlitebna pro věřící izraelského vyznání.V roce 1918 se věznice využívala pro krajský soud trestní v Praze a vešlo se sem více než 800 vězňů. Během okupace nacisty zde byla zřízena vyšetřovací vazba Německé kriminální policie, gestapa. V roce 1943 byla v objektu zřízena popravčí místnost a během dvou let zde bylo popraveno přes 1000 lidí. Poprava probíhala stětím gilotinou. V padesátých letech tady byli umisťováni a popravováni političtí vězni, mezi nimi např. i JUDr. Milada Horáková. V současnosti budova slouží pro výkon vazby obviněných mužů a částečně výkon trestu odnětí svobody u mužů ve věznici typu s dohledem, dozorem a ostrahou. Celková kapacita obnáší 972 míst (z toho 478 pro výkon vazby a 494 pro výkon trestu odnětí svobody).
Dalších 348 osob bylo ve věznici popraveno do zrušení trestu smrti v roce 1989, převážně oběšením. Celkem bylo v pankrácké věznici popraveno 1580 osob. Podle oficiální zprávy Vězeňské služby slouží v současné době pankrácká věznice jako vazební dům pro obžalované muže, a částečně jako věznice pro odsouzené muže. Zařízení je určeno pro 858 chovanců, z nichž 468 je ve vazbě a 390 si odpykává trest odnětí svobody. Vězni jsou ubytováni v místnostech s průměrnou kapacitou tři postele, největší obsahuje deset postelí. Prostory věznice obsahují také nemocnici české vězeňské služby, s kapacitou 111, stejně jako Pankrácký památník zahrnující výstavu Vězeňské služby. V roce 2006 zde bylo 568 vězeňských zaměstnanců.