它於1931年初開辦，屬國民政府軍政部管轄，人稱“天牢”。該監獄坐落在南京江東門外，即現今侵華日軍南京大屠殺遇難同胞紀念館對面。胡逸民、李俊基曾先後任監獄長。
監獄分東、西、中、南4個大監。東監內分：天、地、人字監；西監內分：日、月、星字監；中監內分：智、仁、勇字監；南監內分：改、過、自、新字監。每個監筒各有10幾到30幾間牢房。全監可關押1000餘人，是當時
國民黨關押政治犯的最大集中營。“獄中之獄”的南監關押著從全國各地轉來的重要政治犯，刑期一般都在10年以上。
在這裡長期囚禁過的有：王凱、陶鑄、
曹瑛(原中紀委常委)、李豐平、惠浴宇、劉順元、王鶴壽、劉寧一、喻屏、陳訏生(原水電部副部長)、陳沂、陳坦、陳永清、陳農非、蕭平、顧卓新、潘梓年、樓適夷、李樂光等大批共產黨人。惲代英、馬克昌、劉西雨、陳仲模等人也是在其臨時刑場上遇害的。
