東晉大興三年（320年），
晉元帝在
江乘縣（今南京市棲霞區仙林大學城一帶）僑置
琅邪郡，初無實土。
琅琊郡寄治在江乘縣的金城（位於今南京市棲霞區東部）。
東晉
咸康元年（335年），
桓溫任南琅琊郡內史，出鎮江乘縣金城，請求割丹陽郡江乘縣境以立實郡。不久，南琅琊郡正式在江乘縣划土立定，江乘縣改隸南琅琊郡。轄境約相當今南京市玄武區雞鳴寺以東，龍潭以西，北至大江地。
東晉咸康七年（341年），割江乘縣西境僑立臨沂縣，屬南琅琊郡。
南朝宋永初二年（421年），改為南琅邪郡。
南梁
永明年間（483年—493年）時，徙治
白下城（在今南京市主城北部）。下轄五縣：臨沂縣、江乘縣、
蘭陵縣、承縣（建武三年省）、譙縣（建元二年，
平陽郡流民在
臨江郡者，立宣祚縣，尋改為譙。永明元年，省
懷化一縣並屬。）
南齊永明六年（488年），
武帝以為江乘縣白下壘（位於今南京市鼓樓區中央門外）依帶江山，將南琅琊郡治從金城遷至白下壘，名白下城。
南陳太建十年（578年），廢除南琅琊郡。
琅琊王氏是
中國古代頂級
門閥士族，晉代四大盛門"
王謝袁蕭"之首(也有稱"王謝桓庾")，是中古時期中原最具代表性的名門望族，素有"
華夏首望"之譽稱。
琅琊王氏開基於兩漢時期的琅琊臨沂(今山東省臨沂市)，鼎盛於魏晉時期，史稱"王與馬，共天下"。南朝以後走向衰弱。《
二十四史》中記載，從
東漢至明清1700多年間，琅琊王氏共培養出了以
王吉、
王導、
王羲之、
王元姬等人為代表的35個宰相、36個皇后和36個駙馬和186位文人名仕。
琅琊王氏家族世代居住於琅琊臨沂，
西晉末年
永嘉之亂時衣冠南渡、舉族遷居
金陵。南渡之後，因對故鄉思念的一直都以北土地名為稱呼，東晉元帝時，僑置南琅琊郡(今南京市棲霞區)。