涵虛堂的前身為乾隆年間建成的三層高閣——望蟾閣，嘉慶時改建為一層的涵虛堂，是夏秋時節帝后賞月的絕佳之所。乾隆曾在此檢閱香山健銳營的水軍操演，一八六〇年被英法聯軍焚毀，光緒年間重建。慈禧太后曾在此檢閱水師學堂的操演。
南湖島佔地1萬餘平方來。島上建有
龍王廟、鑒遠堂、月波樓等。島北假山上的涵虛堂，為島中的主體建築。原為乾隆年間建成的三層望蟾閣，涵虛堂是夏秋時節帝后賞月的地方。清光緒時（1875－1908）改建為單層，南面有露台，繞以石造
雕欄。
慈禧曾在此觀看
北洋水師學堂演習。涵虛堂內現舉辦清宮老照片展。