書院始建於唐貞元年間（785-804），名報恩寺。明弘治十一年（1498），浙江右參政周木改闢為萬松書院。明代理學家王陽明曾在此講學。清康熙帝為書院題寫“浙水敷文”匾額，遂改稱為敷文書院。現遺址尚存有“萬世師表”四字的牌坊一座和依稀可見“至聖先師孔子像”的石碑等物。
乾隆皇帝六次南巡，每次都在敷文書院召試浙江諸生，拔擢人才。御試的題目，都與治國平天下、治水護農桑、治人知善惡等分不開。通過當面御試，知其才學品格，來選拔人才、破格錄用。御試中的一、二、三名，後來都被授予內閣中書，赴京任職。縱觀科舉時代中，採取到書院來御試的形式，此舉乃“誠隆古以來士林未遇此曠典也”。也就是說在中國的科舉史上是前所未有過的。於士林而言，這種當面御試的機會，一來杜絕了作弊，二來讓才智之士找到了仕途的捷徑。