兜率寺為吳越王錢做所創。宋大中祥符元年(1008)改額。寺又有上兜率與下兜率之分。上兜率即原寺之觀音殿處，明為解元張志淑讀書處。
崇禎六年(1633)僧湛容重建。節兜率在寺之怡道軒南，原高霞館何寬讀書處。清順治間(1644-1661)僧靈文改建，後廢。乾隆四十七年(1782)，天台僧越文重建。
道光十七年(1837)，僧華機復新之。咸豐中(1851-1861)毀。光緒十五年扎（889），寺僧妙端復建，今廢。陳白有《兜率寺》詩：『了了無凝滯，誰人知此心。開池待海月，種樹宿沙禽。白雲盈青簡，古風生素琴。由來大隱者，何必在山林』。
