五代周顯德四年(957年)僧正友始建。北宋
慶曆八年(1048年)后，縣治從寺北遷往北門今址，縣治舊址拓之為寺。明洪武三十一年(1398年)改為公館；
成化三年(1467年)僧圓亮募建佛殿及法堂，后圮；
弘治十七年(1504年)護印僧明殷募建后廳3間，又圮；
嘉靖十三年(1534年)重建；萬曆十八年(1590年)改后廳為文昌祠。清康熙間(1662～1722年)又改祠為“永貞義學”，乾隆二十五年(1760年)改為“羅川書院”，移寺門於東向，留後殿為寺。道光七年(1827年)僧坤玉募緣重建，寺為土木結構，總深22米。1984年新建韋馱殿亭1所。