清咸豐9年（1859），臺北地區再次爆發漳泉械鬥，各地的泉州人圍攻板橋城，林國芳率家勇抵抗，但是林家家勇徐才等13人不幸犧牲。原是選定板橋城南門之外收埋屍體，堆為大墳墓。同治12年（1873），林維源設為小廟，放置木牌，兼做賑濟以及收容無名屍骨之所。日治大正14年（1925），林家的管家劉家輝擴建成今天規模的迪毅堂，並由扶乩方式按神明提示的徐才形象來雕像，開始稱為「徐元帥」，也作為流浪漢收留之處，由板橋林家自掏腰包，供給衣食與收屍贈棺之費用。迪毅堂也成為板橋週遭居民信仰中心。但是後來劉家輝在昭和年間過逝，就沒有人管理，迪毅堂就此沒落，信徒也逐漸流失。直到民國102年（2013），被指定為新北市市定古蹟後，啟動古蹟修復工程，並於民國110年（2021）重新修復完工局部開放，與慈惠宮、接雲寺、大眾廟並稱為「板橋四大古廟」。
「迪毅堂」被指定為市定古蹟，其理由如下：1.咸豐9年（1859）北臺漳泉械鬥現存的重要史蹟。2.清代林本源家族為紀念械鬥殉職之家勇徐才等人所建，代表客家人受僱參與漳泉械鬥之案例，深具歷史價值。3.現存建築為日治時期修建，為三開間主屋規模，仍可見傳統工匠技藝展現。
迪毅堂的興建與林本源家族有關，清道光4年（1824）林平侯（1766-1844）為了避免漳泉械鬥，舉家由新莊遷往大嵙崁（今桃園市大溪）從事開墾事業。因為林家的產業龐大，顧慮社會局勢動盪，於是聘請福建省漳州龍溪的客家人徐才（一說是大溪本地的客家人）出任民兵的武術教練，組織團練用於自保。徐才不僅服侍林平侯，在林平侯過世後，他繼續留任林家，輔佐其子林國華與林國芳。
咸豐3年（1853），漳州裔的林本源家族為壯大漳州人勢力，再從大嵙崁遷到枋橋頭（今新北市板橋）定居，以抗泉州人。咸豐5年，由板橋林家與地方仕紳集資興建板橋城，城門皆派林家壯勇十餘名駐守。咸豐9年（1859），爆發臺北地區最後一次大規模械鬥，事後林家花很多功夫、興建大觀義學來化解漳泉恩怨，族群分類械鬥才停止。
時至今日，因為板橋外來人口很多，這些新板橋人因不了解這段歷史，罕見有人會來拜這間廟宇。後來有林家後代林公世先生接手管理，也在枋橋文化協會積極爭取下，於民國112年（2013）正式成為直轄市定古蹟，得以爭取經費修復，成為今天整潔肅穆模樣。
對於徐才的死因有不同說法，茲羅列下方提供參考：1.咸豐9年的漳泉械鬥，各地的泉州人圍攻板橋城。2.咸豐9年的漳泉械鬥，徐才在夜晚率領兵眾渡大漢溪，遭新莊的泉州人用槍狙擊射死。3.林家幼孫被土城人綁架，徐才為救少主殉職而亡。4.與平埔原住民擺接社交戰時，領軍抵抗而罹難。