古諸羅城番社一帶原為高山族人聚居之地區。

明末，民族英雄鄭成功福建南安人，打敗荷蘭人收復台灣作為反清復明之據地後，漢人大量移入定居，高山族人迫移入山區，番社一帶成為漢人由彰州及泉州人氏來台定居之處，據說當初有一位吳姓泉州人氏，自唐山渡海前來經商，隨身攜帶保身香火，早晚焚香膜拜祈求平安鴻圖大展。

某日，來到番社兜售貨物已是夕陽西斜近黃昏之際，因勞累而卸下貨擔，稍為休息恢復元氣後，準備挑擔起程前往他處，不知何故竟然挑不動放下之貨擔，費盡九牛二虎之力，仍然如故，無奈焚香膜拜一番，擲筊請示休咎，擲筊後得悉番社地靈人傑，隨身保護之神有意居留濟世安民。於是順從神意覓屋定居奉祀香火。

古諸羅城番社（即今之嘉義市西榮街264號）一帶原為高山族人聚居之地區。台灣光復後，吳熊者為謀生來到番社承租陳姓婦人房屋居住，不久吳氏省吃儉用克服萬難向陳婦人買下所組房屋及土地，租居時家運尚安，買後家中子女經常就醫不甚平安，吳氏為一不信鬼神之鐵齒者，惟慈母之命不敢忤逆，前往嘉義縣新港東興壇迎請奉旨出巡之池府千歲，金身蒞家扶乩請問休咎指點迷津，經池府千歲扶乩降示：吳氏所買房地以前是聖廟地，因天災地變聖廟全毀，災後無人關心，奉祀之神暫回天庭，該天神又負救世重任又下降舊地以待有緣善士，又云隱靈光於此之神與吳氏有緣，吳氏只要設置神位並以紅紙書寫［財］字安貼於神位稱呼內神早晚焚香膜拜祈求必有感應，吳氏依指示行事，果然從此家運漸好，吳氏亦因此改變對敬神之觀念。

民國六十年池府千歲再次駕臨吳家扶乩降示謂因緣成熟應雕刻金身奉祀，此次扶乩始道渠為掌管天下財庫之［文財尊神］，奉旨救世安民賜財積善德之家，三年後即民國六十三年九月創設成立大興宮（即文財殿前身）開始扶乩救世同時依神指示成立文通慈善會佈施濟世。十年後即民國七十三農曆四月初文財尊神又扶乩更進一步道出渠為殷商紂王皇叔比干丞相也。因大興宮狹窄無法容納日漸增多之各方善信大德，經眾善信聚議決另覓福地新建聖廟，以達宏法，經多處選擇，選中文財殿現址，據堪輿家云該地為五路進財之福地，民國七十三年歲次甲子年八月購地，十二月初一日動土，民國七十四年歲次乙丑年八月開工興建，費時一年，於民國七十五年歲次丙寅年八月廿八日入火安座同時改稱為文財殿（財神爺祖廟）。