福德正神為早期當地居民所信仰,在清道光二十二年(1842)前後,當地民眾共同集資興建福德祠,廟址位於今台南市延平郡王祠(開山路152號)文物館處。
咸豐九年(1859)四月,因建築殘破,管理人曾君騰等10人發起重修,與大埔街民眾
39人共捐 出時錢480圓90錢。同治五年(1866),因廟宇殘破不堪再度重修。
大正元年(1912)十二月,管理人葉永聲(大埔街保正)向居民募款,得717日圓,動工修繕,翌年(1913)一月竣工。大正昭和之際,開山神社改建,福德祠因位於開山神社計劃範圍內,神明被迫遷出。信眾乃將神像迎至民宅(今大埔街52號市商會所在)供奉。後因道路開闢民宅被毀,信眾又將神像遷至豆腐店(今大埔街65號)。
光復初期,大埔街拓寬,豆腐店部分土地被徵用,信徒乃將福德正神再遷至今裕興菸酒專賣店址(開山路170號)。因地理師向信眾透露打鐵舖(現廟址)有五水會流,日後必得發展,信眾乃募款建廟,暫將福德正神寄祀於臨水夫人廟。民國三十七年廟宇落成後,才迎回安座。
民國五十七年,因福德祠建物又有多處損壞,管理人蔡萬生募款重修。六十八年,廟宇又破損,管理人李武雄募金重修。八十二年,李武雄又募款三度重修福德祠。八十六年,興建福德祠辦公室。八十八年五月,現任管理人李堅銅募款77萬餘元,建造環保金爐。八十九年,李堅銅再募款整修,設置籤箸、籤詩架、光明燈以及招財進寶燈等。