道光年初(約西年1820年)大眾爺祠便已經有小祠了，於光緒年初(約西元1875年)重修廟祠。廟旁大樟樹據文獻記載樹齡約已經有七百餘年了，當地民眾將它視同神明祭拜，稱呼老樟樹為樟樹公。民國六十九年時大眾爺祠再次修建完成，並將在樟樹公樹下的香爐正式的移入大眾爺祠左半邊供奉。每年農曆八月二十三日為樟樹公千秋，因此到此參拜的民眾不計其數。