相传300多年前观音山上有一座小茅屋，茅屋里住着看山人阿牛，阿牛一生从未离开过观音山，也未娶妻生子。
直到有一天年老多病的阿牛在熬草药时不小心烧到了自己的小屋，眼看大火就要威胁到苍苍茫茫的观音山森林，就在这时一件不可思议的事儿发生了，小潭里的鱼虾竟不约而同地蹦上岸来，纷纷跳进火海，扑灭了大火，现场只留下一句句香味儿四溢的鱼虾，而阿牛则不知去向，不久后村民自发的集资在阿牛的小茅屋。在原址上盖了座寺庙，取名观音寺，观音寺因此得名。
