李公祠，始建于唐代末年。李公，字明远，唐代山东人，生于咸通九年（公元865年）乾宁年间（公元894--898年）官至御史。后因上“谏草”触怒了朝延，被贬岭南道（辖五岭以南今广东、广西大部和越南北部地区），任浔州剌史，在任期间，政绩昭著，德化于民，民安居乐业。又慕西山景色的秀丽，遂在西山上，今称之为吏隐洞里隐居不出，羽化仙云。

    后人为怀念他的善政，给他立祠塑像，奉以香火，敬为神灵。曾长期为西山佛教藏经阁和“居士林”。