고림사는 진안군 부귀산에 있는 대한불교조계종 제17교구 금산사의 말사이다. 고림사는 672년(신라 문무왕 12) 원효 스님이 부귀산에서 수도한 것이 계기가 되어 창건하였다는 설이 있으나 정확한 건립 연대는 알 수 없다. 원효 스님은 삼국통일의 대업이 회삼귀일(會三歸一)의 원리대로 원만히 성취되기를 소망하여 부안의 변산, 진안의 부귀산 등 주로 편안할 안(安)자가 들어 있는 곳을 찾아 수도했는데, 그 자리가 곧 고림사 근처에 있는 좌선대라고 한다. 그 후 근대에 이르기까지의 역사는 잘 전하지 않는데, 다만 고려 때는 절을 상림사 혹은 운림사로 불렀다고 한다.
고림사라는 이름은 절 주위에 수백 년 된 거목들이 가득 들어 차 있어 언제부터인가 그렇게 불렀다고 한다. 근대에 와서 1928년에 절 전체가 불에 타 없어졌다가 1925년에 진안의 관공서 건물을 해체하면서 그 해체된 나무를 신도들이 짊어지고 메어 날라 법당을 지었다고 한다. 완전히 소실된 것을 정면 5칸, 측면 2칸, 팔작지붕 1동으로 중건하였는데 관음전에 모셔져 있는 관음상은 화재 속에서 구해낸 유일한 유물이다.