봉덕산 중턱에 자리한 서악사는 대한 불교 조계종 제8 교구 본사 직지사의 말사이다. 1960년 요사채를 중수할 때 발견된 상량문에 따르면, 1701년(조선 숙종 27)에 창건된 사찰로 1737년(영조 13)에 이건하였으며, 1761년 요사채를 지었다는 기록이 있다.
건물로는 원통전과 요사채 2동, 일주문이 있다. 주법당인 원통전 내부에 있는 불상은 근래에 제작한 것이고 탱화 6점은 보존 가치가 있는 유물로 평가되는데, 6점 중 3점은 1770년(영조 45)에, 1점은 1868년(고종 5)에 제작한 것이다. 또 법당 안에 있는 동종은 1933년 3월 조성된 것으로 연대는 오래되지 않았으나 조선시대 범종 양식을 충실히 따른 귀중한 유물이다. 절 입구 바위에는 [연파독역산]이라는 글귀가 남아 있다. 이 글귀는 조선 후기 한성판윤을 지낸 장화식(1853∼1938)이 이곳에서 [역경]을 읽었다는 기록이 있는 장화식의 묘가 절 뒤편에 있다.