정안사는 장흥임씨의 시조 임호와 그의 아들 정경공 임의, 손자인 문숙공 임원숙, 문충공 임원후, 문헌공 임원준등 고려조에 공헌한 선조들의 위패를 봉안한 사우이다. 장흥군은 고려시대에는 정안현으로 영암군에 소속되었는데, 고려 제 17대 인종 왕비인 공예태후임씨의 탄신리라 하여 이름을 '장흥'으로 고치고 부로 승격시켰다. 지금의 장흥은 공예태후임씨에서 연유한 것이다.임호는 중국 소흥부 출신으로 고려 정종 때 이곳에 정착, 개기하였다. 그래서 후손들이 본관을 장흥이라 부른다. 그는 상서공부원외랑을 지내고 태자태부에 증직되었다. 한편 장흥임씨들의 기가에 커다란 역할을 한 분은 임호의 아들 임의였다. 그는 문종 24년에 과거에 급제하고 비서성교서랑을 초직으로 관계에 진출한 후 숙종 5년에 송나라 철종이 승하하자 조문사절로 다녀오면서 황제가 하사한 신의보구방이라는 의서를 가지고 돌아왔다.

그 후 여러 관직을 두루 거쳐 숙종 9년에 동지추밀원사를 제수 받아 재상의 반열에 올랐으며, 참지정사를 거쳐 문하시랑평장사에 올랐고, 예종 4년에 권판상서이부사가 되어 수상을 지냈으며 여진족 정벌에 공헌하였다. 고려 좌리공신이 되었으며 시호는 '정경'이다. 임의는 아들 셋을 두었는데, 장자 임원숙은 중서시랑평장사가 되어 재상의 반열에 올랐고 시호는 '문숙'이며, 차자 임원후는 의종 1년에 문하시중이 되어 아버지 임의의 뒤를 이어 수상을 지냈고 시호는 '문충'이다. 계자 임원준 역시 중서시랑평장사가 되어 재상의 반열에 올랐으며 시호는 '문헌'이다. 또한, 임원후의 딸이 인종왕비가 되면서 가문은 더욱 빛나게 된다. 공예태후는 장흥군 관산읍 옥당리 당동에서 태어나 인종 4년에 왕비가 되고 의종 1년에 왕태후가 되었으며 슬하에 5남 4녀를 두었다. 태후는 정중부, 이의방, 이의민 등 무인들이 날뛰던 난세에도 탁월한 정치력을 발휘하여 왕실을 굳건히 지켰으며, 의종, 명종, 신종등 아들 3형제가 왕위를 계승하였다. 정안사는 장흥임씨 종친들의 헌 성금으로 1998년도에 건립하였다.