고려가 멸망하자 두문동에 은거하여 충절을 지켜 두문동 72현의 한 사람으로 꼽히는 정희와 그의 아들 정초, 손자 정수충 3대와 정오도·민제장 등 5위를 배향하는 사당이다.
화담사가 자리잡은 곳은 예로부터 향기롭고 온화한 꽃들이 많다고 하여 화담이라 불렀다. 하동 정씨가 이곳에 정착하기 시작한 것은 약 500여 년 전에 보성군수를 역임한 정화가 살기 시작하면서였고, 그 후 계속하여 후손들이 모여 살게 되면서 집성촌을 이루었다. 이 마을을 화정동이라고 부르게 된 것은 화담사의 [화]와 송정의 [정]을 합쳐서 이름을 지은 까닭이다.
이곳의 건물 배치는 제향 구역과 강학 구역에 높이 차이를 두어서 조성한 전학후묘 양식으로 가장 뒤에 화담사를 안치하고 그 앞에 내삼문인 양양문을 두었다. 이곳에서 계단으로 내려가는 중간에 동재와 서재를 두고 그 밑에 외인문을 배치한 전형적인 서원 건축양식을 갖추고 있다. 화담사는 정면 3칸, 측면 1칸으로 앞 뒤에 마루가 있는 맞배지붕이다. 앞면의 마루는 개방되어 제향의식을 편리하게 한 사당 건축의 특징을 보여주고 있다. 앞부분의 문은 굽널을 둔 빗살문이며 겹처마이다. 평면구성은 앞에는 원형기둥을 세우고 중앙부는 사각기둥을 세워 앞마루가 퇴마루를 구성하지 않는 개방형이다. 청지재와 열호재는 동재와 서재가 같은 양식으로 건립된 정면 4칸, 측면 1칸의 맞배 지붕이다. 평면 구성은 앞에 마루를 두고 모두 온돌방을 놓았다.
화담사 경내의 아름드리 배롱나무가 아름다워 볼만하며 음력 2월에 춘향제를 봉향한다.