조선 세종 때 의정부 검상사인, 전라도감찰사, 이조참판을 지내다 단종 때에 (계유정난(癸酉靖亂)으로 세상이 어지러워지자 관직을 그만두고 낙향을 한 영광 김 씨 필이란 분이 이곳 강가에 북쪽을 바라보며 임금을 그리는 뜻으로 겨울이면 설암벽에 단종의 진영을 그리면서 그 옆에 정자를 지었는데 이 건물을 사인정이라 했다. 산수가 절기 한 곳에 세워져 있는데 뒷면에는 산이 둘러 있고 전면에는 강물이 흐르는 자연경관을 잘 이용한 정자이다. 잡석으로 된 나직한 기단을 구축하고 약간 다듬은 정평형 주춧돌 위로 민흘림의 원형기둥을 세웠다. 기둥 위로는 포작 없이 평주로 연결되었는데 특이한 것은 중앙칸은 창방을 생략한 채 측면과 양면에만 창방을 설치하고 그 위에 장혀와 도리를 얹고 그 사이사이에 소로를 끼웠다.

창방과 기둥에 연결된 부분에는 보아지가 밖으로 돌출해 있으며 다른 결구는 보이지 않는 매우 간결한 구조이다. 3칸 중 전면과 양칸에 마루를 깔았고 중앙칸에만 방를 배치하였는데 후면을 제외한 각 면에 이분합의 문을 달았다. 지붕은 팔작지붕으로 처마는 홑처마이며 처마의 곡선 또한 가운데에서는 밋밋하다가 끝으로 빠지면서 살며시 반전하는 경쾌한 맛을 보여 주고 있다. 건물 내부에 많은 문사들의 시문현판들이 있고 대들보에 상량문이 있는데「숭정후 3년 병오 초봄(崇禎後三丙午暮春)」이라 기록되어 있다. 이로 보아 그간 많은 개보수가 있었던 것으로 보이며 현재의 건물은 아마 위 연대인 정조 10년(1786)에 중건된 것으로 보인다..