조선 전기 문신인 함재 서해(1557~1559년)가 거처한 집이다. 건물을 지은 연대는 확실하지 않으나, 이명의 다섯째 아들로 청풍군수를 지낸 이고의 분가 주택으로 지은 것을 사위인 서해에게 물려준 집이라고 전해진다. 동쪽의 건물은 서해의 아들인 서성의 태실이기도 하다.
소호헌의 규모는 앞면 4칸·옆면 2칸이며 지붕은 옆면에서 볼 때 팔(八)자 모양을 한 팔작지붕이다. 부속된 방은 지붕 양식이 옆면이 사람 인(人)자 모양을 한 맞배지붕이다. 왼쪽 3칸은 대청, 오른쪽 1칸은 누마루며 앞쪽으로 온돌방 2칸을 붙여 집의 구조가 T자 모양을 이루고 있다. 지붕 처마를 받치기 위해 기둥 위에 간략한 새부리 모양의 구조를 보인다. 누마루와 온돌방 뒤쪽으로 난간을 둘렀고 건물 안쪽은 민가 건축에서 볼 수 없는 재료를 사용하여 지붕 맨 윗부분에 있는 재료를 받치고 있다. 기와에 새겨진 용 2마리가 나는 문양은 민가에서 보기 드문 것이며, 건물에 나타나는 오래된 수법들은 조선시대 민가 건축 연구에 소중한 자료로 국가 보물로 지정되었다.
서해는 장차 학문을 크게 이룰 것으로 사우와 향당의 촉망을 받았으나, 1559년(명종 14) 23세의 나이로 요절하였다. 영의정에 증직되었고, 저서로 있다. 아들 약봉 서성은 조선시대 행정의 달인이며, 그 후손으로는 을미의병에 참여하다 순국한 서상부와 독립운동가 서재필이 있다.