회남재라는 이름은 지리산 밑 산청 덕산에서 후학을 양성하고 계셨던, 조선시대의 선비 남명 조식 선생(1501-1572)이 1560년경 악양 땅이 풍광이 수려하고 살기 좋다는 말을 듣고, 직접 악양에 가보려고 이 고개 꼭대기까지 올라왔지만 무슨 이유에서인지 악양으로 내려가지 않고 발길을 돌려 산청으로 되돌아 갔다고 한다. 그래서 남명의 남(南)과 되돌아갔다는 뜻의 회(回)를 따서 회남재라고 하고 있다.
회남재는 조선시대부터 하동시장 등을 연결하는 산업활동 통로이자 산청·함양 등 지리산 주변 주민들이 널리 이용하던 소통의 길이었다. 지금은 주변의 뛰어난 풍광을 즐기며 숲속 트레킹과 등산, 걷기 동호인으로부터 사랑 받는 곳이기도 하다.
회남재에서는 매년 10월에는 회남재 숲길걷기 행사를 시행하고 있으며, 하동 청학동과 악양면을 잇는 해발 740m에 위치한 숲길이며, 편도 6km의 거리이다.