茶马司位于百丈湖之西5公里处,108国道旁,即南丝绸之路的商业通道上。建于宋神宗熙宁七年(1072年),并“遣官以主之”,专司茶马事宜。清道光二十九年(1849年)重修的茶马司遗址系纪念性建筑,占地面积约4000平方米,建筑面积1000多平方米,是一座石料檐柱的砖木结构四合院。历史上的茶马司主要与藏族为主的各民族进行以茶换马交易,而用于军事,鼎盛时期达到“岁运名山茶二万驮”之多,有时接待民族茶马贸易通商队伍人数一日竟达2000余人,盛况可见一斑。