山と川に恵まれたこの地域には、縄文・弥生時代の生活の跡が見られ、早くからひらけていた土地である。
奈良時代には伯耆国分寺が置かれ、この地方の中心地であったが、延文６年（１３５６）、山名時氏の子山名師義が
、現在の市街地南方にある打吹山に城を築いてから、商工業者が集められ、城下町として発展した。

倉吉市内を流れる玉川沿いに白漆喰の壁に焼き杉の黒い腰板、屋根には赤い石州瓦。
江戸・明治の商家の町並みが続く。