古城的建城史从商周时代开始,商周时的盘顶子至今犹存,这是一座祭坛,商周时祭天之处。商周时的阮国、共国,在古城内有遗址,即共池,今城关中学内,文献多有记载。秦代遗物,分布在古城总面积的地下,从20世纪80年代起至2005年大云寺遗址勘探结果显示,秦代瓷器残片、文化层丰富。西汉时,古城是临泾县县城。东汉时,安定郡因汉羌战争被迫从高平(今宁夏固原)迁至美阳(今陕西扶风)侨治18年。公元129年,安定郡因战争仍在继续而回不到高平,就设在临泾县城(今城关水泉寺),泾州古城从此成为岭北政治、经济、军事、文化中心。
北魏,泾州古城的地位空前之高,泾州时领6郡17县(相当省级),泾州、安定郡、安定县三级衙门都设在古城内。
明洪武三年(公元1370年),因水患,古城迁至泾河南皇甫店,即今县城所在。
从商周至清末,泾州城仅在唐广德元年(公元763年)至大历三年(公元768年)6年间被吐蕃占领,其余2000多年均未失陷,一直起着“外阻河朔,内当陇口,襟带秦凉,拥卫畿辅,关中安定,系于此也”的国防重城作用。泾州和泾州古城“控扼两陲之咽喉,边衢之门户,壮西服而控远夷”。当西部势力占领泾州以西的国土,泾州城就是长安城和古中国西部最远的边陲重城。当中原势力达到河西乃至更西地域,泾州古城又成了离长安城、离朝廷最近的京畿之地。
泾州古城历史加上明代以后的今日县城历史,建城历史在3000年以上。2005年,古城内始建大云寺博物馆、城关镇政府办公大楼。近年,一批建筑相继落成,古城3000年历史已经合缝、复原。3000年泾州古城,无疑是世界上最古老的城市之一。