Nell'alto medioevo, la città aveva forma di castello fortificato sulle alture di Wawel sopra il fiume, nel luogo dove sorge ora il palazzo Reale. Il primo accenno scritto alla città risale a un documento del 965, dove viene descritta come importante centro di scambio. Nell'anno 1000 era già una città dotata di cattedrale e nel 1038 il castello di Wawel divenne la residenza dei re polacchi. Il rapido sviluppo di Cracovia venne interrotto bruscamente due volte (1241 e 1242) da invasioni tartare.
Nel 1257, sotto il duca (e più tardi re) Boleslaw Wstydliwy, l'insediamento venne ingrandito e sottoposto alla legge municipale di Magdeburgo. Cent'anni dopo vennero fondate nelle vicinanze le due nuove città di Kazimierz e Kleparz, oggi due quartieri di Cracovia.
Nel XV secolo Cracovia è diventata una città di 30.000 abitanti, circondata da mura e torrette fortificate. Nel 1384 era stata aperta dal re Kazimierz Wielki l'Università Jagellona, una delle prime dell'Europa centrale, che contribuì a conferire alla città un ruolo ancora più importante.

La Cracovia medievale non era solo una città di accademici; vi fiorivano anche i commerci e l'artigianato. La città era situata all'incrocio degli itinerari commerciali fra l'Europa occidentale e Bisanzio e fra l'Europa meridionale e il Baltico. Esistevano almeno sessanta gilde registrate e furono i loro ricchi profitti, unitamente all'interesse della nobiltà e dei cittadini più rappresentativi, ad assicurare lucrosi contratti e una vita senza preoccupazioni a una moltitudine di maestri costruttori, artisti e artigiani che giunsero a Cracovia da tutti gli angoli d'Europa. La fisionomia inconfondibile di questa città della cultura mondiale si delineò in questo periodo.
Quando il re Zygmunt III trasferì nel 1609 la capitale a Varsavia, Cracovia perse parte della sua importanza e soffrì anche molto per le guerre che dilaniarono la Polonia nel XVII e XVIII secolo. Dal 1815 al 1846 Cracovia fu una città libera e capitale di una minuscola repubblica. Nel 1846 venne incorporata nella provincia della Galizia e divenne così parte dell'impero austro-ungarico. L'atteggiamento liberale delle autorità austriache permise alla cultura e alla scienza polacche di progredire e anche le attività del movimento indipendentista vennero tollerate.
Fu in questo periodo che i pittori Jan Matejko, Jacek Malczewski e Leon WyczóIkowski crearono i loro capolavori e che i precursori dei nuovi movimenti artistici, Stanislaw Wyspiafiski e Josef Mehofer, trovarono a Cracovia l'ambiente adatto al loro lavoro. Anche Jozef Pilsudski, che divenne più tardi capo dello Stato, organizzò a Cracovia le sue truppe.

Occorre ricordare che durante il periodo in cui appartenne all'impero austro-ungarico la città venne trasformata in una possente fortezza che riuscì a resistere all'offensiva russa del 1914. Sotto l'occupazione tedesca della seconda guerra mondiale, Cracovia fu la sede del Governatorato generale; il governatore generale Hans Frank scelse come residenza l'ex palazzo Reale sul Wawel.
La Cracovia odierna, terza città della Polonia, è un centro industriale oltre che culturale. Fu più per ragioni politiche che per considerazioni economiche che nel 1949 vennero insediate nei dintomi della città le acciaierie Sendzimir. La conseguente ondata migratoria di operai adempì allo scopo di indebolire il potere delle grandi famiglie e di radicare nella città uno spirito socialista.
Per fortuna questi disegni vennero realizzati solo in parte, anche se rimane l'eredità deprimente delle nuvole di pulviscolo e di veleni che sgorgano dalle ciminiere della zona industriale e che rendono la vita meno piacevole agli abitanti della città, ricchi o poveri che siano.
Cracovia è una città ricchissima di monumenti di grande valore storico e artistico. Il centro è rimasto in larga misura come quando venne costruito nel medioevo. Le mura della città vennero lasciate in piedi fino al secolo scorso, quando furono demolite per fare spazio a una cintura verde, il cosiddetto Planty, che ora circonda il centro cittadino e che da pochi anni costituisce il confine di una grande isola pedonale.