Será con Diocleciano cuando se inicie el declive, la capitalidad se desplazó a "Hispalis" (Sevilla) y comenzó la expansión del cristianismo en tierras cordobesas. La nueva religión tuvo su figura más destacada en el obispo Osio, quien participó en el Concilio de Ilíberis, localidad cercana a Granada, y en el de Nicea, en donde adquirió gran renombre; fue el momento en que las comunidades cristianas comenzaron a tener importancia como demuestran los sarcófagos paleocristianos, encargados en su día a Roma, y que hoy se conservan en el Alcázar y en el Museo Arqueológico.
En el siglo V se produjo una profunda transformación. Córdoba fue saqueada por los vándalos, quienes dieron su nombre actual a la extensa región andaluza. El poder romano fue desapareciendo, aunque no lo hicieron la mayoría de sus instituciones, y se asentó en la Bética un dux visigodo. Córdoba sufrió durante algún período las rivalidades entre facciones que luchaban por el poder, como es el caso de las luchas entre Leovigildo y su hijo Hermenegildo que acabaría con la conquista de Córdoba por aquel.
A partir de ese momento, una minoría dominante, dependiente del reino visigodo de Toledo, se impuso a la mayoritaria población hispanorromana que vio cómo los comes y duques se adueñaban de sus palacios y monumentos. Durante el reinado del católico Recadero, los visigodos construyeron la basílica de San Vicente según cuenta la leyenda, sobre un templo romano en honor del Sol en el mismo lugar que posteriormente ocuparía la célebre mezquita aljama.
Fueron constantes las revueltas nobiliarias, lo que conduciría a las guerras civiles que precedieron a la invasión musulmana.
