La localización de la fortaleza, dentro del casco urbano de intramuros actual, sería la esquina del reducido cuadrángulo dibujado por el barrio del Pópulo, núcleo de la villa medieval y célula originaria del Cádiz moderno.
Salvando las diferencias, provocadas por las posteriores remodelaciones de este sector de la ciudad, el trayecto que recorrerían las paredes de la fortaleza sería la siguiente:
- La fachada oriental asomaba por la calle de San Juan de Dios (cuya longitud era algo inferior a la actual), ensamblándose aquí con la muralla medieval con el aún existente Arco de los Blanco.
- El lado occidental bajaría por la calle hoy llamada del Silencio.
- Al norte por la del Mesón Nuevo.
- Al sur abría frente hacia el mar, cuyo nivel por entonces era bastante más cercano a la línea de tierra que el que ofrece en nuestros días.
Para la descripción del edificio, al no quedar actualmente vestigios del mismo, se han tenido que usar documentos, la fuente más completa con la que se cuenta: la reproducción del edificio en la Maqueta de Cádiz, de 1777, que se conserva en el Museo Histórico.
Fachada norte
La fachada norte, actual calle del Mesón Nuevo, ocupaba aproximadamente unos 25 m de longitud y quedaba flanqueada por dos torres que sobresalían de la línea del muro, la oriental cuadrada y la occidental circular. Por la proximidad de las torres que la componen, esta fachada se caracteriza por su especial aspecto macizo y recogido, a lo que contribuye la estrechez del lienzo de muro que las une y la casi total ausencia de vanos en todo el frente.
La primera torre, cuadrangular, llamada Torre de las armas, es la segunda en dimensiones de todo el conjunto, con aproximadamente unos 10 m de lado. Quedó situada en la esquina y se erguía frontera al Arco de los Blanco, asomando uno de sus frentes por la calle de San Juan de Dios. La defensa del arco, que era una de las primitivas puertas de la Villa, la compartía con un torreón de la muralla medieval. Sobresalía de la línea general del lienzo del muro y, al ser la más antigua, fue la primera que mostró síntomas de ruina. Sin embargo, sobrevivió en el tiempo al resto del conjunto.
Según la maqueta de 1777, en la Torre de armas se abre una sola ventana, muy amplia, dominando el Arco de los Blanco. En el grabado de Simancas de 1513 aparece otro vano en un posible piso inferior.
El otro extremo de la fachada, se flanqueó con un torreón pequeño de planta circular al que se accedía desde el patio de armas . Una escalera de caracol debió comunicar esta entrada con el terrado que constituía una avanzada del paso de ronda. En este frente el torreón se presenta completamente hermético, mientras que ofrece dos vanos en su cara oeste.
Según el grabado de Simancas, el almenado del frente norte alternó merlones albardillados (en la torre de armas) y sin albardillar (en el lienzo de la muralla y en el torreón. En 1777 este almenado había desaparecido por completo.
Fachada oriental
Es muy probable que este frente del edificio formara parte del primitivo Frente de Tierra con que contó la ciudad antes de desbordar los límites de la muralla. Era el frente de mayor dimensión del edificio, y se orientaba hacia la calle de San Juan de Dios, hasta subir al Campo del Sur. Defendía sus esquinas con dos torres de planta cuadrada: la Torre de armas, compartida con la fachada norte, y la Torre del homenaje, donde el Castillo abría frente hacia el mar.
El lienzo de la muralla se interrumpía hacia la mitad con otro torreón, el más pequeño de todos, ligeramente inferior al descrito. No se sabe si era macizo (sirviendo, por tanto, de contrafuerte, como aparece en la maqueta de 1777) o tenía alguna escalera.
Entre este torreón y la Torre del homenaje se aprecia en la maqueta cómo el lienzo del muro se recrece hasta cubrir el primitivo almenado. Los seis vanos abiertos al mismo nivel de las antiguas almenas tenían la misma altura que los del torreón circular.
Por lo que respecta al trozo de lienzo que corre entre el torreón circular y la Torre de armas, se comprueba en la maqueta que existían un total de cinco vanos: tres en el piso superior y dos en el recrecido de la muralla que logró comunicar el terrado del lienzo con el de la Torre de armas.
En este sector del muro se aprecia la ventana de mayores dimensiones del conjunto que, cegada hasta media altura, podría indicar la presencia de un balcón.
En cuanto a los arrimos, en esta fachada son visiblemente inferiores en altura a los del frente del Silencio. Uno de ellos ocultó la puerta que se abrió en el siglo XVII para entrada y salida de la pólvora de la ciudad, y que se localizaba entre el torreón circular y la Torre del homenaje.
Finalmente, en lo que se refiere al almenaje primitivo de este frente, según el grabado de Simancas, ofrece al igual que la fachada norte marlones con albardillas en las torres del homenaje y de las armas, y sin albardillar en la muralla y en el torreón central.
