La Porte Cailhau faisait partie des remparts de la ville. Au Xe siècle, la place du Palais bordait le Palais de l'Ombrière, résidence des ducs de Guyenne. Le futur roi de France, Louis VII, y séjourna à l'occasion de son passage à Bordeaux pour son mariage avec Aliénor d'Aquitaine. Au XIIIe siècle, le palais fut remplacé par un autre. À partir de 1462, le Parlement de Bordeaux y siégea. Ravagé par plusieurs incendies (1597, 1704), il fut démoli en 1800, permettant ainsi l'ouverture de l'actuelle rue du Palais de l'Ombrière. Au fond de la place du Palais se dresse la Porte Cailhau. Son nom évoque peut-être les cailloux, appelés « calhaus » en gascon, qui étaient accumulés à ses pieds par la Garonne et qui servaient à lester les navires. Plus probablement, elle évoque la grande famille bourgeoise bordelaise médiévale des Cailhau qui donna plusieurs maires à la ville XIIIe siècle - XIVe siècle).
Élevée dans un style gothique Renaissance (mâchicoulis, toitures aiguës de 35 mètres de haut, lucarnes, lanternes) au XVe siècle, en souvenir de la victoire remportée en 1495 par Charles VIII à la Fornoue, elle faisait office d'arc de triomphe et de porte défensive (présence d'une niche à l'effigie du roi).