早期称驿桥，即今天的弋桥。该桥始建于唐代如意年间（692），横跨古漕渠（前河、南市河），是常州小南门的重要通道。宋天禧年间重建，故称天禧桥。明嘉靖二十三年（1544），武进知县李画重修。驿（音同常州地方话弋）桥位置，千年未变。如今弋桥已由现代建筑材料构成，连接着城区重要干道南大街和广化街。而桥西不远处一座小型仿古天禧桥，作为一座景观桥，可供人们行走与观赏。

民国以前，常州城小南门的古运河上，仅有东面的新坊古桥和西面的天禧古桥，供人过河。而城南天禧桥往东近处，有两个重要古建筑物，一是荆溪馆，一是东山亭。它们在常州的社会及人文发展史上，留下过浓重一笔。

荆溪馆，靠天禧桥东，因为紧邻通着宜兴荆溪的古河，故名，又称阳羡（宜兴旧称）馆，曾为毗陵驿。该馆和藤花馆（苏东坡）、瓯香馆（恽南田）一样，均为古常州名馆。荆溪馆既是信使驿站（东下塘曾为驿道），也是使节驻常之所。南唐广陵徐铉任扬州刺史来常时，曾下榻于此，写有寄题毗陵驿的绝句诗：“曾持使节驻毗陵，长与州人有旧情。为极驿桥风月道，舍人须鬓白千茎。”后人所言天禧桥的“驿桥风月，”即源于此。南宋高宗赵构几次途经，都歇脚于此处毗陵驿。尤其宋绍兴年间，金完颜亮进犯江南，在苏常一带烧杀抢掠，坑苦了百姓。为鼓舞抗金士气，宋高宗亲自出征，车驾往返于如苏平江（苏州）和金陵（南京）时，多次下榻天禧桥东的毗陵驿。皇上驾到，地方上岂敢轻待。驿桥（天禧桥）畔，少不了热闹大场面。明洪武元年（1368），毗陵驿沿古漕渠西移，直至朝京门外今篦箕巷大码头旁。

东山亭和荆溪馆仅一河（旧时的东下塘虹桥浜）之隔，其年代更久远。唐代著名文学家、诗人独孤及（725—777）于大历年间到常州当刺史（今称市长）。不久，在驿桥东的一块地方，建了宅园，取名“东山”。后人认为他是仰慕东晋名相谢安（谢东山）而筑。其实取名东山，也和独孤及的经历有关。天宝十三年（754），30 岁已诗名天下的他金榜题名，中了进士。在朝廷从八品的“左拾遗”上，他认真履职。但仍被代宗皇上外放。尽管如此，在舒州等地任职时，面对天灾，他仍尽职尽力，终被朝廷颁旨褒奖，并调任常州刺史。孤独及意欲在常州有所作为，东山再起，故称自己选地而作的宅园为“东山”。他果然也把常州治理得很好，且对常州一往情深，至死未离。无奈安史之乱，他个人命运也难脱影响。孤独及逝世时，百姓恸哭，罢市相吊。

唐代后来任常州刺史的如韦夏卿、孟简（他浚通了孟河）等，和诗人张祜，以至明代谢应芳、王士敏、唐荊川之子唐鹤徵等，或用重修东山亭；或用题写诗文；或用重植独孤及所栽被毁的桧树等方式，以表对独孤及的纪念和崇敬。明代起，更多有识之人择邻而居，经几百年积淀，终使天禧桥往东沿北岸的青果巷，形成了著名的江南名士第一巷。2014 年后，在为配合修缮青果巷，对天禧桥东面东下塘道路施工中，挖出了明代乌衣桥遗墩遗石，于是在原址复桥，并邻近复建“东山亭”，成为当代常州人纪念孤独及的一个善举。