一天，老父籌劃著要為女兒招贅一門女婿。這事兒被河對岸的一戶打漁人家知道了。那漁家有五個兒子。兄弟們都曾一睹烏女美麗賢淑的芳容，因此五兄弟都爭著要入贅烏門。於是他們相約一起來到烏家提親。這可難為了老父，因為五兄弟都很優秀。於是他就問女兒看上誰了？女兒羞而不答。結果老父出了個注意，說看五兄弟誰打的魚多，就擇其為婿。第二天，五兄弟一早就到河裡去打魚，傍晚斜陽落山才回家。結果還是老五打的魚最多。於是老五就做了烏家的上門女婿。一家人和和睦睦地過著幸福美滿的日子。

可好景不長，這事兒被龍王爺知道了，頓時龍顏大怒，派了三太子率領蝦兵蟹將前來興師問罪。由於父女倆都拒絕跟隨他們回去，太子大怒施下魔法，移來一座小山將龜父壓在岸邊，後曆經歲月淘洗，就成了一座形神兼似的烏龜山。而龜女卻被捉拿前去，老五向前阻止，卻被那些蝦兵蟹將殘酷地殺死。龜女見丈夫已先離她而去，痛不欲生，憤然撥劍自刎。為了紀念他們的這段生死情緣，漁家兄弟和當地百姓籌資在山旁建起了這座塔，並取名叫烏龜塔。

現在五桂塔早己列入市政府重點文物保護單位。並與遙遙相望的奎文塔渾然融為一體。剛剛修繕一新的雙塔公園，又為她注入了新的內涵。在如今櫛次鱗比的現代建築群的簇擁之下，美麗的身姿仍然綻放出彆樣的風采。成為人們欣賞古代景觀的不可或缺的一道靚麗的風景線。

據史料記載，五桂塔為清嘉慶年間廣信知府王言時所造。如今，烏龜塔的傳說已成了人們漸漸淡忘的曆史。拂去了曆史的那一頁，而今默默佇立在五桂山旁見證了二百多年曆史滄桑的五桂塔，依然風采依舊，古風古景，沒有到過此地的人們何不來此一遊？