香山在太湖東岸，北面與穹窿山相連，南面直達胥口。《吳地記》說：「吳王種香於此，遣美人來采，故叫香山」。香山北有大晏嶺、小晏嶺，小晏嶺腳下原有吳王闔閭的離宮「南宮」。
春秋時，在伍子胥輔佐下，吳王闔閭勵精圖治，使綜合國力不斷增強。隨著吳國經濟實力的增強，吳國開始大興宮室苑囿和離宮別館的建設。《越絕書．吳地傳》曾說：闔閭之時「徙治胥山」。也就是吳國的統治中心一度從古城內，遷移到太湖之濱的胥口。南宮即為吳王闔閭「徒治胥山」時所建。
香山還有不少的文物古蹟。比如在香山咀旁的「還帶寺」，還帶寺始建於唐代，當初稱為「香山寺」，在江南一帶頗具影響。2003年因市環城高速公路建設需要，還帶寺向西遷移並進行擴建，占地面積9.8畝，
傳說，還帶寺還是唐代宰相裴度在 此拾歸玉帶的地方。據說，裴度少時貧困潦倒，後來參加科舉考試也很不順利，某一天，在路上遇到一行禪師，禪師在看了裴度的面相後，說其有餓死之橫禍，勸其要多多修善。然而裴度則不以為然。一日，裴度來到香山寺遊玩、意外地拾到了三條玉帶，他等到天黑也不見失主前來尋找。第二天，他又去了香山寺，終於物歸原主。事後，裴度又遇到了這一行禪師，大師們看到裴度此時目光澄澈，臉相突變，預測他以後可能貴為宰相。果然不久之後，裴度便時來運轉，不僅在唐貞元五年（公元789年）考中進士，然而還官運享通，直至貴為宰相。做了宰相的裴度不忘香山寺菩薩靈護，之後，把寺重新修葺一新，香山寺從此改為「還帶寺」。
後人多次將裴度將還帶的故事編寫成了戲劇，演繹出這一傳奇。如元代雜劇作家關漢卿（約公元1220年─1300年）所撰寫的《裴度還帶》就是其中之一。劇情是這樣的：裴度因父母雙亡家境貧寒，只得寄居在山神廟中，乞食齋飯。有一天，一位道人為裴度相面，說他會因禍而死。而此時，州府韓太守因秉公為官得罪了國舅傅彬，被誣陷入獄，韓夫人與女兒瓊英只能籌措錢物，以贖回韓太守，她們得到朝廷官員李邦彥的同情，並贈玉帶相助。瓊英路過山神廟時，不慎丟失了玉帶，幸好被裴度撿到。正當韓氏母女絕望想自盡之時，裴度及時趕到並送來了玉帶，由此，韓夫人與女兒瓊英救出了韓太守。後來，裴度赴京趕考，高中狀元，並與韓瓊英結為夫婦。想了解更多系列內容，請點擊關注。