祖越寺是千山最早的廟宇建筑之一。相傳，在開始建寺時，有一位祖師從這里路過，曾仔細察看該寺的建筑，遂名為祖越寺。據(jù)考證，它最初建于唐朝，當(dāng)時的建筑寬闊宏偉，大于現(xiàn)在幾倍。后來，在金、元時期，山洪暴發(fā)，寺廟被沖毀，遺址就在現(xiàn)址前的低洼開闊處。

從遺址中曾發(fā)掘出較大的浮雕石欄板、望柱蓮花佛座、柱基、殘石碑頭、瓷片等。這些遺物為考察千山的廟宇建筑和宗教歷史提供了重要線索。

祖越寺現(xiàn)址為明朝時建筑，清乾隆、道光、光緒年間曾相繼重修、整飾，解放后，又多次進行修繕?，F(xiàn)有建筑七幢，釋迎殿為正殿，它的東側(cè)是胡仙堂和客室，正殿階下為東西配殿，配殿南有鐘樓、鼓樓，呈東西對稱。正殿東側(cè)是胡仙堂和客室，殿堂內(nèi)供奉有泥塑，木雕佛像等30余尊。

釋迦殿正對寺門，門外是一堵石墻，長達五十多米?，F(xiàn)存殿宇，經(jīng)1978年重修，由比丘尼住持。

祖越寺的建筑比較緊湊、集中、規(guī)整。它建造在蜿蜒、狹長的喇叭形山谷中，山的地勢北高南低，寺前的平地邊沿距下面坡地約有十余米，廟宇低洼部分全由石塊壘筑墊高，可見當(dāng)時的建筑工程是很艱巨的。

祖越寺殿宇壯觀，山色秀麗，景致優(yōu)美。東西兩面山峰將它緊緊抱合，如雙手捧著一顆明珠。上面峰青壁翠，林濤激涌；下面柱紅瓦綠，殿宇輝煌。寺旁，山水汩汩而下，清新涼爽；后山，小亭岌岌而立，幽靜雅致，使人留連忘返。

古人多有游祖越寺頌詠唱和之詩作，今人也多贊嘆祖越寺之秀美壯觀。前人用“祖越多奇境，天工亦幻哉”的詩句來贊頌，明人徐文華也寫詩贊賞：“常遑回合水潺湲，路轉(zhuǎn)坡坨百折還。上界鐘聲霄漢杳，前山塔影夕陽間，松濤漲壑千巖響，花雨浮空滿地斑。坐久虛堂疑誤入，恍然身世出入寰。”明御史程啟充、明前給事中劉琦、給事中薛廷寵、監(jiān)察御史朱篪、巡按御史史褒善等都有唱和。有的贊嘆祖越寺“巖松宿霧常浮翠，石澗流泉漾落花”，有的贊“山引樓臺連碧落”，“山川迤邐畫圖中”，令人“共來不倦登臨興”，樂游忘返。

祖越寺后山石壁上刻有“獨鎮(zhèn)群岳”四個大字，據(jù)傳這是明隆慶二年（1568年），一位巡侍御所題，旁邊還有“含譯宣氣”四字，由于年代久遠，只能看出字的輪廓。山門東側(cè)有一株古松，名曰“懼松”，“懼松”旁邊有石碑，上有清光緒元年刻寫的“天花亂墜地涌金蓮”八個大字。

祖越寺周圍有玉皇閣、羅漢洞、八步緊、七步松、夾扁石、一步登天等二十四景。玉皇閣在三十三天附近，筑于峭壁之上；羅漢洞中塑有十八羅漢；八步緊在臥象峰東，在陡壁下有石階八蹬，循蹬而上，越過七步松、夾扁石，即可達一步登天。游人無不贊嘆祖越寺奇俏秀麗的景色和精湛的建筑。