“回回”一詞最早在北宋沈括《夢溪筆談》和南宋彭大雅《黑韃事略》中出現，主要指蔥嶺東、西處于喀喇(哈拉)汗朝統(tǒng)治下的回紇(回鶻)人。回回和回紇、回鶻音近，應是后者的音轉或俗寫。

其時，伊斯蘭教已由喀什噶爾向東南傳播到和田、葉爾羌、英吉沙爾等地。因此，回回原應包括有信仰伊斯蘭教回紇(回鶻)人在內的含義。12世紀30年代，喀喇(哈拉)汗朝亡于西遼，其居民大部分仍是穆斯林。

13世紀初葉蒙古西征，西遼破滅。蔥嶺東喀什噶爾等地信仰伊斯蘭教的回紇(回鶻)人的后裔，同蔥嶺西的中亞及波斯；阿拉伯廣大地區(qū)不同民族的穆斯林，大批被簽發(fā)或自動遷徙到東方來。他們主要以駐軍屯牧和以工匠、商人、學者、官吏、掌教等不同身份散布在中國的西北、中原及江南、云南等地區(qū)，被稱為回回人，成為元代色目人中的重要部分。

后來，他們也以回回自稱，是形成回回民族的主要部分。