《三國演義》有兩個回目出現(xiàn)張遼的名字，分別是第五十三回《關(guān)云長義釋黃漢升，孫仲謀大戰(zhàn)張文遠》，與及第六十七回《曹操平定漢中地，張遼威震逍遙津》。第五十三回中，孫權(quán)親臨合肥戰(zhàn)線，與張遼經(jīng)歷多場戰(zhàn)爭，均未能攻克合肥。

其將領(lǐng)太史慈使計派遣吳兵混入魏軍城中，打算結(jié)連張遼軍中的養(yǎng)馬后槽一起制造禍亂騷擾魏軍，而張遼則冷靜悉破策略，號令全軍不反者皆靜坐，沒多久副將李典便抓住了吳兵及后槽，張遼更將計就計引太史慈入城，對其伏擊，最后令太史慈傷重身死。第六十七回，孫權(quán)乘曹操遠在漢中的時機，再次引軍進攻合肥，張遼在曹操密令的指示下，靈活調(diào)動軍隊，大敗孫權(quán)軍隊。

最后，張遼隨曹丕以大船征伐江東，軍隊被徐盛所擊敗。曹丕登岸逃亡時，吳將丁奉從岸邊殺至，張遼為保護曹丕上前迎敵，卻被丁奉以箭射其腰，回營后不治身亡，曹丕厚葬之。及至魏將曹真、司馬懿主理對蜀戰(zhàn)爭之時，以張遼之子張虎及樂進之子樂綝二人為軍鋒，可惜二人表現(xiàn)平庸。