后梁末帝朱友贞时,张全义未受信任,曾经请求到河北指挥作战,未被采纳。后唐李存勗攻占梁都开封,他从洛阳赶去觐见,“泥首待罪”。由于在后梁时他常通过其弟张全武秘密与太原方面交往,所以李存勗待他很客气,“抚慰久之”。张全义一方面表示自己“曾栖恶木,曾饮盗泉,实有瑕疵”,改去朱温所赐宗之名,并请李存勗到洛阳行郊天之礼,公开表示效忠新朝;另一方面又通过关系“厚赂”李存勗的皇后刘氏,竟至使刘皇后认他为义父,真可以说是费尽心机。因此,张全义在后唐也受到尊崇,先被封为魏王,后改封为齐王,任命为守太尉、中书令、河南尹并兼领河阳。可是他处理政务很马虎,“凡百姓词讼,以先诉者为得理,以是人多枉滥,为时所非”。另外,他与河南的一个县令罗贯有私愤,便通过刘皇后在李存勗面前说罗贯的坏话,结果罗贯被杀,“冤枉之声,闻之远近”。
后唐同光四年(926)二月,赵在礼据魏州发动兵变,李存勗打算亲自征讨,大臣们则主张派李嗣源前往,李存勗本不答应,最后在张全义的力荐下才同意。可是李嗣源到魏州后便与变兵合流。张全义闻变后,忧惧不食而死,终年75 岁,谥忠肃。