在和晁盖等人一起夺取了生辰纲之后，公孙胜也跟着一起上了梁山，并和吴用成为了搭档，在宋江带着梁山的一众好汉大闹华州后，返回梁山的时候被能呼风唤雨的混世魔王樊瑞、八臂哪吒项充、飞天大圣李衮拦住，公孙胜看过之后立刻就明白这里面有会妖法的人，于是他用法术破了三人，还劝导他们加入梁山，一起创建一番大事业，在三人同意之后，梁山的实力也因此大大提升，在宋江最终决定接受朝廷的招安之后，公孙胜并没有跟着一起归顺，反而回老家蓟州去出家了。

宋江归顺朝廷后，在一次攻打高唐州的时候，被太守高廉用妖法打败，在吴用的提议下，宋江又派人去请了已经出家的公孙胜，公孙胜念在以往的情谊上接受了他的邀请，来到高唐州，用法术将高廉击败并杀死，宋江一行人班师回朝的时候，公孙胜再次离去，从此一心跟着师父学习道法。

虽然公孙胜在《水浒传》中出场的次数并不多，但是几乎每次出现都会给梁山带来新的转折点，他是一百零八将中不可缺少的一位大将。