据《唐诗纪事》记载：“或曰:荀鹤,牧之微子也。牧之会昌末自齐安移守秋浦时，年四十四，所谓‘使君四十四，两佩左铜鱼’者也。时妾有妊，出嫁长林乡正杜筠，而生荀鹤”。意思是在杜牧在职时，府中有一个妾氏出嫁，但是这个出嫁的妾据说已经怀有身孕，出嫁后不久，就生下来一个男孩，这个男孩就是后来的杜荀鹤，便是人们口中的私生子。

此外，《二老堂诗话》中还提到过这件事，称《池阳集》载：杜牧之守郡时，有妾怀娠而出之，以嫁州人杜筠，后生子，即荀鹤也,此事人罕知。虽然不少文章都提到杜荀鹤与杜牧的关系，但真相究竟是什么，世人却无从考证。以上就是杜荀鹤与杜牧的关系。