另外,还有一些传说更加详细地描述了这两位门神:西南方的门叫“神门”,由神荼守卫,凡有邪神入山偷桃,神荼就用桃木剑砍其颈,用桃枝贯其腮,并将邪神投入海中喂毒龙。东北方的门叫“鬼门”,由郁垒守卫,如发现饿鬼上树偷吃,就缚以苇索,射以桃弧,扔到山里喂老虎。这两位门神各有十名壮士协助,所有邪神恶鬼见了他们都闻风而逃。
神荼、郁垒两兄弟是驱鬼辟邪之神,其形象自然不会慈眉善目。《三教源流搜神大全》中有一幅画,画中即有神荼、郁垒的肖像。二神坐在桃树下,袒胸露腹,虬髯虎须,头上长角,手执桃木剑,一副凶神恶煞的样子。这种“凶神恶煞”的形象,显然是人们想象出来的。