一天，常大用又要去看牡丹花，刚走到一个小树林中，恰巧碰到他思念的那位女郎。他往四下里一望，别无他人，就高高兴兴地走上去施礼问讯。
女郎客客气气地还了礼。常大用闻到女儿身上有一股奇异的香气。他刚要再和她说话，老女仆从远处走来。女郎让常大用暂到一块大石后面避一避，又用手向南指了指，小声说：“夜间踏着花梯过墙，看那所四面有红窗的房子，就是我住的地方。”说完，急匆匆地走了。
女郎走后，常大用象丢魂失魄一样，不知该怎么办好。
这天夜间，他要找个梯子扛到南墙跟。到了南墙跟前，有一个梯子已经在那里放好了。常大用很高兴，爬上梯子，越过垣墙，到了里面，果然有一所房子，四面都有窗子，窗子上都挂着红绢窗帘，里面的灯光透过红窗帘射了出来，整个窗子都是红的。他小心地走近窗前，听到里面有人在下棋，棋子敲打棋盘的声音不时传了出来。常大用久久地站在外面，不敢往里走。站了好长时间，里面下棋的仍未结束。他想，与其站在这里等候，还不如先回到自己那边，等到里面下完了棋，再过来。常大用登上花梯，爬回到墙这边。
等了一会儿，他又爬过墙这边看看，见棋局还没散，就再爬了回来，如此往返，爬了四五趟，仍没有机会进屋。
是谁在和女郎下棋呢？常大用决定从窗缝里往里望望。原来和她下棋的也是一位女郎，长得也很美丽，只是衣服穿得更淡雅些。那个老女仆也坐在里面，还有一个丫鬟，常给两位女郎端茶，剪烛花儿。常大用见此时仍不能进去，又踏着梯子越墙回到自己这边。这时听到谯楼上鼓打三更。
这次，常大用登上花梯，趴在墙头上，目不转睛地看着里面的动静。不久，就听到老女仆从屋里走了出来。常大用心中高兴：“你们可都走了！”
谁知老仆人没回自己的住室，却走到墙脚下察看，说道：“花梯子怎么放在这里？是谁放的？”说完，又招呼丫鬟出来，把梯子搬走了。常大用心中直埋怨这老太婆多事。
