那时候，赵明诚还在京城太学里读书。赵、李两家虽然都担任不小的官职，但不是豪富人家，没有多余的钱让他们购买文物。这并不影响他们对金石的追求。每逢初一月半，赵明诚请假回家，就拿了些衣服到当铺里去押半吊钱，到大相国寺去。
大相国寺是东京最大的佛寺，那里经常举行庙会，在庙会上，摆满着各种商品，也有出卖书籍、古玩和碑帖字画的。赵明诚在那里，看到中意的碑文字画，就买下来。回到家里，和李清照一起细细整理、欣赏。夫妻俩把这件事当作他们生活上的最大乐趣。
过了两年，赵明诚当了官，他把所得的官俸几乎全花在购买金石图书上，他的父亲有一些亲戚朋友在国家的藏书阁里工作，那里有许多外面没有流传的古书刻本，赵明诚通过这些亲友，千方百计把它们借来摹写。这样日积月累，他们家收藏的金石书画越来越多。李清照建立了书库大橱，编好目录，发现有一点污损，一定随时整理好。经过将近二十年的努力，赵明诚完成了一部记载古代历史文物的著作，叫《金石录》。
在国家动荡的年代，要埋头整理文物已经不可能了。东京被金兵攻陷的时候，李清照和赵明诚还在淄州（在今山东省）。不久，风声越来越紧，李清照跟着赵明诚到了建康。他们把最名贵的金石图书，随身带走了十五车。后来金兵攻下青州，李清照留在老家的十几间文物，竟被战火烧成一堆灰烬。
到了建康以后，赵明诚接到诏令，被派到湖州当知府。那时候，兵荒马乱，李清照不可能跟他上任。临走时候，李清照问丈夫说：“万一金人再打过来，我该怎么办？”
赵明诚坚定地说：“瞧着办吧。实在不行，你把家具衣被先放弃了；再不行，把书画古器丢了；但是有几件珍贵的古代礼器，你可一定得亲自保护好，要看作自己生命一样。”
想不到赵明诚这一去，就得了一场疟疾死去了。
