这个成语故事出自初唐王勃《滕王阁序》。杰:杰出;灵:奇特，不一般。
滕王阁，是唐高祖的儿子滕王李元婴，在洪州(今南昌)任都督时修建的一座楼阁，故址在今江西南昌市赣江畔。唐高宗李治时，阎某(名字已无法查考)为洪州都督时，又重新加以修整。公元675年(唐高宗上元二年)，初唐著名文学家王勃去交趾看望在那里做官的父亲王福畴，路过洪州，正碰上农历九月九日重阳节，都督阎某在滕王阁上大宴宾僚，他应邀参加了宴会并写下了这篇著名的序文《滕王阁序》。文章描绘了滕王阁周围秀丽如画的景色，寥廓雄伟的山川;叙述了当时宴饮娱乐的情形，抒发了自己怀才不遇的悲凉感慨。文辞丰富华美，运用了很多较为贴切的典故，其中有一些精辟之句，受到当时及后人的赞赏。
据传说，当时王勃出席阎都督的宴会，是最年轻的一个，只有二十七岁，坐在末位。当阎都督要到会的文人学士，写一篇序文，为之刻石为碑，永留纪念。众宾客无人敢承担，最后还是居于末位的王勃，毫不谦让地挥笔成文。开始，阎都督还看不太起王勃，吩咐随从看着王勃写些什么，随写随报。当王勃写下开头四句:“南昌故郡，洪都新府。星分翼轸，地接衡庐。”意思是:这本是汉代的南昌旧郡，如今称为洪州都府。地处翼轸二星的分野，又把衡、庐两山南北相没出奇之处。接下去，随从又报了几句，阎都督仍认为平常，不出色。但他一听到王勃写下了:“物华天宝，龙光射牛斗之墟;人杰地灵，徐孺下陈蕃之榻”时，却一下子给震动了。王勃在这里连用了两个典故，把洪州的天时、地利、人杰都写出来了。
物华:指人世诸物的光华;天宝:天上的珍宝;龙光:指宝剑之光,《晋书·张华传》记载，晋惠帝时，张华见牛斗二星之间有紫气，便问雷焕，雷焕说这是由于丰城(即洪州)有宝剑的精气上通于天的缘故;徐孺:即徐稚，东汉南昌人，家贫，不肯做官;陈蕃:东汉名士，他做豫章太守时，素来不接待宾客，只有徐稚来时才招待，还为他专设一榻，待徐稚走后，就把该榻悬挂起来，不准使用。
这四句的大意是:地上的物产精美，有似天上的珍宝，龙泉宝剑的光芒直射牛、斗二星之间;人中有俊杰，大地有灵气，陈蕃专为徐孺设下几榻。
当阎都督正在玩味这几句说的“洪州有珍宝，洪州出奇才”的辞意，随从又继续报下去，他不禁连连拍案叫绝，说:“写得好啊!”
王勃一气呵成，很快地写成全文后，在座的人无不惊奇、叹服。后来,“人杰地灵”被引申为成语，用来指杰出的人物降生或曾经到这里，所以这地方也就成了名胜之地，不一般了。
