灵璧石在北宋已被列为贡品。政和七年，皇家于汴京东北隅，建起顶峰高达九十步，方圆十余里的假山，营造的皇家园林命名“寿山艮岳”，建园时搜尽天下名花奇石，灵璧石为强征之首。

         云龙山下乾隆行宫院内，陈放一方北宋历史名石—八音石。八音石为灵璧石类，此石长2米、高1.5米、厚0.8米，形美如浮云层出，凝重而飘逸，色极清润，磨挲声响，属“艮岳”遗石。为建好“艮岳”朝廷专设应奉局，由精通园艺的朱勉操办花石纲。据《癸辛杂识》记载：“前世叠石为山未见显著者，至宣和艮岳，始兴大役。连舻辇致，不遗余力，其大峰特秀者，不特封候，或赐金带，且各图为谱。”花石纲载来的太湖石、灵壁石都被宋徽宗所人格化了，他给其中的佼佼者命名，皆题刻石上，视若众臣，有的赐予金带，还有的加封“盘固候”等爵位。

        可惜，艮岳的好景不长，金兵攻陷东京，北宋灭亡，徽钦二帝当了俘虏。艮岳之中的大部份奇石，不是被激战炮火炸碎，就是被金兵运至金朝首都燕京，北宋灭亡后，未及启运和沿途散失的奇石，流落各处。灵壁石为举世之宝，然沧海桑田，历遭百劫，历史名石，存世寥寥。其中遗留至今的江南名石有瑞云峰、玉玲珑、皱云峰、冠云峰等，徐州的一方八音石，也因未运至艮岳，而幸运的遗留下来。

        但推究它的命运也曾历遭磨难。据说此石原置城中，明代天启四年黄河决堤漫灌州城，八音石被淹没在泥沙深处。明末清初重建州城，其有幸被人掘出，安置在重建的孔庙内。建国后成立徐州博物馆，才将它移至乾隆行宫故址陈列，以突出它的人文和文物价值，以飨世人。