歙砚因产于歙州而得名。唐五代时，歙州辖歙、休宁、祁门、黟、婺源等地。历史上歙石开采虽然断断续续，几经兴衰，然而他山之石始终无法与它相媲美。
歙砚驰名于唐代，至今已有一千多年历史，据宋人洪景伯《歙砚谱》记载，唐开元年间，歙州猎户叶氏逐兽至长城里（地名），见到山溪里，叠石如城，莹洁可爱，携归成砚，由此歙砚始闻天下。又据五代陶谷《清异录》记载，肖颖士至“仓曹”李韶家，见歙砚颇良，退语同行者云，“此三灾石也”。（按:肖颖士乃开元二十三年进士），此可证明唐盛时，歙砚已大显。为此，李晔《六砚笔记》云，端溪末行，歙石称首。至今唐砚垂世者龙尾也。可知歙砚始于唐代开元年间，是确凿无疑的。唐元和年间，著名书法家柳公权在《论砚》一文中已把端砚、歙砚、洮砚、澄泥砚列为全国四大名砚。唐咸通年间，文学家李山甫有赞歙砚诗:“追琢他山石，方圆一勺深，抱才唯守墨，求用每虚心。波浪因纹起，尘埃为废侵，凭君更研究，何帝值千金”。从这首诗说明，在唐代，歙砚的石品已经定名，雕工也非常讲究。
歙砚作为御赐品，始于唐末。《清异录》载，“开平二年”（908），梁大祖朱温赐宰相张文蔚、杨涉、薛贻‘宝相枝’各二十，龙鳞月砚各一。‘宝相枝’斑竹笔管也。……鳞石纹似之，月砚形象之，歙产也，南唐（937-975），后主李煜视歙砚为“天下之冠”，第一次在歙州设置了“砚务”擢砚工李小微为“砚务官”派石工周全之，专门搜集佳石为宫中造砚。由于国主的重视，歙州一带的制砚业就更为兴旺了，歙砚的身价从此扶摇直上。由帝王设置砚务官督采歙石，算得上是破天荒的盛举。可以说，这是歙砚最辉煌的时代，也是中国砚史上最辉煌的一页。
到了宋代，歙砚进入大发展时期。南唐败亡后，歙石开采停产五十年。宋景佑年间（1034-1038年），歙州太守钱先芝，查访到南唐李少微开过的歙砚产坑已被河水淹没，汇成大溪，便采取措施，把大溪移还故道。这样歙石才重新开采出来。这次开采，由县令曹平主持下进行，规模很大。以后，歙州太守王君玉继续开采歙石。嘉佑年间（1056-1063），刁廖为县尉，又开采了一次。这几次较大规模的开采，使歙砚精品不断涌现，石色众多，影响不断扩大，当时的著名文人、学士、书画家、对歙砚无不赞美，歙砚石色之多，质地之细，为诸砚之冠。如宋代洪景伯、胡仔、苏东坡、欧阳修、蔡襄、周必大、黄山谷等都写了许多赞许歙砚的诗文，指出歙石的各色妙处。南宋（1225-1264年）歙州知府谢暨每年都向理宗进贡“新安四宝”，既“澄心堂纸、李廷洼墨、汪伯立笔、羊头岭古坑砚。”其中羊头岭，今称羊斗岭，与龙尾山相连，既龙尾古砚。 元代至元年间，婺源县令汪月山，为了满足达官显贵的贪欲，曾经“发数都之夫力”去挖掘歙石，结果“石尽山颓 ，压死数人乃己”。旧坑淹没后，又转往紧足坑挖掘，经年累月，愈挖愈空，结果到了后至元五年（1339年）。紧足坑又宣告塌陷。关于这一次坑洞塌崩的情景，元代江光启《送侄济舟售砚序》一文，记之最详：“今至五年十月十八日夜，淹声如惊雷，隔溪房瓦皆震，人惊兽骇；数年前工人告予，紧足石断凿已尽，予不之信，至是果然。六十年两见此事，亦可一慨”！歙石遭此厄运，便长期无人开采。不仅整个明代，甚至到清康熙、雍正年间也都没有开采过。虽然，在此期间，当地砚工三五成群，不断在坑口、溪边、山脚、河滩、觅取佳石，制出一方方石砚，携至外售，颇能维护歙砚的声誉。但和端石大规模开采绵连不断，明、清两代佳石纷出相比，就显得一蹶不振了。
清乾隆年期，歙石究竟开采了几次,尚末有资料考正。但最后一次正规开采,应该是乾隆四十二年丁酉（即1777年）,清歙县著名学者程瑶在《纪砚》一文中说:“乾隆丁酉夏五月，余从京师归于歙、时方采龙尾石琢砚，以供方物之贡。”既然是为了“进贡”而采石，看来规模不会太小。这是清代乾隆时歙石正规开采的唯一有记载的一次。〔同时据歙县志载:道光时充贡之物惟砚与墨为最,每年三贡（春贡.万寿贡.年贡）每贡砚二份,（六方者四匣、两方者两匣,共二十八方）,歙县墨海二方。〕在此之前,从未到清初,大约五百年内,再无正规开采歙石。
1910年左右,安徽军阀马联甲令婺源驻军为他开采掘砚石,由于不知砚史,又无百姓支持,除掘取一些残石外,也没有正规开采。民国初期,歙砚生产濒绝境。歙县剩下的一家砚店汪义兴（斋名翰宝室）,只是从江西玉山购进石料,生产一些低档砚台,徒有歙砚之名,却已失去歙砚之实。到抗日战争期间汪义兴砚店倒闭,砚雕艺人纷纷改行换当、离乡背景。 解放后，1963年在周总理和当地人民政府的亲切关怀下，恢复了歙砚的开采和生产。
歙砚砚石质地绝美，在雕饰上具有独特的风格。自南唐以来、歙砚雕刻浑厚朴实、线条挺秀、刀法刚健著称于世。经历了历代砚雕名家的辛勤耕耘取得了很大发展。尤其是近几十年来涌现出诸多名家高手，并形成了多种流派。雕刻枝法和设计一改传统面目，弃俗气和匠气、求清新典雅达到了一定的艺术性，使这传统工艺更具收藏意义。
