古琴台始建于北宋时期，相传，春秋时期楚国琴师俞伯牙在此鼓琴抒怀，山上的樵夫钟子期能识其音律，知其志在高山流水，伯牙便视子期为知己。几年以后，伯牙又路过龟山，得知子期已经病故，悲痛不已的他即破琴绝弦，终身不复鼓琴。后人感其情谊深厚，特在此筑台以纪念。古琴台东对龟山、北临月湖，湖景相映，景色秀丽，幽静宜人，文化内涵丰富，构成一个广阔深远的艺术境界。

清朝嘉庆初年，湖广总督毕沅主持重建古琴台，请汪中代笔撰《琴台之铭并序》和《伯牙事考》。光绪十年，黄彭年撰《重修汉阳琴台记》。光绪十六年，杨守敬主持并亲自书丹，将《琴台之铭并序》《伯牙事考》《重修汉阳琴台记》重镌立于琴台碑廊之中，并书“古琴台”三字刻于大门门楣。古琴台，中国十大古曲之一《高山流水》的发源之处，与黄鹤楼、晴川阁并称武汉三大名胜。