在古代，佩剑是很早就形成的习惯。在古人眼中，礼是非常重要的事情，衣冠不整、缺少佩饰，是严重的失仪行为。古人看来，文人剑有君子之德，是身份和地位的展现。古代的读书人，被称为士人，与庶人有严格的界限。士人即使身处寒门，也要佩剑而行，这也是礼制规矩和修身养德的要求。

佩剑分为两种，将军佩剑称为武剑，读书人佩剑称为文剑。很多读书人的腰间都配有宝剑，和武将配剑的意义不同，此剑不是御敌兵器，而是士族身份的象征，与玉器、香袋同属一类。

《孔子家语》记载，子路戎装见孔丘时，曾拔剑起舞；并且，《吴越春秋》里就有“越女舞剑的记录”。越女自幼独钟剑术，对剑术有着极高的悟性和造诣，以至于得到了范蠡的赏识和重用。金庸就是在此基础上改编的小说《越女剑》。

到了隋唐时期，文人雅士更是把剑作为饰物来佩戴，李白曾在一首诗中写道：“十五好剑术，遍干诸侯。”意思就是十五岁就已经习练剑术，并且拜访了许多著名官员。诸多诗人也曾写过关于剑的诗，例如杜甫的“检书烧烛短，看剑引杯长。”辛弃疾也有“醉里挑灯看剑，梦回吹角连营”等佳句。