“国学”一词，古已有之。《周礼·春官宗伯·乐师》言：“乐师掌国学之政，以教国子小舞。”《礼记·学记》曰：“古之教者，家有塾，党有庠，术有序，国有学。”孙诒让在其所著《周礼·正义》中指出：“国学者，在国城中王宫左之小学也。”由此可见，“国学”在中国古代，指的是国家一级的学校，与汉代的“太学”相当。此后朝代更替，“国学”的性质和作用也有所变化。
唐代贞元中，李勃隐居读书于庐山白鹿洞，至南唐时，在其遗址建学馆，以授生徒，号为“庐山国学”（亦称“白鹿洞国学”、“庐山国子监”、“庐山书堂”等），首次使用了“国学”这一概念。到宋代，又改称“白鹿洞书院”，为藏书与讲学之所。宋代书院兴盛，涌现出白鹿、石鼓（一说嵩阳）、睢阳和岳麓四大书院。由此来看，“庐山国学”实际上是一所既藏书又讲学的“学馆”，亦即后来的“书院”。在当时的境域下，所藏之书和所讲之学，自然是中国的传统学术文化。从宋代四大书院的实际情况来看，也是如此。可见此时“国学”这一概念的使用，与“国医”是一样的。
但是，真正把“国学”同诸多“外学”相提并论，即作为一门统揽中国学术的概念提出来，则是在西学东渐、我国社会和学术文化处于空前转型的清末民初。[1]
19世纪末，面对西学和“欧化主义”的刺激，日本学界从世界文化格局中反思和重识本国文化，发出了提倡“国粹”、“国学”的呼声，从此“国学”一词在近现代流行开来。这就自然感染并刺激了处境相似的中国学人。1902年秋，流亡海外的梁启超曾与黄遵宪等人商议，在日本创办《国学报》。但黄主张先作“国学史”，使梁放弃了创办《国学报》的设想。而国粹派学者则趁机力倡“国学”。1904年，邓实在上海的《政艺通报》发表《国学保存论》，论述了保存“国学”的重要性。次年，邓实、黄节等人在上海成立了“国学保存会”，以“研究国学，保存国粹”为宗旨，发行《政艺通报》、《国粹学报》，标志着“国学”在国内的立足。
“国学即中国固有的或传统的学术文化”。这一释义经过几代学者的努力坚守，成为“国学”的通常定义。如在商务印书馆出版的《现代汉语词典》中，对“国学”一词的解释就是沿用了这样的定义：“称我国传统的学术文化，包括哲学、历史学、考古学、文学、语言学等。”这可以说是自清末民国初至今，一直沿用下来的比较通用的定义。