因为稀有气体的发现就是由于1895年英国物理学奖瑞利勋爵在测定氮气密度的时候发现：通过分离空气得到的气体和通过化学方法得到的气体，密度总有千分之几区别。另一位化学家威廉·拉姆塞指出应该是空气中含有一种分子量和N2不同的气体。最终通过实验确认的确如此，瑞利和拉姆塞通过实验发现了这种气体——氩气。

英国化学家威廉·拉姆塞（William Ramsay）

但是实际上氩气并不是第一个被发现的稀有气体元素。1868年皮埃尔·让森和约瑟夫·诺曼底·洛克伊尔在观察太阳色球层的时候，在光谱中发现了异常，他们推测太阳色球层中有一种元素，发射光谱中有黄色谱线，他们将这种物质命名为【氦】（Helium，希腊语意思是太阳）。当然当时因为在地球上没有发现该物质，所以其性质并不清楚。

而更早的时候英国物理学家和化学家卡文迪许也在1784年描述过，他在实验中发现空气中可能有一种含量很低的物质，其化学活性比氮气还低。

而瑞利和拉姆塞成功证明了氩的存在，确实证明了有一类含量少且化学活性相当低的元素的存在。拉姆塞受此启发，重复了美国地质学家希尔布兰德之前发表过的一个实验，将钇铀矿在硫酸中加热，分离出了其中包含的氦单质。1902年门捷列夫正式将氦和氩纳入元素周期表中。

这类元素最早被称为稀有气体（Rare Gases），因为其含量的确非常少。但是这个说法并不完全正确，例如Ar在空气中含量其实达到0.9%，甚至高于二氧化碳含量。而He在宇宙中是排名第二丰富的元素，达到了25%。

因此后期改名为惰性气体元素（Noble Gases），因为拉姆齐用分馏空气法陆续发现了Ne、Kr和Xe，常见的5个稀有气体都被发现后，仍然没有能够找到任何可以和他们发生化学反应的物质。氟单质的发现人，法国化学家莫瓦桑用氟单质试图和Ar反应也未能成功，似乎更证明了其惰性的特点。

惰性气体的名字一直用到了1962年，在此之前人类对原子结构的认识，更加让人确证最外层8电子稳定结构的惰性气体是不会发生化学反应的。

尽管量子化学家莱纳斯·鲍林在1933年预测过原子序数较大的稀有气体可以和氟或者氧形成化合物，同时预测了六氟化氪和六氟化氙的存在，但一直就未能发现这2个化合物。

中国大陆地区将此族元素称为稀有气体元素，源于全国自然科学名词审定委员会在1991年公布的《化学名词》中的规定，将这一系列元素称为“稀有气体”。而香港教育局《中学化学科常用英汉辞汇》中将其称为“高贵气体”（实在脑残……），而民间普遍称为“稀有气体”。