在语言产生以后、文字出现之前，人们曾采用在绳子上打结的方式来记录事情，这就是人们所说的“结绳记事”。在伏羲女娲图中，大多是女娲持规，伏羲持矩。“规”指圆规，用来画圆；“矩”指直角尺，用来画方。“规”和“矩”都是与计量相关的器具。
史记记载，黄帝设立度、量、衡、里、数等五个量。大禹治水以“声为律、身为度、称以出、左准绳、右规矩”，其治水过程中都充分利用了“规、矩、准、绳”这些与测量相关的计量器具。
据史书记载，大约在4000年前的夏朝初期，我国已建立相对统一的测量时间、长度、容量和重量的器具和制度了。
随着商品经济发展，度量衡成了交易的重要手段。但各国间度量衡不统一，制度混乱。秦孝公重用商鞅开始变法图强，统一度量衡。
公元前221年，秦始皇统一六国后，颁布了40字的统一度量衡诏书，制作了大量的度量衡器具，分发到全国作为计量标准使用。
两汉时期的度量衡制度沿袭秦制，但也有很大的发展。无论在标准的建立、单位制的确定，还是在器具的制造等方面都取得了很高的成就。
此阶段的度量衡仍为汉制，但也有一些重要人物对度量衡发展做出了积极的贡献。如刘徽的《九章算术》。
东晋之后，以长江为界，分为南朝、北朝。南朝律历度量衡沿袭汉制。
隋文帝两次下令统一全国度量衡，但由于北朝的度量衡增加太大，最终确定：使用南朝的小尺用于测日影等天文研究，用北朝的大尺作为官民日常用尺，形成大、小两制现象。
在中国度量衡发展史上，除了在严格的管理制度、单位制改革上占有重要地位外，对东方各国的影响也十分深远。
这一时期度量衡有所发展，但在一定程度上由于管理不力而相对混乱。刘承珪创制了戥子秤，大大提高了测量精度。
元朝度量衡基本沿用了宋代制度。
明时期受资本主义思想影响，秤中开始有西方思想。清代，康熙亲自累黍校尺，清政府还向国际计量局定制了铂铱合金营造尺和库平砝码原器。二十世纪一十年代，《权度法》颁布后，吴承洛等人提出采用米制，并确定了与市制的换算关系。
1949年，中华人民共和国成立后，加快计量相关法律法规建设。1959年国务院发布统一计量制度的命令，1978年颁布《计量法》。建立了计量科研机构和全国量传体系；成立了计量行政主管部门，保证了全国计量单位制的统一和量值的准确可靠。
随着社会的发展，特别是现代科技的进步，计量已从原来的度量衡和时间计量发展到现代的十大计量，长度、热工、力学、电磁、无线电、时间频率、声学、光学化学和电离辐射等，并也将随着社会的发展而不断进步。
