1932年，王义遒出生在浙江省慈溪县黄山村。早在中学时，王义遒就接受了红色启蒙教育，逐渐确立革命人生道路。1951年，王义遒高中毕业考取清华大学物理系。1952年6月25日，入校刚刚一年，他就光荣地加入中国共产党，怀着“国之所需，我之所愿”的信念为党和人民事业无私奉献。

1952年，院系调整后，清华物理系并入北京大学，王义遒也随之来到北大物理系，开始了他与燕园的缘分，毕业后，他留校工作从事教学研究工作。

在专心科研的同时，王义遒还先后讲授“核磁共振”“光的受激发射”“量子电子学基础”“波谱学基础”等课程。为了更好地开展教育教学工作，王义遒编著了《量子频标原理》。退休后，又编写了《原子的激光冷却与陷俘》等教材，并翻译《原子与辐射的电磁相互作用》等国外优秀教材。

1985年2月，王义遒担任北大自然科学处处长。1986年1月，王义遒又担任北大教务长，走上了高校管理岗位，此后又历任北大副校长、常务副校长。王义遒一直认为，高校管理也有其独特的规律，需要钻研。在教务长任期内，为了推动教育管理研究的发展，他和高教所所长汪永铨创办了内部刊物《高等教育论坛》，就是现在的核心期刊《北大教育评论》的前身。他还积极鼓励北京大学各职能部门的同志也做一些相关研究，提升服务水平。“既然要你出来做教育管理工作了，你就要把它作为专业，钻进去做些研究，这样事情才能办得好。”

在从事行政管理工作期间，王义遒为北京大学的发展殚精竭虑。在科研方面，他认为，科研要“顶天立地”，做学问，哪怕是做基础研究，既要瞄准学科前沿，也得瞄准国家需求。他提出，自然科学处的主要任务除了“继续重视基础科学”，还要和现实能够紧密结合，要“大力加强应用科学和新兴科学，注意发展边缘科学”。任期里，他规划并推动大力发展交叉学科中心，北大从无到有，建立了15个国家级的重点或专业实验室和2个工程研究中心，对此后北大学科和科研格局的形成奠定重要基础。

在教学上，1988年，他主张加强基础通识教育。80年代中期，他针对北大毕业生发展开启深入的调研，这些调研使他感觉到，基础学科人才基础打得宽厚扎实是最重要的。科学技术虽然不断发展，新技术、新工艺层出不穷，但是它们都是在原有基础上衍生出来的。有了牢固的基础，就能在百般变化中应付自如。这里最重要的基础是自主学习、独立获取知识的态度和能力，以及在此基础上的提出问题、分析问题和解决问题的能力。为此，他提出了北大本科教育改革十六字方针——“加强基础、淡化专业、因材施教、分流培养”。这一方针长期成为北京大学本科教育教学改革的指导思想。在学生管理上，王义遒一直注重优良的学风的培育。他与同事研究提出“勤奋，严谨，求实，创新”的北大学风，希望北大人保持这种不求名、不求利的纯真、求真风气。

2000年，王义遒卸任行政管理岗位， 20多年来他始终退而不休，带着老骥伏枥的情怀和精神，继续发挥作用，贡献力量。

作为一名教育工作者，王义遒一直在钻研教育管理。他经常思索，先后发表了《关于高等理科教育改革的几点意见》《21世纪的中国高等教育追求什么样的教育质量》《在专业课程教学中渗透人文精神》等文章，在全国高教界引起了较大反响，集腋成裘，就有了《谈学论教集》及《文化素养与科学精神：谈学论教续集》二集和《文理基础学科的人才培养》《大学科学教育 改革与发展》等著作。此外，他始终没有离开讲台，尤其关注文化素质教育、大学文化精神研究，致力于讲述北大校史和光荣传统，教育青年学子，直到2021年他89岁高龄，还走上讲堂为北大学生主讲《北大首任校长的训词》。王义遒认为，北京大学这样的高水平研究型大学，应该发展科技第一生产力，培养人才第一资源，增强创新第一动力，要成为基础研究的主力军和科技重大突破的生力军。

从1952年来到北大，王义遒在未名湖畔已度过近七十载时光。年少之时，他接受红色启蒙，树立了为党和人民、为新中国建设奉献一生的信仰；科研探索中，他为国家的需要转换研究方向；在管理岗位上，他用科研的精神钻研高校管理，成为知名高等教育管理专家、教育家；退休之后，他孜孜不倦，谱写出老有所为的万丈霞光。贯彻其中的，是一名老教师“国之所需，我之所愿”的爱国奋斗情怀，王义遒始终坚信：只有把自己的小我融入到祖国的大我、人民的大我之中，与时代同步伐，与人民共命运，才能更好的实现人生价值，升华人生境界。