王安石在与神宗讨论“三不足”的流言时曾谓：
陛下询纳人言，无小大，唯言之从，岂是不恤人言？然人言固有不足恤者，苟当于义理，则人言何足恤？故《传》称‘礼义不愆，何恤于人言！’郑庄公以‘人之多言，亦足畏矣’，故小不忍致大乱，乃诗人所刺；则以人言不足恤，未过也。引自邓广铭《北宋政治改革家王安石》91页，人民出版社1997年版。
王安石一方面肯定神宗是善纳人言的，并无不恤人言之事，这是顺着皇帝的意思说话，因为神宗并不主张不恤人言。然而，王安石要说的是人言固有不足恤者，关键是要看是否当于义理，而不是人言本身。王安石主张以义理为标准，认为不合义理的人言没有必要理睬，凡事皆听乎流俗之言，则无事可为，非但无益，反而会害事。如郑庄公畏人之多言，不敢依义理行事，不能忍受他人的讥议，结果导致国家大乱。因此人言不足恤，此说并不为过。
王安石认为，义理是最为重要的，只要合乎义理，则一切皆不足畏。他多次强调这一思想，并以汤、武革命为例加以阐述。汤、武革命虽说是应天顺人，但也不是人人赞同，比如汤的部下就都不愿出兵，而汤不顾众人的反对，坚决命令出战，甚至以刑戮相威胁，结果取得了胜利，挽救了天下人。假如商汤畏人言，附和众议，则根本不能成功。因此只要当于义理，没有必要要求人人情愿，凡事必待人人情愿而后行，则永远没有成功之日。
王安石认为真理总是掌握在少数人手里，因而他多次鼓动神宗不要过于听信人言，要“以道揆事”，如若不然，“但问人言”，则“浅近之人何足以知天下大计，其言适足沮乱人意而已”。一般庸人的见解不值得重视，因为他们的话不合义理，非但无助于襄赞天下大计，反而会起到扰乱人心的反面作用。
王安石甚至认为，人心也必须合乎义理，合乎义理才称得上得人心，而不能看一时人数的多寡。据《长编拾补》记载：
上因论及台谏官言不可失人心，安石曰：“所谓得人心者以为理义。理义者，乃人心之所悦，非独人心，至于天地鬼神亦然。先王能使天地鬼神亦莫不宁者，以行事有理义故也。苟有理义，即周公致四国皆叛不为失人心；苟无理义，即王莽有数十万人诣阙颂功德不为得人心也。”
神宗善于听纳人言，故亦每为流俗所动，他告诫王安石要听取台谏官的意见，免得丧失人心。王安石对此针锋相对，提出得理义者才能得人心，理义不仅是人心之所悦，还可施之于天地鬼神。假如理义在手，即使是举国反对也不可怕，不能说失人心；如果无理义，即使全国百姓高呼万岁也不可喜，不能说得人心。
这种但以理义之是非为是非的思想是值得肯定的，然而这也容易导致一种盲目独断，因为如何才算是理义，各家各派的标准不一，谁是谁非无法轻易下结论。如果真是合乎理义，坚决奉行自然是正确的；假如以非理义为理义，盲目坚持错误而不动摇，就会在错误的道路上越走越远。即使手中掌握着真理，在绝大多数人不能理解和接受的情况下，一味靠强权来推行，效果也未必好。
按照理义的标准，王安石得出人言不足恤的结论就不奇怪了。据《长编》卷二二三记载，王安石一次对神宗说道：
流俗之人，罕能学问，故多不识利害之情，而于君子立法之意有所不思，而好为异论。若人主无道以揆之，则必为异论众多所夺，虽有善法，何由可立哉？ |
