在这个时候，晋平公yín无，韩氏、赵氏、魏氏、中行氏、范氏、知氏六家大臣把持国政，不断兵攻打东边的侯国，楚灵王军队大，也时常侵犯中原各国；齐是大国又靠近鲁国。鲁国既小又弱，归附楚国就惹怒晋国；归附晋国就招致楚国来讨伐；对于齐国如果奉事不周到，齐国的军队就侵犯鲁国。

鲁昭公二十年（前522），这时孔大是三十岁了。齐景公带着婴来到鲁国，景公问孔说：“从衣秦公国家小而又于偏僻的地方，他能够称霸，这是什么原因呢？”孔回答说：“秦国虽小，志向却很大；所地方虽然偏僻，但施政却很恰当。秦穆公亲自用五张黑公羊赎来的百里奚，授给他大夫的官爵，把他从拘禁中一解救来，就与他一连谈了三天的话，随后就把执政大权给他了。用这神来治理国家，就是统治整个天下也是可以的，他当个霸主还算是小的呢。”景公听了很兴。

孔三十五岁的时候，季平因为与郈昭伯斗怨的事得罪了鲁昭公，昭公率军队攻打平了，平和孟孙氏、叔孙氏三家联合攻打昭公，昭公的军队吃了败仗，逃奔到齐国，齐国把昭公安置在乾侯这个地方。其后过了不久，鲁国发生了变。孔来到齐国，了昭的家臣，想借昭的关系接近景公。他与齐国的乐官谈论音乐，听到了舜时的《韶》乐，就学习了起来，有三个月的时间竟尝不的味，齐国人都称赞他。

齐景公向孔请教如何为政，孔说：“国君要像国君的样，臣要像臣的样，父亲要像父亲的样，儿要像儿的样。”景公听了后说：“对极了！假如国君不像个国君，臣不像个臣，父亲不像个父亲，儿不像个儿，即使有很多的粮，我怎么能吃得着呢！”改日景公又向孔请教为政的理，孔说：“理国家最重要的是节约开支，杜绝浪费。”景公听了很兴，打算把尼谿的田地封赏给孔。晏婴劝阻说：儒者这人，能说会，是不能用法来约束他们的；他们傲任自以为是，不能任为下臣使用；他们重视丧事，竭尽哀情，为了葬隆重而不惜倾家产，不能让这法形成风气；他们四游说乞求官禄，不能用他们来治理国家。自从那些圣贤相继下世以后，周王室也随之衰微下去，礼崩乐坏已有好化时间了。现在孔讲究仪容服饰，详定繁琐的上朝下朝礼节，刻意于快步行走的规矩，这些繁文缛节，就是几代人也学习不完，毕生也搞不清楚。您如果想用这东西来改变齐国的风俗，恐怕这不是引导老百姓的好办法。”之后，齐景公虽然很有礼貌地接见孔，可不再问起有关礼的问题了。有一天，景公留孔说：“用给季氏那样的待遇给您，我不到。”所以就用上卿季孙氏、下卿孟孙氏之间的待遇给孔。齐国的大夫中有人想害孔，孔听到了这个消息。景公对孔说：“我已年老了，不能作用你了。”孔于是就离开齐国，返回了鲁国。

孔四十二岁那年，鲁昭公死在齐国的乾侯，鲁定公继位。定公继位的第五年夏天，季平死了，季恒继立为上卿。季桓气掘井时掘得一个腹大小的陶，里面有个像羊的东西，告诉孔时却谎称“得到一只狗”孔说：“据我所知，那里面是羊。我听说，山林中的怪是一叫‘夔’的单足兽和会学人声的山‘罔阆’，中的怪是神龙和叫‘罔象’的怪，泥土中的怪是一雌雄未明的‘坟羊’。”

吴国攻打越国，把越国的国都会稽摧毁了，得到一节骨，有一辆车长。吴国派使者来问孔：“什么骨最大？”孔说：“大禹召集群神到会稽山，防风氏迟到，大禹就把他杀死并陈尸示众，他的骨一节就有一车长，这就是最大的骨了。”吴国的使者又问：“那神又是谁呢？”孔说：“山川的神灵能兴云致雨足可造福天下，负责监守山川时祭祀的就是神。守土地和谷的就是公侯，他们都隶属于王者”吴使又问：“防风氏是监守什么的？”孔说：“汪罔氏的君长监守封山和禺山一带的祭祀，是釐姓。在虞、夏、商三叫汪罔，在周叫长翟，现在叫大人。”吴使问：“人的有多少？”孔回答说：“僬侥氏三尺，是最矮的了；的不过三丈，数得上是最的了。”吴国使者听了之后说：“了不起呀圣人！”

季桓有个臣叫仲梁怀，与虎有怨仇。虎想要驱逐仲梁怀，季氏家臣公山不狃阻止了他。这年秋天，仲梁怀更加骄横了，虎把捉了起来。季桓对此很恼怒，虎就把季桓也囚禁了起来，直到季桓认输订立了盟约才把他释放来。虎从此以后更加看不起季氏。季氏办事也竟然凌驾于鲁君之上，鲁国现了大臣专权的局面。因此鲁国自大夫以下都不守礼分，超越职权违背了正。所以孔不愿意再在鲁国官了，退闲在家，专心研究整理《诗》、《书》、《礼》、《乐》这些典籍，学生们越来越多，有的甚至来自远方，无不虚心向孔求教。

鲁定公八年（前502），公山不狃在季桓手下到不如意，就利用虎作，打算废掉季孙氏、孟孙氏、叔孙氏三家的嫡生嗣，另立平日为虎所喜的庶，于是就把季桓抓了起来。桓用计骗他，才得以逃脱来。鲁定公九年（前501），虎作失败，逃奔到了齐国。这时，孔五十岁。

公山不狃凭借费城反叛季氏，他派人来召请孔去帮忙。孔探索所依循的治国之已经很久了，但抑郁不得志，无可以施展，没有人能任用自己，就说：“当初周文王、周武王兴起于丰、镐而建立了王业，现在费城虽然小，该也差不多吧！”想要应召前去，路不兴，阻止孔。孔说：“他们请我去，难会让我白白跑一趟吗？如果重用了我，我将在东方建立一个像周那样的王朝！”然而最终也没能成行。