余文樂的自營YouTube節目《Inside Out》首季最後1集，工作人員偷偷去訪問他首任經理人鄒世龍，及他入行20多年合作過的劉偉強、鄭保瑞及郭子健3位導演。鄭保瑞後段提點他：「40歲長大了，脾氣要改一點，但我覺得已經收了很多。」余文樂事後坦言以前常在片場跟鄭保瑞對罵；劉偉強導演的《無間道》是讓他被注目的成名作，劉偉強笑稱他其實是個蠻「衰仔」的。
鄒世龍是發掘余文樂的首任經理人，他回想：「當年有雜誌舉行比賽，余文樂是其中參賽者，但當時沒有取得名銜；但我們有位同事很喜歡他，便主動找他簽約，當時他很年輕、帥哥。」
2002年劉偉強選擇余文樂飾演《無間道》的梁朝偉「年輕版陳永仁」角色，劉偉強笑說：「當時不知道余文樂是誰，有天看電視節目《Y2K》，他在香港太子台，從很寬的樓梯走下來，印象深刻。」特別演出《無間道》1、2集後，又再參演了劉偉強2005年的《頭文字D》，余文樂事後坦言，沒有鄒世龍，他就沒有演藝事業的開始；有了劉偉強的電影，才有人開始認識他。
2008年鄭保瑞拍攝《軍雞》，邀余文樂擔綱主角，鄭保瑞說：「他給我的感覺是比較接近觀眾，他是少有可以從小就看到那種硬朗的男人，其實就是硬頸。」其後是郭子健執導的《青苔》、《救火英雄》、《悟空傳》，也都找余文樂主演，郭子健說：「他是很大鬥心的人，不論環境有幾惡劣，不理工作有多忙，身形練得不好都要繼續操，我見到他練習也覺得辛苦。」
多年合作，導演們被問到如何看待余文樂私下這個人？劉偉強說：「他其實是一個蠻衰仔的，衰仔的意思不一定是壞人，最基本是孝順父母，會尊重前輩，這些他做得很好的，值得欣賞的人。」衰仔在廣東話可以是開玩笑罵自家小孩「兔崽子」，也可以是很重地大罵「敗家子」。
郭子健說：「余文樂的外表與內在是很大差別的人，這樣高大帥哥，一定是很囂張的，我總覺得帥哥都沒有好人；但我認識他以後，他完全不是那樣的人，有時我怕會否教壞了他，他其實外表帥哥，內在是很忠誠正直的，我說出來也怕人別不相信。」
余文樂今年11月跨進不惑之年，鄭保瑞說：「40歲長大了﹗脾氣要改一點，但我覺得他已經收了很多。性格就是沒得改，看時間吧。」鄒世龍說：「希望他不要像以前衝動，收斂一點，俗語bad boy一定顧家，我自己都是一個bad boy，特別緊張家人及小朋友成長，我相信他很努力做這事情，因為我有follow他的IG，看得出他是很緊張家庭。」
看完眾人憶及他的過往及個性，余文樂說見到自己很尊重、許久沒見的人，很開心，講他好或不好沒差，他自知有缺點。
他坦承：「我最壞脾氣的時候就是拍他們的戲，是我最臭屁的時候，脾氣容易暴躁的時候，鄭保瑞就很清楚啊，我們在現場都是互罵的，他罵我，我又罵回去，我受不了，覺得很委屈，我們是這樣在片場長大的。」但余文樂說自己現在比以往好很多倍，甚至不好意思回頭看：「怎麼這麼糟糕。」（張哲鳴／台北報導）
