Det var under hans säsong som huvudtränare det började.
– Det var en del skriverier redan under min tid som assisterande tränare. När jag sedan fick ta över som huvudtränare var det många hårda ord. Fast det jag tycker var tråkigast var att mycket av den kritik som riktades mot mig grundade sig i direkta osanningar. Men att jag slutade som tränare hade inget att göra med det som skrevs om mig, utan jag valde att valde att göra det för lagets skull, säger Stefan Nilsson.
Som värst var det när han några månader efter sitt avhopp utsågs till sportchef.
– Det var många som inte kunde förstå hur jag som hade misslyckats som tränare kunde bli sportchef. Att de tyckte någon annan borde ha fått jobbet har jag full respekt för. Jag har inga som helst problem med att folk tycker annorlunda. Men det kändes inte rättvist då mycket av det som skrevs om mig inte var sant, säger han.
Det gick så långt att han slutade använda sociala medier.
– Andra har berättat om en del av allt det som skrivits om mig i efterhand. Men jag kände att jag påverkades för mycket av det, och för att kunna fokusera på mitt jobb bestämde jag mig för att hålla mig därifrån. Det var mitt sätt att hantera det på. Det är förstås inte bra att osanningar fick stå oemotsagda. Men jag tror bara det hade blivit värre om jag bemött det. Och jag håller mig fortfarande därifrån för att inte trigga i gång något, säger Stefan Nilsson.
Hur påverkades du av allt det som skrevs om dig?
– Många av de som jobbar med det här har en ganska hård fasad, och säger att de inte påverkas av det. Eller att de inte bryr sig. Men jag har svårt att se det.
– Jag har aldrig hållit mig undan. Utan jag gick på stan med högt huvud även när det gick som tyngst för oss. Men inte var det särskilt kul att kliva upp på morgnarna när man gång på gång fick höra hur kass man var.
– Det kanske är jag som är känslig. Eller så är det för att jag är uppvuxen här och klubben är en så stor del av mitt liv. Det hade kanske varit lättare att ta allt det där om jag inte kom härifrån, och visste vilka många av de som skrev saker om mig är.
De som tog det hela hårdast var hans döttrar.
– Jag är van vid att hela tiden bli bedömd och att folk har åsikter om mig. Det är en del av jobbet. Jag har inte heller några problem med det. Så länge det hålls på en bra nivå. Men mina barn kunde inte låta bli att läsa det som skrevs om mig, de fick också höra mycket på annat håll. Och att se hur dåligt de mådde på grund av det var det som påverkade mig mest, säger Stefan Nilsson.
Han har däremot aldrig tagit emot något hot.
– Men en gång efter en bortamatch var det en som ringde mig och sa att han och några andra ville träffa mig i hotellets lobby. Det var kanske inte menat på det sättet. Men jag tyckte det kändes olustigt och gick inte dit. Vi hade ju precis förlorat ännu en match och det var knappast för att ge mig beröm som de ville träffas, säger han.
Han upplever att det hela lugnade ned sig efter hans första säsong som sportchef.
– Det är många som har åsikter om det vi gör. Men det är inte på samma sätt längre. Vilket förmodligen hänger ihop med att det har gått bättre för oss sportsligt det senaste året. Jag är ganska stark i mig själv. Men visst känns det skönt, framför allt för barnens skull, säger Stefan Nilsson.