Tersánszky Jakab és Fox Etelka első gyermekeként született Nagybányán, 1888. szeptember 12-éről 13-ára virradó éjszakán Tersánszky Józsi Jenő, kiegyensúlyozott életet élő, egzisztenciájában időnként mégis meg-megingó polgári családban.
Kamaszkorától kacérkodott a bohém élettel. A helybeli művésztelep hatására eredetileg festőnek készült, de apja nyomására jegyzőgyakornok lett Szapáryfalván. 1907-ben egy évig joggal foglalkozott Nagybányán, majd beiratkozott az eperjesi jogakadémiára. Tervei szerint a budapesti egyetem jogi karán készült folytatni tanulmányait, de a tandíjra összespórolt összeget végül elmulatta és kénytelen volt segédmunkásnak állni. Első novelláját, a Csöndes embereket is pénzgondjai enyhítésére írta. Osvát Ernő figyelt fel tehetségére, így jelenhetett meg első írása 1910 februárjában a Nyugatban. Alig egy évvel később, 1911-ben novelláskötetét kiadta a Nyugat Könyvtár.
Az I. világháborúban mint önkéntes vett részt, 1918-ban olasz fogságba esett és csak 1919 augusztusának elején érkezett vissza Budapestre. A háborús élményeit Viszontlátásra, drága című regényében örökítette meg. A regény a magyar háborúellenes irodalom egyik kiemelkedő alkotása, amelyet Ady a Nyugat 1916. december 1-ei számában „az első igazi háborús regény”-ként méltatott. Tersánszky első igazi nagy írói sikere is ehhez fűződik.
1918-ban már válogatott elbeszélései is megjelentek. A Magyarországi Tanácsköztársaság ideje alatt szimpatizált a forradalommal, amelynek bukása után a kommunizmus iránti nem titkolt rokonszenve miatt a Horthy-korszakban rengeteg támadás érte. A húszas évek elejére nélkülözései különös mód megviselték. 1921. június 16-án még öngyilkosságot is megkísérelt, az Erzsébet hídról a Dunába vetette magát. Szerencsés megmenekülése hírét olvasta az újságban az irodalom iránt érdeklődő Molnár Sári (1896-1960, Kornhauser Henrik és Roth Ernesztina lánya), aki levelezni kezdett az íróval, s végül 1921. szeptember 8-án Budapesten, a Józsefvárosban házasságot kötöttek.
Gyors egymásutánban születtek művei, köztük a Kakuk Marci ifjúsága, ami 1921-ben jelent meg, és amely fő művének, a ciklikus szerkezetű Kakuk Marci regénynek az első darabja. A Nyugat folytatásokban közölte Rossz szomszédok című regényét, majd 1922 júliusában a lap főmunkatársai közé került. Érdeklődése ezzel egy időben a színház felé fordult, 1923-ban a Magyar Színház tűzte műsorára Szidike című darabját, amelyet később átdolgozott. Ettől kezdve sorra mutatták be darabjait a magyar színházak.
1927-ben a három évvel korábban megírt A céda és a szűz című kisregényét „szeméremsértőnek” találták, emiatt két havi börtönbüntetést kapott, melynek egy részét letöltötte. 1932-ben sajátos színházat is szervezett, a Képeskönyv Kabarét, ahol kis regős együttesével maga is fellépett. Anyagi nehézségeinek enyhítésére számos detektívtörténetet és krimit is írt, miközben folyamatosan írta az egyre gyarapodó Kakuk Marci-történeteket is.
1940-től mint újságíró riporter dolgozott a Híd című lapnak, két évvel később itt jelent meg Félbolond című regénye is. 1944-ben hamis igazolványokat szerzett a menekülő zsidóknak, a háború után pedig zenehumoristaként szórakozóhelyeken, bárokban lépett fel, miközben dolgozott a Magyar Rádió Gyermekújság rovatának is. 1948-tól állami évjáradékban részesítették, Párizsban is megfordult. 1950-től kezdve a dogmatikus irodalompolitika következtében nem tudott publikálni. 1952-ben felkérték, hogy a magyar írók által Rákosi Mátyás 60. születésnapjára összeállított köszöntő kötetbe írjon. Tersánszky A nadrágtartógyáros címmel írt egy művet. Az alacsony Rákosiról köztudott volt, hogy nadrágtartót hordott. A hatalom ezt Rákosi kigúnyolásának vette. Az írás természetesen nem került be az ünnepi kötetbe.
Egyéni, kópés, szabados témakezelése és hangvétele, számos legendaszerű történetben is megörökített örökfiatal, szoknyabolond, a kocsmai és piaci társaságot kedvelő egyénisége 1950-től esztendőkig kiszorította az irodalmi életből. Munkakedvét ezek után se vesztette el. Mint sokan mások, ekkoriban ő is meséket, bábjeleneteket írt, valamint maradandó értékekkel gyarapította a magyar ifjúsági irodalmat. 1955-ben válogatott novelláskötetének kiadásával tért vissza az irodalmi életbe; 1957-ben pedig világot látott elbeszéléseinek kétkötetes gyűjteménye is, A tiroli kocsmáros címmel.
1960-ban hunyt el felesége, akit példás odaadással ápolt élete végéig. 1965 nyarán másodszor is megnősült, Szántó Margitot vette feleségül.
Utolsó jelentős műve, a Nagy árnyakról bizalmasan című emlékezésgyűjtemény 1962-ben jelent meg, ebben neves irodalmi kortársainak portréját rajzolta meg némi iróniával. Halála előtt még megérhette néhány színházi bemutatóját. A János kórházban hunyta le szemét örökre, 1969. június 12-én. Munkásságát többször is Baumgarten-díjjal jutalmazták (1929, 1930, 1931, 1934) 1949-ben pedig Kossuth-díjat kapott.
Három évtizedig élt Budán az Avar utcában Kakuk Marci „atyja”, a „virgonc szavak virgonc királya”. A Németvölgy és Krisztinaváros jellegzetes alakja volt. Naponta találkozhattak vele a környék lakói, nemegyszer – utcai – tilinkójátékával is elbűvölte az éppen arra járókat.
Mindennapos vendége volt a környék szép számú borozójának, kocsmájának. Asztalánál a művésztársak mellett helyet foglalhatott bárki, a „TF”-es hallgatótól a Déli pályaudvar „Tüzép” telepének szenes emberéig.
„Vegyes a vérségem, mint a koldustarisznya, vagy mint ahogy ez a régi Osztrák-Magyar Monarchia igazi fiához illik” – írta önéletírásában. Írói csoportokhoz soha nem tartozott, filozófiájának lényege a letörhetetlen életakarat, az élet derűje, mely a tragikumokat is humorral oldja meg. A legendásan bohém életművész, a női nem és a jófajta csemői bor nagy barátja feltalálta a kétágú avar furulyát és tökéletesítette a bicikliféket, maga faragta csónakjával még idősen is a Dunát járta. Emlékművét 2009-ben avatták fel Budapest XII. kerületében, nevét utca is viseli a fővárosban.
