Met de Elfstedentocht van 1954 had Jan Charisius geschiedenis kunnen schrijven, want tot op het laatst zat hij in de kopgroep. Vanwege zijn sprintkwaliteiten maakte hij de grootste kans om winnaar te worden. Nog geen kilometer voor de finish was het echter onduidelijk of de schaatsers onder een brug door moesten of er juist overheen. Dat laatste bleek het geval te zijn, wat Jeen van den Berg als eerste doorhad. Hij glipte op de smalle en steile trap en leek los.

Toch was hij nog niet van zijn tegenstanders af, onder wie Charisius, totdat het volgende misverstand ontstond. Na een paar honderd meter stond er opeens een bord met daarop heel groot de tekst ´Eindstreep´. Daaronder stond behoorlijk onleesbaar ´over 500 meter´ - een enorme bron voor misverstanden.

Van den Berg dacht daarom al winnaar te zijn, maar had als eerste door dat hij nog een halve kilometer moest. Vlak voor de échte finish stapte Charisius op een strootje en eindigde uiteindelijk als derde. Tussen Levende Legende en de nummer drie zit soms maar één misslag.

Ook in de tocht van 1947 had hij pech, schreef de Leeuwarder Courant: ‘Charisius heeft opgegeven. Zooals we schreven heeft hij op zijn eentje uit Staveren de achtervolging ingezet doch zonder resultaat evenwel. Want een eind buiten Staveren heeft een volgende rijder hem bewusteloos op het ijs gevonden.’

Na zijn sportieve loopbaan was hij vele decennia werkzaam voor de Internationale Schaatsunie ISU. In 1998 nam hij hiervan afscheid als voorzitter van de Technische Commissie. Ook was hij dertig jaar lang bekend als internationaal scheidsrechter en starter.

Hij was erelid van de KNSB en ISU. In 1999 werd hij koninklijk onderscheiden.