Jaroslav Šíma se narodil v Pelhřimově 22. ledna 1944, ale hokejově vyrůstal v Karlových Varech. V mužstvu dospělých karlovarského Dynama se poprvé objevil v sezoně 1960-61 a do nástupu povinné vojenské služby odehrál za celek z lázeňského města ve druhé nejvyšší soutěži tři sezony. V roce 1963 nastoupil vojenskou základní službu v Dukle Jihlava. Ovšem v tamním týmu neuspěl a vojnu poté absolvoval ve VTJ Litoměřice a VTJ Hodonín. Podobně jako před ním Jan Klapáč se Jaroslav Šíma do svého mateřského klubu už nevrátil a využil nabídky z nejvyšší soutěže, když po splnění služby v armádě zamířil do tehdejšího Gottwaldova (dnes Zlína), kde ho internacionál Vladimír Kobranov přeškolil na obránce.

V roce 1970 přešel do Sparty Praha. V klubu s velkým S na dresu prožil nejlepší hokejové roky. V roce 1974 pomohl Pražanům ke druhému místu ve federální lize, během let 1977 a 1978 slavil se Spartou bronzové medaile. Po osmi sezonách se pak z hlavního města znovu přesunul do Gottwaldova, kde strávil ještě ročník 1978-79, v další sezoně končil kariéru coby hráč Spolany Neratovice. Jaroslav Šíma proslul nekompromisní hrou a v osobních soubojích předběhl dobu. Kvůli němu se chodilo na Spartu, kdy byl zosobněním její pravé podstaty nesmlouvavých bojovníků. Sportovní hala v sedmdesátých letech mnohokrát skandovala pokřik „Šíma není člověk, Šíma je bůh!“ Později byl uveden do Klubu legend pražského klubu.

V nejvyšší soutěži absolvoval Šíma celkem 412 utkání a vstřelil 73 branek. V ohromné konkurenci tehdejších skvělých beků měl smůlu směrem k reprezentaci, nezúčastnil se žádného velkého turnaje, za Československo stihl sedmnáct mezistátních startů.