Jimmy Raney empezó a estudiar guitarra con su madre, comenzando por la guitarra clásica en los primeros años escolares. Su paso a la guitarra de jazz se produjo a los trece años cuando un amigo músico le hizo conocer la música de Charlie Christian. En 1944 entró a formar parte de la orquesta de Jerry Wald en New York. Durante los tres meses que estuvo en esa orquesta pudo oír a los creadores del bebop desarrollar su estilo y ése nuevo sonido, fue decisivo para el impulso de su carrera.

Se trasladó a finales de 1944 a Chicago trabajando entre otros grupos con Max Miller y Lou Levy. En 1948, recomendado por Tiny Khan, entró a formar parte de la orquesta de Woody Herman donde permaneció hasta el año siguiente y dejando detrás una gran amistad con otros miembros de la banda, como Stan Getz y Serge Chaloff. En la Costa Oeste compartía casa con el también guitarrista, Tal Farlow y Teddy Charles y sus colaboraciones con el trío del pianista, Al Haig, o con el sexteto...