Leonid Kogan, een van de grootste violisten van de twintigste eeuw, ontwikkelde een fascinatie voor de viool op de leeftijd van drie. Drie jaar later begon hij lessen te volgen bij Philip Yampolsky, een leerling van Leopold Auer. Toen zijn familie verhuisde naar Moskou wanneer hij tien was, begon hij te studeren bij Abram Yampolsky. Hij trok vervolgens naar de Central School of Music en dan het Conservatorium van Moskou, waar hij werd opgeleid van 1943 tot 1948. Hij vervolmaakte er zich van 1948 tot 1951.

Op de leeftijd van twaalf werd Leonid Kogan aan het werk gehoord door violist Jacques Thibaud, die hem een grote carrière voorspelde. Hoewel zijn ouders hun zoon niet als een wonderkind wilden uitbuiten, maakte hij zijn debuut op zijn zeventiende en gaf hij veel optredens doorheen de Sovjet-Unie toen hij nog studeerde. Zijn naam werd bekender toen hij de gedeelde eerste prijs won op het Praag Wereld Jongerenfestival in 1947. In 1951 won hij de eerste prijs van de Koningin Elisabethwedstrijd. Jurylid David Oistrakh beschouwde Kogan nadien als een collega, terwijl die laatste Oistrakh uitgebreid observeerde tijdens zijn avondklassen aan andere studenten.

Na les gegeven te hebben aan het Conservatorium van Moskou en het spelen van een drukke concertagenda in de Sovjet-Unie, deed Leonid Kogan in 1955 zijn eerste optredens in Parijs en Londen, in 1956 een tournee door Zuid-Amerika en in 1957 door de Verenigde Staten. Na zijn benoeming tot People's Artist in 1964, ontving hij de Lenin Prijs in 1965.