In discursul din 19 august 1939, Stalin si-a pregatit tovarasii pentru marea cotitura din politica sovietica, Pactul Molotov-Ribbentrop cu Germania Nazista, care a impartit Europa Centrala in doua sfere de influenta, care, mai tarziu, vor genera impartirea fizica, politica si ideologica a Europei in doua parti, Europa de Vest si Europa de Est, printr-o cortina de fier. Motivele exacte ale acestui pact sunt inca disputate, dar se pare ca nici o parte nu parea sa creada ca va rezista foarte mult timp.
La 1 septembrie 1939, invazia Germana a Poloniei a declansat Al Doilea Razboi Mondial. Conform pactului Molotov-Ribbentrop, Polonia de rasarit urma sa ramana in sfera de influenta sovietica. Dat fiind acest fapt, Stalin a decis sa intervina si, la 17 septembrie, Armata Rosie a invadat Polonia. Germania si Uniunea Sovietica au cazut de acord sa modifice putin sferele de influenta si Polonia a fost impartita intre aceste doua state.
In 1941, Hitler a incalcat tratatul si a invadat Uniunea Sovietica, in cadrul Operatiunii Barbarossa. Stalin nu s-a asteptat la asa ceva, sau cel putin nu s-a asteptat sa se produca o invazie atat de curand. Uniunea Sovietica nu era pregatita pentru a face fata agresiunii. Pana in ultima clipa, Stalin a cautat sa evite orice pregatire evidenta de aparare care ar fi provocat atacul german, sperand sa castige timp pentru modernizarea si intarirea fortelor armate. Chiar si dupa ce atacul a inceput, Stalin nu parea capabil sa accepte realitatea si, dupa cum spun unii istorici, a fost prea uimit ca sa reactioneze, corespunzator, mai multe zile. O teorie controversata enuntata de Viktor Suvorov sustine ca Stalin pregatea o invazie a Germaniei, neglijand, in acelasi timp, pregatirile pentru razboiul de aparare care au lasat fortele sovietice vulnerabile in ciuda marii concentrari de oameni si echipament din preajma granitelor. Asemenea speculatii sunt greu de sustinut, atata vreme cat informatiile despre armata sovietica pentru perioada 1939-1941 raman clasificate, dar se stie ca sovieticii aveau avertizari detaliate facute din timp de reteaua intinsa de spioni externi (precum ce a lui Richard Sorge), in legatura cu intentiile germane.
Initial, nazistii au avansat extrem de mult, ucigand si luand prizonieri milioane de soldati sovietici. Executarea in perioada 1937-1938 a numerosi generali experimentati ai Armatei Rosii a avut un efect devastator asupra capacitatii URSS-ului de a-si organiza apararea. Expertii lui Hitler se asteptau la cel mult opt saptamani de razboi.
Churchill, Roosevelt si Stalin la Conferinta de la Ialta
Ca raspuns, la 6 noiembrie 1941, Stalin s-a adresat populatiei sovietice pentru a doua oara pe durata celor 30 de ani de guvernare (prima data a fost mai devreme, in acelasi an, la 2 iulie). El a pretins ca desi 350.000 de militari rusi fusesera ucisi in timpul atacului german, agresorul ar fi pierdut 4,5 milioane de soldati (o cifra exagerata) iar victoria sovietica ar fi aproape. Armata Rosie a opus o rezistenta inversunata, dar, in primele faze ale razboiului era ineficienta pe scara larga in fata fortelor germane mai bine pregatite si echipate. Pana in cele din urma, invadatorii au fost opriti si mai apoi respinsi din fata Moscovei, in decembrie 1941. Stalin a colaborat, mai apoi, cu inteligentul maresal sovietic Gheorghii Konstantinovici Jukov pentru victoria decisiva asupra germanilor in lupta pentru apararea Stalingradului.
Nepriceperea lui Stalin in problemele de strategie este deseori amintita in legatura cu pierderile masive sovietice si infrangerile de la inceputul razboiului. (In autobiografia sa, Hrusciov pretindea ca Stalin incerca sa ia decizii tactice folosind un glob terestru.) Trebuie spus insa ca Stalin a ordonat mutarea rapida a fabricilor la est de raul Volga, in afara razei de actiune a aviatiei germane, Luftwaffe. De aici, industria sovietica a sustinut Armata Rosie cu o eficienta remarcabila. In plus, Stalin si-a dat seama ca celelalte armate europene au fost complet dezintegrate cand au trebuit sa faca fata nazistilor foarte eficienti din punct de vedere militar si de aceea si-a supus armata atat tirului propagandistic si patriotic-revolutionar, cat si unei terori coplesitoare.
Ordinul nr. 227 al lui Stalin din 27 iulie 1942 ilustreaza lipsa de scrupule cu care el incerca sa creasca hotararea in lupta a militarilor: toti cei care se retrageau sau isi paraseau pozitiile fara ordin erau impuscati pe loc. Alte ordine priveau familiile celor care se predau, familii care deveneau tinte ale terorii NKVD-ului. Bariere ale fortelor SMERS au fost in scurta vreme puse in spatele liniilor intai pentru a mitralia pe oricine incerca sa se retraga. Militarii sovietici care s-au predat au fost aruncati in Gulag dupa ce au fost eliberati din lagarele de prizonieri.
In primele faze ale razboiului, Armata Rosie in retragere a cautat sa interzica inamicilor accesul la orice fel de resurse mai inainte ca germanii sa le poata lua in stapanire, aplicand tactica pamantului parjolit si a distrugerii infrastructurii. Din nefericire, aceste masuri impreuna cu abuzurile armatei germane au cauzat suferinte si o foamete de neinchipuit populatiei civile ramase in spatele frontului.
Uniunea Sovietica a suportat greul luptelor si a avut cele mai mari pierderi de militari si de civili din Al Doilea Razboi Mondial. Aproximativ 7 milioane de soldati ai Armatei Rosii si aproape 20 de milioane de civili au murit. Nazistii ii socoteau pe slavi "suboameni" si de aceea acestia din urma au devenit o tinta a genocidului etnic. Acest concept al inferioritatii slave a fost, de asemenea, motivul care a facut ca Hitler sa nu accepte in armata germana pana in 1944 (cand razboiul era practic pierdut de Germania), multi rusi care doreau sa lupte impotriva regimului stalinist.
In Uniunea Sovietica, Al Doilea Razboi Mondial a lasat un urias deficit de barbati din generatia celor care au luptat in conflict. Pana in zilele noastre, Al Doilea Razboi Mondial,Marele Razboi pentru Apararea Patriei, este viu in amintirile cetatenilor din Rusia, Belarus si din alte republici ale fostei URSS, iar ziua de 9 mai, Ziua Victoriei, este cea mai mare sarbatoare nationala in Rusia.