Anker Jørgensen blev født den 13. juli 1922 i et lille kolonihavehus i en haveforening, der lå på Irlandsvej på Amager som søn af kusk Johannes Albert Jørgensen og hustruen, rengøringskone Karen Marie Jørgensen. I sine erindringer "Fra Christianshavn til Christiansborg" fortæller Anker Jørgensen, at begge forældre døde, da han var 4-5 år gammel, ligesom en lillebror døde som ganske lille. 

En tante, tobaksarbejderske Karla Jacobsen, spurgte Ankers morfar, en landmand fra Roskilde-egnen, hvad der så skulle ske med den lille dreng og fik dèt svar, at "ham må kommynen tage sig af." Hertil svarede tante Karla: "Jeg skal give dig kommyne!"

Karla tog Anker til sig i den lille lejlighed Bådsmandsstræde 10A tæt på havnen og det nuværende Christiania. Alex Frank Larsen fortæller, at fire familier på hver etage skulle deles om en ramponeret køkkenvask, der kunne bære umiskendelige spor af, at der var langt til lokummerne nede i gården. Om natten sov Anker på en sofa i stuen:

"En gammel gaslygte ude fra gaden kastede et lysskær ind i stuen, så han kunne ligge i mørket og læse om sine idoler, først og fremmest en halv snes Tarzan-hefter, men også de virkelige helte, dem fra idrættens verden."

I det lille, blåmalede køkken var der en gammeldags jernkomfur med ringe og ovenover en skorsten. Til jul hængte Anker en strømpe - en af de lange uldne - ved skorstenen, og den blev virkelig fyldt med æbler, appelsiner og lidt slik. Anker fortæller om julens forberedelser: "For at være sikker på, at flæskestegen blev god og sprød, ja, så sendte mor den til bageren. Det var dengang meget almindeligt. Lige før juleaftenens store måltid skulle begynde, så stod husmødrene nærmest i kø foran bagerens butik for at hente deres flæskestege og hen ad gaden gik vi med stegen på et stort fad, og med et stykke gråt karduspapir over. Jeg bar en kande med fedt .."

Anker Jørgensen fortalte mange år senere, juni 1974, Amagerbladet om sin barndom i Bådsmandsstræde:

"Gaden var alligevel et dejligt sted for os som børn. I sommertiden voksede græsset op imellem brostenene og kunne ligefrem danne et græstæppe. Og når solen måske nogle få timer om dagen skinnede ned i gaden, sad vi her og legede."

Anker fortæller videre, hvorledes familien i tredverne for alvor mærkede arbejdsløsheden. Det skete ofte, at man måtte pantsætte ejendele som f.eks. en vinterfrakke hos "onkel", et tilnavn givet Amagerbrogades filial af Det Kongelige Assistenshus. Når Anker så kom hjem med lånesedlen, blev den lagt i en lille skuffe, og uge for uge blev der lagt penge hen, så man kunne løse frakken ind igen:

"Min mor blev ofte arbejdsløs, og i de perioder måtte vi konstatere, at der ikke var flere penge i kassen, allerede når vi nåede til mandag eller tirsdag. Ret mange gange var det nødvendigt, at jeg gik til marskandiseren med gamle aviser og flasker for så på hjemvejen at købe for 5 øre leverpostej, lidt afskåret pålæg og, hvis det var muligt, helst rester fra pålægsmaskinen ... Alligevel opfattede jeg ikke min barndom som en fattig tid. Vi fik god mad ..." 

Senere kom Anker på Det Kongelige Vajsenhus' skole for forældreløse børn, blev bud, arbejdsdreng, svajer, skibsværftsarbejder og lagerarbejder. De arbejdsløse perioder brugte han på biblioteket og på aftenkurser.

Folkebiblioteket i Ølandshus på Amager blev dèt sted, Anker opsøgte, når han var uden arbejde. Det blev hans lille folkeuniversitet, døren til en ny verden. Dèr lærte han Georg Brandes og hans "Hovedstrømninger i det 19. Aarhundredes  Litteratur" at kende, han læste digtsamlinger som "Vers og Værktøj", han blev meget optaget af Hartvig Frisch's "Europas Kulturhistorie", og han læste Hans Kirks skildringer af "Fiskerne" og "Daglejerne".

Anker læste systematisk historie og filosofi, Kant, Nietzsche, Marx, Egon Friedell, og han læste rejsebøger som Aage Krarup Nielsens "En Hvalfangerfærd" og "Mads Lange Til Bali". Anker krydsede i perioder dèt antal sider af, som han skulle læse pr. dag i den følgende uge. Ofte stod han op en time før om morgenen og læste 10-15 sider i hver bog, inden han skulle på arbejde.

Efter af være gået ud af skolen, blev Anker bud i en grøntforretning på Øresundsvej og blev senere arbejdsdreng som 14-årig på en låsefabrik, 48 timer om ugen til 15 kroner. I et interview med Maria, 1 z, Rysensteen Gymnasium, fortalte Anker Jørgensen om sin tid her:

"Jeg gik hjemmefra hver morgen kl. 7. Ned ad Strandlodsvej sammen med min tante, som blev min mor. Hun skulle på tobaksfabrikken, og jeg skulle på H.C. Hauch's  Låsefabrik ... Det med at få en ordentlig uddannelse tænkte man overhovedet ikke på. Først da jeg blev soldat, tænkte jeg: “Din idiot, Anker. Du læser en masse ting. Du køber en masse bøger og går på biblioteket. Man kunne jo lige så godt få en eksamen ud af det.”

Og først da begyndte jeg at tænke på det. Jeg var da 22 år, tror jeg nok. Så tog jeg præliminæreksamen på aftenkursus. Det svarer til det, der hed realeksamen ..."

Anker mindes også, hvordan han en kold vintermorgen gik ned ad Strandlodsvej med sin tante og pludseligt opdagede, at han var større end hun: "Det hørte der ganske vist ikke så meget til. Hun gik lille og knejs med faste skridt til sit arbejde. Jeg drejede af og gik ind på låsefabrikken, hun gik videre til tobaksfabrikken."

Ankers interesse for politik begyndte tidligt og som 17-årig meldte han sig ind i DSU-Sundby-afdelingen. Han kunne senere fortælle Amagerbladet om sine ungdomsår:

"Da jeg blev 18-20 år, fik jeg mit eget værelse. Det var jo fornemt. Værelset blev fyldt op med stadig flere bøger ... Mine kammerater var ikke særlig interesseret i politik, men alligevel fik vi ofte en diskussion, fordi jeg provokerede til det. Jeg husker, at da de mange pensionistboliger blev bygget på Gasværkets grund på Øresundsvej, da brugte jeg disse nye pensionistboliger som argument for, hvad det var for et samfund, vi ville bygge. Et samfund, hvor vi skal hjælpe de svage, de gamle, de syge ..."

Under Anden verdenskrig arbejdede den unge Anker Jørgensen som lagerarbejder 48 timer om ugen, hvis ikke han da lige havde overarbejde. Og han var soldat, samtidig med at han var aktiv i den danske modstandsbevægelse.

Dan Jørgensen, medlem af Europa-Parlamentet siden 2004 og næstformand i parlamentets miljøudvalg, fortæller den 24. september 2006 på sin weblog om en togtur fra Aalborg til Århus, hvor han fik en god snak med Anker Jørgensen.

Anker fortalte blandt andet om engang han som knægt havde antastet en gruppe unge fyre, som havde råbt nazistiske kampråb. "Ja, jeg fik nogen på snotten, men jeg kunne jo ikke bare lade stå til" sagde han til Dan Jørgensen, der ikke er i tvivl: Allerede som dreng havde Anker sine meningers mod.