Data-pessimismen er overvurderet, men problemet er ægte. AI-træningsdata vil sandsynligvis blive en flaskehals inden 2030, men ligesom med tidligere ressource-kriser har teknologisk innovation allerede skabt adskillige løsninger. Syntetiske data, verdensmodeller og robotik-genereret data udgør tilsammen et paradigmeskift, der gør den rene datamangel til et overgangsproblem snarere end en permanent barriere. Epoch AI's forskere estimerer selv kun en 20% sandsynlighed for at datamangel væsentligt bremser AI-udviklingen inden 2040.
Den videnskabelige bekymring om AI-datamangel bygger på reelle beregninger: 300 billioner tokens af kvalitets-tekstdata eksisterer ifølge Epoch AI's seneste estimat fra juni 2024, med udtømning forventet mellem 2026 og 2032. Dette er ikke opspind – frontier-modeller som Llama 3-70B trænes allerede på 15 billioner tokens og nærmer sig praktiske grænser.
Men bekymringen ignorerer fire centrale modkræfter: Syntetiske data har vist sig effektive (Microsoft Phi-4 matcher modeller 5x større). Verdensmodeller som Meta's V-JEPA 2 opnår robut-kontrol med blot 62 timers robotdata. Fysisk AI genererer fundamentalt nye datatyper – NVIDIA producerede 780.000 trænings-trajektorier på 11 timer. Og mere effektive arkitekturer (Mamba, diffusions-sprogmodeller) reducerer databehovet.
Mønsteret er velkendt fra historien: Malthus forudså sultedød ved 400 millioner mennesker; "Grænser for Vækst" erklærede ressourcerne opbrugt; Peak Oil forudså olietoppen i 2005. Alle havde delvis ret i de underliggende mekanismer, men specifik forkert i timingen og løsningerne. AI-databekymringen følger samme spor.
Grundlaget for data-panikken kommer primært fra Epoch AI's peer-reviewed forskning, opdateret i juni 2024. Rapporten "Will we run out of data?" estimerer den samlede mængde offentligt tilgængelig, kvalitetsfiltreret menneskegenereret tekst til cirka 300 billioner tokens (90% konfidensinterval: 100T-1.000T tokens).
Med nuværende skaleringstrends forudsiger forskerne, at denne ressource vil være fuldt udnyttet med 80% sandsynlighed mellem 2026 og 2032. Hvis modeller overtrænes med faktor 100 (som nuværende praksis tenderer mod), kan grænsen nås allerede i 2025.
Epoch AI's egen team vurderer dog risikoen mere nuanceret end overskrifterne antyder: Ved en intern afstemning satte de sandsynligheden for at datamangel "væsentligt bremser ML-skalering inden 2040" til blot 20%.
Kritikere anfægter præmisserne. Yann LeCun, Meta's chefforsker, argumenterer at problemet er arkitektonisk, ikke datamæssigt: "Vi når ikke menneskeligt AI-niveau bare ved at skalere LLM'er." Han peger på at modellerne fundamentalt mangler verdensforståelse – de forudsiger næste token, ikke virkeligheden. Scale AI's CEO Alexandr Wang kalder blind tro på skalering "det største spørgsmål i industrien," mens Cohere's Aidan Gomez betegner ren skalering som "den dummeste" tilgang.
De faktiske tal viser dog at grænsen nærmer sig. Common Crawl indeholder cirka 130 billioner tokens af indekseret web-indhold. Akademiske artikler udgør ~1 billion tokens, Google Books ~6 billioner, og GitHub-kode vokser hurtigt. Men frontier-modeller bruger allerede 12-15 billioner tokens per træning, og Qwen3-30B rapporterer træning på 36 billioner tokens.
Den mest umiddelbart tilgængelige løsning er syntetisk data – og resultaterne fra 2024-2025 er overbevisende. Microsoft's Phi-4 (14 milliarder parametre) trænet primært på syntetiske data matcher Llama-3.3-70B, som er fem gange større. NVIDIA's Nemotron-4 340B brugte 98% syntetisk data i finjusteringsfasen med kun 20.000 menneskeannoterede eksempler.
Microsoft Research's SynthLLM-framework fra marts 2025 viser en "korrigeret skaleringslovi" for syntetiske data: Ydeevnen følger forudsigelige mønstre, men plateauer efter cirka 300 milliarder syntetiske tokens. Større modeller når optimal ydeevne med færre tokens – et 8B-model behøver ~1 billion tokens, hvor et 3B-model behøver ~4 billioner.
Men syntetiske data har en fundamental risiko: model-kollaps. Nature publicerede i juli 2024 en afgørende artikel af Shumailov et al., der demonstrerede at generationer af modeller trænet på AI-genereret indhold gradvist mister information om sjældne fænomener og til sidst konvergerer mod nonsens. OPT-125m finjusteret på sin egen output degenererede fra sammenhængende tekst til ordstumper som "jackrabbits" efter 9 generationer.
Problemet er allerede synligt i det vilde: 74,2% af nyoprettede websider i april 2025 indeholdt AI-genereret tekst ifølge nyere analyser. AI-skrevet indhold i Googles top-20 resultater steg fra 11% til næsten 20% mellem maj 2024 og juli 2025.
Mitigeringsstrategier eksisterer heldigvis. Forskning fra COLM 2024 ("Is Model Collapse Inevitable?") viser at model-kollaps kan undgås ved at akkumulere syntetisk data sammen med ægte data fremfor at erstatte det. Den "virkelige data-anker" bevarer information om sjældne fænomener. Optimal blanding af ægte og syntetisk data er nu et aktivt forskningsområde med lovende resultater.
Parallelt med syntetiske data investerer AI-laboratorier massivt i menneske-kurateret træningsdata. Estimater antyder at OpenAI, Anthropic og Google hver bruger over 1 milliard dollars årligt på menneskelig annotation. Surge AI alene rapporterer $1,2 milliarder i omsætning for 2024 med ~1 million annotatorer, mange med ph.d.-grader.
RLHF (Reinforcement Learning from Human Feedback) transformerede feltet i 2022 med InstructGPT, der viste at en 1,3B-parameter model med RLHF kunne overgå den 175B-parameter GPT-3. Metoden bruger ~13.000 prompt-respons-par til supervised finjustering plus ~50.000 menneskelige præferencesammenligninger til at træne en belønningsmodel.
Men RLHF er kompleks og ustabil. DPO (Direct Preference Optimization) fra 2023 eliminerede behovet for separat belønningsmodel-træning og reinforcement learning, reduceret til ét simpelt træningsskridt. Metoden er nu udbredt i Llama 3 Instruct og talrige open-source modeller.
2024-2025 så en eksplosion af DPO-varianter: KTO fungerer med binær feedback (ikke par), SimPO normaliserer for svarlængde, ORPO kombinerer supervised finjustering med præference-optimering, og DeepSeek's GRPO bruger gruppe-relative fordele uden kritiker-netværk.
Skalerbarheden er dog begrænset. Ekspert-annotation koster $40+/time for kvalitetsarbejde versus næsten nul marginalomkostning for syntetiske data. Hybrid-tilgange viser de bedste resultater: 23% bedre ydeevne end ren syntetisk data med 64% lavere omkostninger end ren menneskelig annotation ifølge industrianalyser.
Mens syntetiske data og bedre annotation adresserer symptomerne, arbejder forskere på at ændre selve paradigmet. Verdensmodeller lærer abstrakte repræsentationer af hvordan den fysiske verden fungerer – ikke næste token i tekst, men næste tilstand i et miljø.
Yann LeCun's JEPA (Joint Embedding Predictive Architecture) fra 2022 forudsiger i abstrakt repræsentationsrum snarere end pixel- eller token-rum. Ideen er at modellen ignorerer uforudsigelig støj (den præcise tekstur af græs) og fokuserer på væsentlige, forudsigelige træk (at det der går op, kommer ned).
Meta's V-JEPA 2 fra juni 2025 repræsenterer et gennembrud: Den opnår state-of-the-art visuel forståelse OG zero-shot robot-kontrol med kun 62 timers umarkeret robotvideo fra DROID-datasættet – dramatisk mindre end traditionelle tilganges tusindvis af timer per opgave. Modellen planlægger handlinger på 16 sekunder versus 4 minutter for sammenlignelige systemer.
NVIDIA's Cosmos-platform (lanceret januar 2025) tilbyder infrastruktur til "fysisk AI": Cosmos-Predict genererer fremtidige miljøtilstande, Cosmos-Transfer bygger bro mellem simulation og virkelighed, og Cosmos-Reason (7B parametre) forstår fysik til robotplanlægning. Platformen er allerede adopteret af Figure AI, Agility Robotics, Uber og 1X Technologies.
Google DeepMind's Genie 2 (december 2024) genererer interaktive 3D-miljøer fra et enkelt billede – med objektinteraktioner, fysik-simulation og karakter-animation. Systemet husker områder uden for synsfelt og renderer dem korrekt, om end kun i ~10-20 sekunder før artefakter opstår.
Den realistiske tidshorisont for kommerciel relevans er 2026-2028 for specialiserede applikationer (robotik, simulation) og 2029-2030 for bredere anvendelser. Men transformere forsvinder ikke – hybrid-arkitekturer kombinerer transformerens opmærksomhedsmekanisme med effektive alternativer.
Ud over verdensmodeller arbejdes der på fundamentalt nye arkitekturer, der kan reducere datakrav.
Mamba og State-Space Models (SSMs) fra december 2023 opnår lineær kompleksitet O(n) versus transformerens kvadratiske O(n²). Det muliggør 5x højere inference-throughput og sekvenslængder på millioner af tokens. Mamba-2 fra maj 2024 er 2-8x hurtigere end originalen. IBM's Bamba/Granite 4.0 kombinerer Mamba-effektivitet med transformer-opmærksomhed.
RWKV-7 "Goose" fra marts 2025 er en opmærksomhedsfri RNN, der kan trænes som en transformer men køre med konstant hukommelsesforbrug O(1). Modellen er nu deployeret i 1,5 milliarder Windows-maskiner via Windows Copilot og overgår teoretiske kompleksitetsgrænser der begrænser transformere.
Tekst-diffusionsmodeller anvender billed-diffusionsprincipper på tekst. LLaDA (februar 2025), den første 8B-parameter diffusions-sprogmodel trænet fra bunden, matcher LLaMA3-8B på benchmarks og løser "vendingsproblematikken" (kan udlede "B er A" fra "A er B"). Google's Gemini Diffusion (maj 2025) opnår 1.479 tokens/sekund – 5x hurtigere end sammenlignelige modeller – med parallel token-generering.
Kvante-klassiske hybrider forbliver 5-10 år fra meningsfuld AI-påvirkning. Google Willow (2024) demonstrerede eksponentiel fejlreduktion med 105 qubits, men vi er stadig i den "støjende mellemskala kvante"-æra (NISQ). IBM sigter mod fejltolerante systemer med 200 logiske qubits i 2029.
Ingen af disse arkitekturer kræver nødvendigvis "mindre data" i absolut forstand – de bruger forskellige datatyper mere effektivt, muliggør transferlæring der reducerer domæne-specifikke databehov, og tilbyder beregningseffektivitet ved inference snarere end trænings-datareduktion.
Den måske mest transformative udvikling er fremkomsten af fysisk AI – robotter der genererer træningsdata gennem interaktion med den virkelige verden. Denne datakilde er fundamentalt anderledes end web-tekst: Den er jordet i fysik, multimodal af natur, temporal og kausal, og vigtigst af alt – den kan ikke scrapes fra internettet.
NVIDIA's Isaac GR00T-blueprint genererede 780.000 syntetiske trajektorier på 11 timer – ækvivalent til 9 måneders kontinuerlig menneskelig demonstration. Figure AI's Helix-model opnåede 94% første-forsøg-succes på stregkode-scanning med kun 8 timers demonstrationsdata.
Google DeepMind's RT-X / Open X-Embodiment projekt involverer 21 forskningsinstitutioner og omfatter over 1 million robot-episoder på tværs af 22 forskellige robottyper. RT-1-X forbedrede ydeevnen med 50% sammenlignet med single-embodiment modeller.
Autonome køretøjer genererer data i massiv skala. Waymo har kørt over 10 millioner autonome miles på tværs af 25 byer med 20+ petabytes estimeret sensordata. Hver bil genererer 11-152 TB data per dag. Serve Robotics (autonom levering) indsamler 1 million miles data månedligt med 170 milliarder billede-LiDAR samples.
Tesla's Optimus deler neurale netværk med deres Full Self-Driving system – hver enhed bidrager til at forbedre alle enheder gennem "fleet learning." Planen er 5.000-10.000 Optimus-enheder i 2025, 50.000 i 2026, og 10 millioner/år kapacitet i 2027.
Denne data-flywheel-effekt skaber potentielt uoverkommelige konkurrencefordele. Virksomheder med store robotflåder akkumulerer unik træningsdata der ikke kan scrapes fra internettet.
Bekymringen om AI-datamangel passer ind i et velkendt historisk mønster af ressourcepessimisme.
Thomas Malthus forudsagde i 1798 at befolkningsvækst (geometrisk: 1, 2, 4, 8...) ville overgå fødevareproduktion (aritmetisk: 1, 2, 3, 4...), hvilket ville føre til uundgåelig hungersnød. Verdensbefolkningen var ~1 milliard. Han forudså ikke den industrielle revolution, syntetiske gødningsstoffer, eller den demografiske transition der fik udviklede samfund til frivilligt at reducere fødselsrater.
"Grænser for Vækst" (1972) forudsagde ikke specifikke ressourceudtømmingsdatoer (som kritikere ofte fejlagtigt hævder), men økonomisk kollaps ved midten af det 21. århundrede. En CSIRO-studie fra 2008 viste at 30 års historiske data "stemmer gunstigt overens" med rapportens standard-scenarie. Rapporten var delvist rigtig om mekanismerne, men specifik forkert om timingen.
Peak Oil illustrerer mønsteret tydeligst. M. King Hubbert forudsagde i 1956 amerikansk olieproduktion ville toppe i 1965-1970 – korrekt, produktionen toppede i 1970 ved 9,64 millioner tønder/dag. Men hans forudsigelse om global top ~2000 ved 12 milliarder tønder/år var dramatisk forkert: Verdensproduktionen nåede 26,67 milliarder tønder i 2012. Fracking og horisontal boring ændrede spillet fundamentalt.
Fælles for disse fejlslagne forudsigelser er lineær tænkning (ekstrapolering af nuværende trends), undervurdering af menneskelig opfindsomhed, statiske ressourceantagelser, og ignorering af økonomiske feedback-mekanismer (højere priser → innovation + alternativer).
Men visse ressourcebegrænsninger ER reelle: ikke-substituerbare ressourcer (rent vand), miljømæssig absorptionskapacitet (CO2), biodiversitet (udslettede arter kan ikke genskabes). Distinktionen mellem "ægte" og "illusoriske" begrænsninger handler om: Er substitution mulig? Fungerer prismekanismen? Er teknologi-trajektoriet lovende? Har lignende forudsigelser fejlet før?
AI-feltet selv har en historie af forudsagte begrænsninger der blev overvundet på uventede måder.
Første AI-vinter (1974-1980) fulgte efter Lighthill-rapporten der erklærede at AI havde fejlet sine "storslåede mål," og Minsky & Paperts "Perceptrons" der hævdede neurale netværk ikke kunne beregne simple XOR-funktioner. Finansiering kollapsede.
Anden AI-vinter (1987-2000) kom da ekspertsystemer fejlede at leve op til høje forventninger og Lisp-maskinmarkedet kollapsede. John Searle's "kinesiske værelse"-argument udfordrede AI-bevidsthedspåstande.
Pre-transformer begrænsninger var fundamentale: Rekurrente neurale netværk (RNN'er) processerede data sekventielt – et token ad gangen – og led under "vanishing gradient"-problemet der forhindrede læring af langdistance-afhængigheder.
Transformer-gennembruddet (juni 2017) var ikke forudsagt af nogen væsentlig kilde. "Attention Is All You Need" af Vaswani et al. introducerede self-attention-mekanismen der tillod parallel processering af hele sekvenser. Artiklen er nu citeret 173.000+ gange – blandt de 10 mest citerede i det 21. århundrede. AlphaFold løste proteinfoldings-problemet, som biologer havde arbejdet på i 50 år. AlphaGo slog verdensmesteren i Go, et spil eksperter troede var årtier fra at blive løst.
Mønsteret antyder at specifikke forudsigelser ("vi løber tør for data i år X") sandsynligvis er forkerte, men den underliggende bekymring (begrænsninger eksisterer) kan have substans i transformeret form. Teknologi omgår typisk forudsagte grænser på uventede måder – ikke ved at løse det præcise forudsagte problem, men ved at ændre paradigmet så problemet bliver irrelevant.
Baseret på den samlede forskning tegner der sig et nuanceret fremtidsbillede.
2026: Syntetiske data bliver standard i frontier-modeltræning (Gartner forudser 60% syntetisk data i AI-træning). Verdensmodeller som V-JEPA 2 deployeres i begrænsede robotik-settings. NVIDIA Cosmos og lignende platforme adopteres bredt til syntetisk datagenerering. Model-kollaps-mitigering bliver etableret praksis.
2027-2028: Hybrid-arkitekturer kombinerer transformere med effektive alternativer (SSMs, RWKV). Verdensmodeller bliver standard for robotik-foundation models. Humanoid-robotter (Figure 03, Boston Dynamics Atlas, Tesla Optimus) begynder seriøs dataindsamling i virkelige miljøer. Diffusions-sprogmodeller opnår bredere adoption.
2029-2030: Data-flywheel fra robotflåder skaber væsentlige konkurrencefordele. Verdensmodeller udvides potentielt til bredere AI-applikationer. Kvante-klassiske hybrider muligvis relevante for specialiserede optimeringsopgaver.
Nøgleusikkerheder: Timingen er usikker (Epoch AI's 80% konfidensinterval spænder 6 år). Overtraining-faktorer er ukendte. Effektivitetsforbedringer kan opveje efterspørgsel. Regulering af syntetiske data og AI-genereret indhold kan ændre spillet. Copyright-retssager mod AI-virksomheder kan begrænse datatilgængelighed.
AI-datamuren er en overgangsproblem, ikke en permanent barriere. Den videnskabelige bekymring bygger på solide beregninger – vi nærmer os reelle grænser for menneskegenereret kvalitets-tekstdata. Men mønsteret fra Malthus til Peak Oil gentager sig: Specifik pessimisme undervurderer konsekvent teknologisk innovation og adaptiv respons.
Forskellen denne gang er at løsningerne allerede er demonstreret, ikke blot teoretiske. Phi-4's performance med primært syntetisk data, V-JEPA 2's robut-kontrol med 62 timers data, og NVIDIA's 780.000 trajektorier genereret på 11 timer – dette er ikke fremtidsløfter, men aktuelle resultater fra 2024-2025.
Det mest sandsynlige scenarie er at 2026-2030 markerer et paradigmeskift fra "mere data er bedre" til "smartere data er bedre." Ikke en mur, men en kurve. Ikke et sammenbrud, men en transition. De virksomheder der tilpasser sig – ved at investere i syntetisk datagenerering, verdensmodeller, robotik-dataflywheels, og effektive arkitekturer – vil klare sig. De der bare forsøger at skalere sig ud af problemet, vil ramme grænser.
For danske teknologivirksomheder og journalister er budskabet: Vær skeptisk over for både dommedagsretorik og ubegrænset optimisme. Bekymringen har substans nok til at ændre industrien. Den har ikke substans nok til at stoppe AI-udviklingen. Malthus havde ret i at ressourcer ikke er uendelige. Han tog fejl i at mennesker ikke kunne tilpasse sig. Samme dynamik gælder sandsynligvis AI-data.
"Der vil aldrig komme et øjeblik, hvor verden løber tør for olie, fordi der altid vil være en pris, hvor den sidste dråbe kan handles på markedet." Samme logik gælder data – ikke fordi det er uendeligt, men fordi knapphed driver innovation.