Helmic retweeted
.@paulfchristiano thinks that on the current trajectory (absent any slowing down), there is a 1 in 3 chance that we could have superintelligence powerful enough to overthrow the government within a year. (He articulates a concrete scenario).
He argues that the labs should pause further algorithmic progress until they can secure their weights and research secrets. Otherwise China could simply steal the superintelligence in the middle of the intelligence explosion, and the labs would no longer be able to slow down even if they saw their models going off the rails.
He also explains how AIs will be trained during the intelligence explosion, and why even a system trained entirely inside a data center could still have the capabilities profile such that humans would have very little chance of competing with it or controlling it.
And he discusses the plan for alignment - basically, making a superintelligence that actually does what we ask the way we mean it. Fixing reward hacks and building better graders will help up till the next few model generations, but he thinks that no single current approach has better than even odds of letting us control superintelligence. The hope is that the AIs figure out the solution to this problem during the intelligence explosion.
Paul is head of the Alignment Research Center. Previously, he was head of AI safety at the US AI Safety Institute. Before that, he led alignment at OpenAI, where he invented RLHF. He’s recently joined OpenAI’s board (though here he is speaking as a private citizen).
Helmic retweeted
Replying to @NateSilver538
Speaking as a conservative, I'll just say this:
Trump could have realized that building ASI is the least conservative, most radical, most destabilizing thing humanity has ever tried to do.
He could have acted on that understanding and signed an executive order pausing ASI development.
Instead, he simped for Silicon Valley, cozied up to Big Tech, betrayed conservatives, and betrayed the entire human species.
Helmic retweeted
Arguments like this based on AI's lack of real world impact seem to be making a major mistake:
1. Real world daily life impact is a lagging indicator. If you wait till the world is visibly transformed, it'll be too late.
2. Real world impact is probably exponential e.g.
End 2026: +1% GDP (nbd)
End 2027: +3% GDP (big deal but daily life the ~same)
End 2028: +9% GDP (transformative effects on many industries & geopolitics, maybe mass layoffs)
End 2029: +27% GDP (self-replicating robot factories in the desert, but downtown New York etc. still looks the same)
End 2030: +100% GDP (obviously sci fi future)
3. There are real world impacts! Many use AI tools for hours a day. Some roles have become 10x more productive. A decade of mathematical progress was made in months. AI solved protein folding. Self-driving cars are on the streets.
[What I say in 2 isn't a forecast, but rather an illustration of how exponential effects could look over time.]
Helmic retweeted
Enligt DN:s kulturchef är alltså en ev alliansregering att jämföra med det nazistiska maktövertagande i Tyskland. Bevis? De finns i en tv-serie, ”Babylon Berlin”. Detta eko från s-retoriken tror jag är ett av skälen till att Andersson ser ut att misslyckas. Det finns bara hot.
Helmic retweeted
It's time to panic about AI.
For years, I listened to the reasonable people. I nodded along when critics called AI “a con,” and when they waved ChatGPT away as “spicy autocomplete.” I laughed in 2024, when the internet was mocking ChatGPT because it couldn’t count the r’s in “strawberry.” When I met young researchers who had devoted their careers to the danger of rogue AI, I thought: what a waste of talent.
But at some point, I started to realize something was off. The machine kept learning things it was never supposed to learn.
OpenAI recently published more than 700 papers with the solutions to hundreds of open problems in mathematics. Hugo Duminil-Copin, winner of the Fields Medal (the highest prize in mathematics), wrote: “The shock is immense. I am paralyzed.”
None of this should have happened. So I went back and looked at what else the skeptics had predicted, and it dawned on me: they had been wrong about... pretty much everything. Next, I looked at the predictions of the crazy people, and realized they’ve been eerily prescient.
Why then, you may wonder, does the world still feel pretty normal? Because new technology usually spreads more slowly than its inventors expect (it took factories decades to reorganize around electricity). But the scary scenario is not about what happens in the wider economy; it’s about what happens inside a handful of companies.
I wrote down what changed my mind, and what we can do about it:
rutgerbregman.substack.com/p…
Helmic retweeted
Anthropic is probably the greatest threat to the human species and has a significant chance of unaliving us all
The ultimate irony of EA
Helmic retweeted
På vilket sätt är det ett större "svek" om C går tillbaka till Alliansen 2026, än när de - trots alla löften - lämnade den 2018?
Helmic retweeted
Så när Tidö hade samma konstruktion som Andersson nu förespråkar kallades regeringen för SD-regeringen av S. Betyder det att hon nu ser framför sig en V-regering?
Helmic retweeted
Om inte @magdandersson får bli statsminister tänker hon alltså riva upp enigheten om exempelvis försvaret och stödet till Ukraina. För där sker löpande dialog mellan partierna.
Går inte att tolka hennes ultimativa uttalande på annat sätt.
Hon är så svag.
I valrörelsen lovade både C och S en (mycket) stram migrationspolitik och inga höjda bensinskatter
Nu går ledande företrädare och opinionsbildare för båda partier ut med att ekonomisk politik inte spelar någon roll, att öka invandring och bensinskatt är det enda som är viktigt
I will never understand why the Victory condition in Civilisation science victory was building a rocket instead of inventing AGI
(Human) """America""", even if it were fated to, will now never collapse. we are arriving at the end of human history, the final act of anthro-civilization, and we have made it to the finish line: there is not enough time left. the rules of decay have changed
1
164
Helmic retweeted
(Human) """America""", even if it were fated to, will now never collapse. we are arriving at the end of human history, the final act of anthro-civilization, and we have made it to the finish line: there is not enough time left. the rules of decay have changed
Såhär skriver dem som tycker att man ska tänka på tonen i svensk politik
Replying to @SwedishPM @SwedeninEU
Says the prime minister who built his whole government on the Swedish fascists and turned their programme to policy, attacking climate,migration , public service etc and now in September lost the elections.
94
“Det skapar inte heller någon orättvisa, om man inte anser att det är orättvist att ge sina seniorer en bra avslutning”
värdeöverföring från unga till pensionärerna, som de aldrig själva kan förvänta sig, är tydligen inte en orättvisa
Enligt Erik borde man öka den ytterligare
Patrik Kronqvist (Expressen) använder de franska kravallerna för att varna för vänsterpolitik och hylla svensk åtstramning. Men hans ledare är en uppvisning i makroekonomiska kategorifel. Han analyserar stater som om de vore hushåll.
Kronqvist skriver: Landet har inte haft en budget i balans sedan 1970-talet, underskottet ligger stadigt på 5-6 procent av bnp och statsskulden närmar sig 120 procent av bnp. Det begränsar politikernas handlingsutrymme.
Nej. Det är EU:s och eurozonens finanspolitiska ramverk som begränsar politikernas handlingsutrymme, inte statsskulden i sig.
Kronqvist skriver: Nästan 30 år senare är plånboken verkligen tom. I veckan tickade räntan på franska tioåriga statsobligationer upp till 5,1 procent.
Nej. Det finns ingen plånbok. Pengarna kan aldrig ta slut. Att räntan stiger beror på att Frankrike frivilligt har släppt kontrollen över sin valuta till ECB, som i sin tur överlåtit prissättningen till marknaden. Om EU och ECB inte tar sitt förnuft till fånga borde Frankrike göra det och lämna euron.
Kronqvist skriver: Fransmännen lämnar arbetsmarknaden i snitt tre år tidigare än svenskar. Det gräver djupa hål i statskassan och skapar en slående orättvisa mellan generationerna.
Nej. Det finns ingen statskassa. Det är ett tröttsamt och vilseledande uttryck. Ett PAYG-system gräver inga finansiella hål. Det skapar inte heller någon orättvisa, om man inte anser att det är orättvist att ge sina seniorer en bra avslutning.
Det som i verkligheten driver Frankrikes stora underskott är valutaanvändarnas önskan att spara. Om staten inte tillgodoser detta sparbehov med ett underskott, krossas efterfrågan och arbetslösheten skenar.
Kronqvists ekonomiska felslut är exakt den typ av analys som leder till den destruktiva åtstramningspolitik som sätter gator i brand. Jag dekonstruerar denna utbredda ortodoxi i två artiklar som publiceras idag.
I Dagens industri om räntefobin och varför statsskulden inte är problemet:
di.se/debatt/frankrikes-prob…
I Dagens Arena om varför krisen i Frankrike visar att Sverige ska hålla sig borta från euron:
dagensarena.se/essa/krisen-f…
2
4
148
Erik lever i en alternativ verklighet där när staten spenderar 57% av BNP och går med 7% underskott så är det åtstramning och underinvestering,
3% arbetslöshet när man räknar bort helttidsstuderande är ”massarbetslöshet”
Allt för att staten ska börja trycka pengar a la Zimbabwe
Källqvist ser helt korrekt att Europas reala ekonomi (industri, energi, tech) halkar efter. Men här listar jag fyra fundamentala misstag i Källqvists artikelserie:
Illusionen om den finansiella begränsningen
Eftersom han sitter fast i en nyliberal, hushållsekonomisk modell drar han slutsatsen att Europa har levt över sina tillgångar och att verkligheten nu skickar fakturan i form av ohållbara statsskulder. Detta är ett rent kategorifel. Han likställer den europeiska makroekonomin med ett hushåll som har slut på pengar. Det är inte vad vi ser. För en valutautgivare existerar ingen finansiell begränsning.
Det vi ser är det realekonomiska priset för decennier av underinvesteringar, massarbetslöshet och en dogmatisk åtstramningspolitik: Decennier där valutautgivaren har strypt tillgången på sin valuta.
Skattebas-illusionen
Han tror att skatter finansierar staten. Han tror att vi måste ha företag som går med vinst för att staten ska få in skattepengar så att den "har råd" att betala ut pensioner. Detta är helt bakvänt.
Skatter finansierar inget. Staten betalar pensioner genom att ge ut sin valuta. Det som behövs är företag och välfärd som producerar det befolkningen behöver, så att det räcker även till pensionärerna.
Missförståndet av USA:s och Kinas framgång
Källqvist hävdar att USA och Kina bygger framtiden medan Europa reglerar. Det är en ytlig analys som missar den avgörande makroekonomiska mekaniken. Sanningen är att både USA och Kina agerar som suveräna valutautgivare.
Europa har i stället bundit sig vid EU:s finanspolitiska tvångströja och strypt tillgången på valuta för att nå godtyckliga budgetmål. USA och Kina vinner inte primärt för att de saknar regleringar, de vinner för att de inte lider av Europas underskottsfobi. De använder sin valuta för att mobilisera sina reala resurser.
Den falska motsättningen mellan välfärd och innovation
Källqvist insinuerar att Europas fokus på välfärd har trängt undan förmågan att skapa globala teknikjättar och industriell tillväxt. Detta bygger på idén att det finns en begränsad pott pengar, och att en euro lagd på pensionärer är en euro stulen från AI-forskning.
För det första är hans premiss empiriskt falsk. Decennier av åtstramning har inneburit att även välfärden har förfallit. Vi har inte offrat industrin för att bygga en lyxig välfärd – vi har offrat båda för att nå godtyckliga budgetmål.
För det andra är pengar aldrig begränsningen i ett fiatvalutasystem, endast reala resurser som arbetskraft, energi och råvaror sätter gränsen. Europa har haft massarbetslöshet och ledig kapacitet i decennier. Vi hade kunnat finansiera både en välfärd i världsklass och massiva teknikinvesteringar. Att vi inte gjorde det beror på politiska, artificiella budgetregler, inte på bristande resurser – det beror på samma missförstånd som Källqvist ger uttryck för i sin artikelserie.
2
2
232
svd.se/a/Krlq15/lagenheten-a…
Så börjar det, inkvoteringen av kärnväljarna (läs invandrare) till övriga områden. Tvångsblandningen S lovade att de inte skulle införa tog mindre än 2 månader efter valet
Detta är vad som kommer hända med alla "blandade" områden de vill bygga



















