tisdag, april 28, 2009

Algoritmerna bör inte styra världen

Matematiska formler är grunden för planhushållning. Intresset för "applicerad matematik" ökar i västländerna. När numerati släpps lösa kan det gå riktigt illa. Matematikern David Li är enligt vissa bedömare den som sänkte Wall Street och orsakade finanskrisen.

De avancerade länderna bygger en del av sitt välstånd på att produktionen blir alltmer rationell - ingenjörer och matematiker bidrar till en förnuftig utveckling. Detta var en viktig orsak till att socialismen på sin tid anammade planhushållningen som grund för sitt ekonomiska system. Ursprunget är dock inte Karl Marx' teorier som inte innehåller just någonting om det socialistiska samhället.

Tanken på rationalitetens implikationer har lanserats av Friedrich Engels i en skrift 1878 som finns i svensk översättning med titeln Socialismens utveckling från utopi till vetenskap. Där utvecklar Engels en teori som går ut på att de större företagens alltmer rationella produktion skulle leda till att även den kaotiska konsumtionen skulle tas över av rationaliteteten. Och denna utveckling skulle ske genom förstatligande.

Men ett ekonomiskt system byggt på algoritmer och styrt av matematiker och planerare visade sig inte kunna fungera särskilt bra. På 1980-talet började ekonomin gå så dåligt att socialismen år 1989 föll sönder. Marknadsekonomins grund, som bygger på försök-och-misslyckande utan planering, såg ut att ha segrat. Men ingenjörer och matematiker upphörde inte att fascineras av rationaliteten. I dagens digitala värld kan matematikern bli kung, framgår det sålunda av en kulturartikel i DN 28/4 skriven av Ivar Ekman.

Ekman beskriver hur hur vårt digitala liv producerar data som aldrig förr. Och dessa data kan analyseras. Nu kan matematiska modeller byggas kring alla sorters mänskligt beteende. Stora pengar finns att tjäna skriver Ekman med hänvisning till Stephen Baker som skrivit boken The Numerati. Idag är den disciplin som kallas "applicerad matematik" snabbt expanderande. De anställda i stora företag kan tilldelas varje liten arbetsuppgift automatiskt med hänsyn till vem som är bäst skickad att lösa dem. Som en matematiker formulerade saken: "en industriell revolution för kunskapsarbetaren".

Samma tendens finns på konsumtionssidan i vid mening. Det gäller marknadsföring, politik, brottsbekämpning, sjukvård och dejtingtjänster. "Målet är att reducera det mänskliga beteendet till algoritmer, tydliga steg-för-steg-instruktioner till [den] programvara, som gör att maskinerna hela tiden ligger ett steg före" skriver Ekman.

Det finns dock skäl att vara skeptisk, menar Ekman med hänvisning till Nicholas Taleb som skrivit boken The Black Swan. Applicerad matematik och prognosmakeri ses av Taleb som en "bluff" som fokuserar alltför mycket på genomsnittet, på bekostnad av det oväntade och oförutsägbara - det som han kallar "svarta svanar" (en referens till Popper?).

Ett klockrent exempel på en sådan miss är den beryktade matematiska formeln för värdering av det finansiella derivatinstrument som kallas CDO (collateral debt obligations) som en kinesisk matematiker vid namn David X Li klurade ut år 2000. Detta instrument, som bestod av flera skikt (tranches) med olika risk, var svårt att värdera. Vitsen med denna värdepapperisering var begränsad så länge riskerna inte kunde beräknas. Med hjälp av Lis ekvation fullkomligt exploderade marknaden för CDO:er, skriver Ekman, från 0,28 biljoner dollar år 00 till 4,7 biljoner sex år senare.

Det exotiska värdepapperet, som ofta var baserat på bostadslån på en marknad med stigande priser blev en vinstmaskin för bankerna tack vare David Li. Man bör nog tillägga att detta också berodde på att kreditvärderingsinstituten inte ville göra en nyanserad rating av instrumenten utan gav dem högsta betyg. Förstod de inte Lis algoritm? Var det Li som sänkte Wall Street?

Felet med Lis formel anses vara att den inte tog hänsyn till att mera oväntade händelser kunde inträffa, såsom att bostadspriserna kunde falla mera allmänt över stora delar av USA. När detta hände, delvis som en följd av att CDO:erna underlättade utprånglandet av dåliga krediter, så kollapsade CDO-marknaden. Nu var Lis formel tydligen oanvändbar eftersom även goda kreditdelar i CDO-instrumenten blev smittade av uppfattningen att CDO:er var värdelösa. Och därför var de temporärt värdelösa - ingen ville köpa dem.

Nu stod matematikerna handfallna. Ingen kunde snabbt och på ett trovärdigt sätt beräkna förlusterna, vilket medförde att de skulle bokföras till långt större belopp än vad som rimligtvis överensstämde med verkligheten. Och genom nya redovisningsregler hamnade förlusterna på balansräkningen redan nästa kvartal. Den ohämmade finanskrisen var ett faktum.

Vi har alltså anledning att se upp med numerati. Deras algoritmer får inte styra världen. Då kan det gå riktigt illa. Detta visade sig i de socialistiska öststaterna under en stor del av 1900-talet. Och det visade sig ännu en gång i väst när finanskrisen uppstod i början av 2000-talet.

Läs även andra bloggares åsikter om , , , , , , , , , , , , intressant.se

Etiketter:

9 Comments:

At 28 april, 2009 23:59, Blogger Hexmaster said...

Men det enda du läst är ju en journalist som missförstått. Det var inte matematikerna som stod handfallna, utan de korkade ekonomerna som tagit miste på modeller och verklighet. Läs på.

 
At 29 april, 2009 00:33, Blogger Ola Berg said...

Poängen med inlägget är väl att _politiker_ inte ska lockas att tro att matematisk planhushållning fungerar.

Matematiker begriper att det finns kaotiska samband som inte kan modelleras och förutses.

Ekonomer som inte begriper det går under i fattigdom.

Men politiker som inte begriper det kan dra med sig hela länder och folk.

 
At 29 april, 2009 01:43, Blogger Per Welander said...

Ett aktuellt exempel där algoritmer får styra över våra liv är klimatmodellerna. De är det enda "beviset" för att CO2 skulle komma att orsaka ett stor uppvärmning. Modellerna är mycket komplexa och har många antaganden som troligtvis är helt fel. Som prognosverktyg duger de inte alls. Men politiker tror blint på modellerna. De har ju fördelen att kunna öka politikernas makt och införa planekonomin. Kostnaden för denna miss överstiger mångfalt den med CDO:erna vilket framtiden kommer att visa.

 
At 29 april, 2009 02:54, Anonymous Homo Illuminatus said...

Numerati eller Supercrunching tillhör framtiden. Att lita på statistik och att använda algoritmer för att utvärdera statistik är inte vetenskaplig Marxism.

Det är istället så att alldeles för många litar på sin magkänsla och sin ideologi. Det gäller inom politiken och bland läkare.

Att en algoritm gav ett felaktigt resultat, den har sannolikt nu ändrats innebär inte ett underkännande av statistiken och algoritmers betydelse. Framtidens forskare kommer alla att vara matematiker, statistiker. Det är bara att titta på Google, ett enda stort Numerati företag, de lever enbart på siffror, algoritmer.

I framtiden kommer frågan ställas är du en riktig doktor eller bara en läkare.

Att algoritmer kan tolkas eller användas fel som i klimatdebatten är inte ett skäl varför de inte ska användas, det är ju ungefär som med vapen debatten i USA. Jag kan inte annat än hålla med "Guns don't kill, people do."

För övrigt tackar jag för komplimangen om min analys på Liberati.se blogg om vart de klassiskt liberal värdena tagit vägen.
---------------------------
Mitt pseudonym är en ordlek på beteendeekonomerna, Libertarian Paternalists, Thaler, Sunstein et al som numer har dödförklarat den rationella människan, Homo Economicus. För att hindra människor att göra felaktiga, irrationella val så har de skapat en egen Homo Economicus, Homo Illuminatus - det upplysta egen intresset. Hayek har fortfarande rätt, det går inte för en planerare att känna alla preferenser. Varken Homo Economicus eller Homo Illuminatus existerar eller kommer att existera.

 
At 29 april, 2009 10:16, Blogger Blogtester said...

Glöm inte bort Max Weber.

"Capital accounting in its formally most rational shape thus presupposes the battle of man with man. (I, 93)", "Value-rational action may thus have various different relations to the instrumentally rational action. ... The orientation of action wholly to the rational achievement of ends without relation to fundamental values is, to be sure, essentially only a limiting case (I, 25-26)." Max Weber, "Economy and Society", Bedminister Press, 1968."

David Li.
" "Li can't be blamed," says Gilkes of CreditSights. After all, he just invented the model. Instead, we should blame the bankers who misinterpreted it. And even then, the real danger was created not because any given trader adopted it but because every trader did. In financial markets, everybody doing the same thing is the classic recipe for a bubble and inevitable bust. ... In the world of finance, too many quants see only the numbers before them and forget about the concrete reality the figures are supposed to represent. ... As Li himself said of his own model: "The most dangerous part is when people believe everything coming out of it." " - http://futurefastforward.com/financial-analysis/1138-recipe-for-disaster-the-formula-that-killed-wall-street-by-felix-salmon-28209

Webers ansvar när han var medveten om faran?

Instrumentiell rationalitet - http://emergenceofhumantouch.blogspot.com/2008/10/instrumentiell-rationalitet.html

 
At 29 april, 2009 12:26, Anonymous Anonym said...

Termen "applicerad matematik" (hämtad från Ekmans DN-artikel) är en felaktig direktöversättning från engelskan; "tillämpad matematik" heter det på svenska.

 
At 29 april, 2009 22:14, Anonymous Mats Frick said...

Kolla in den här texten från Rittel & Webber.

 
At 01 maj, 2009 02:58, Anonymous Tom said...

Apropå svarta svanar och icke-normala sannolikhetsfördelningar så replikerade kommentatorer att sådana antaganden gör matematisk riskvärdering för ett realistiskt antal instrument helt beräkningsmässigt ohanterbar. Så alternativet är ... vad?

http://www.nakedcapitalism.com/2009/04/risk-management-sanity-check.html

Illustration av problemet (ursäkta längden):

http://www.nakedcapitalism.com/2009/04/risk-management-sanity-check.html?showComment=1240157520000#c6551878919969104072

"... (II) Formidable mathematical problems.

There is no reason to believe that the past can predict the future.
But even under the optimistic assumption that available data contain all the relevant information about
the future insurmountable mathematical difficulties remain.

The problems go considerably further than "fat tails".
There is also the problem of high dimension --- "the curse of dimensionality".

The book of a medium sized bank will contain in excess of ten thousand positions.
The first step in making this a little more manageable is a reduction in dimension.
Instead of modelling each instrument you identify a smaller number of "risc factors" that drive
the returns of the individual instruments.

Many of these risc factors have no economic interpretation (they are abstract mathematical quantities derived from an
eigenvector decomposition of the return covariance matrix) and are thus impossible to understand intuitively.

There are still hundreds of risc factors X_1,...,X_D left.
Assemble the individual risc factors into a vector X=(X_1,...,X_D).
This is a quantity that lives in a very high dimensional space.
The dimension is the number D of risc factors.

You must now find the probability distribution of X in this very high dimensional space.

This is where the Gaussian distribution comes in: it is completely determined by the mean and covariance matrix
and is easy to implement and simulate.

It is VERY HARD to go to other distributions in high dimensional spaces.

You have to collect data and choose a high dimensional distribution consistent with these data.
This is a nontrivial problem.

The simplest (some would say only) reasonable distribution to use is the maximum entropy distribution consistent with the data that
have been collected.
This is the distribution that makes the fewest assumptions other than the constraints imposed by the data
(see "maximum entropy principle").

The Gaussian distribution is the maximum entropy distribution consistent with the means and covariances,
equivalently, the first and second order moments:

E(X_i), E(X_iX_j), 0 < i <= j < D+1.

These are more than D(D+1)/2 constraints (tens of thousands to hundreds of thousands).
Here E denotes the expected value and "constraint" means: the expected values E(X_i), E(X_iX_j)
equal the sample means.

If you want to capture the phenomenon of "fat tails" in a high dimensional space you must go further
and impose constraints on all moments up to order 3:

E(X_i), E(X_iX_j), E(X_iX_jX_k), 0 < i <= j <= k < D+1. (*)

These are millions to hundreds of millions of constraints.
But this is only a minimal approach to the "fat tails" in a high dimensional space.

If you go up to moments of order 4 you have billions of constraints.
Let us list three problems with which we are now faced:

(A) Computation is beyond the ability of current computers.

The maximum entropy distribution satisfying these constraints (*) has a known form but
cannot realistically be computed explicitly.
Even if I were to give it to you explicitly the computational load is too high for
simulating from this distribution.

The same will be true for all other distributions satisfying the contraints:
A distribution satisfying hundreds of millions of constraints will have hundreds of millions of
intricate details (as many terms as constraints) each necessitating computation so that you will
be overwhelmed by the computational load.

Recall that you want to generate at least tens of thousands of samples from this distribution
leading to hundreds of billions to trillions of floating point operations. ...

(B) Insufficient data to support the constraints ...

(C) Impossibility to simulate adequately many scenarios. ..."

 
At 16 mars, 2010 16:49, Anonymous Anonym said...

http://lumerkoz.edu So where it to find, http://www.comicspace.com/atrovent/ gretchen ments http://riderx.info/members/Buy-Meridia-Online.aspx arteaga http://rc8forum.com/members/Buy-Zofran.aspx towelettes http://talkingaboutwindows.com/members/Buy-Clarinex/default.aspx synthetics http://riderx.info/members/Buy-Doxycycline.aspx mirel

 

Skicka en kommentar

<< Home