Min drøm om Big Data-forudsigelser

“Det er svært at spå – især om fremtiden.”

Det er min drøm engang at forudsige hændelser eller udviklinger ved hjælp af twitter. Siden vi startede vores egen virksomhed i start-2011 har det været mit fokus. Altså når fokus ikke var hverdag, kundeopgaver, overlevelse og mad på bordet.

Inspirationen kommer af en videnskabelig artikel fra oktober 2010, hvor forskere mener de kan forudsige aktiemarkedet ud fra “public mood” som analyseret i twitterbeskeder. Siden da er artiklens metoder blevet kritiseret, men samtidig er en eller flere investeringsfonde blevet til baseret på artiklens principper. Den første investeringsfond lukkede dog efter en måned (efter sigende fordi de hellere ville bruge disse kræfter på et større marked end deres oprindelige investorer) – men det var en måned, hvor de klarede sig bedre end forventet i deres forudsigelser. Det er ikke helt usandsynligt at twitter-analyser er en del af værktøjskassen hos diverse investeringsfonde i dag i en eller anden form.

Vi startede i vores lille firma med at lave et værktøj, som kunne give os større overblik over et emnes vigtighed på de sociale medier. Resultatet blev xiive.com – en søgemaskine, som kan vise dig hvor meget et emne fylder i forhold til et andet emne på de sociale medier. Twitterdata dominerer her, fordi vi på alle platforme kun har adgang til offentlige data, og twitter er den mindst lukkede platform af dem vi har kigget på. Xiive.com kan også vise dig trendkurven fra de sidste 30 dages aktivitet på et emne.

Historien om xiive er desværre ikke helt lige til. Måneden efter launch døde min far. Vores hverdag fungerede i høj grad på grund af ham – vores kontor (og officielle adresse) var på andensalen i hans hus, selv om vi som regel sad rundt om i verden og arbejdede. Da han døde var vi tilfældigvis hjemme i en måned og det var os der fandt ham. Den næste del af vores liv blev meget kaotisk og xiive.com gled i baggrunden.

Drømmen døde dog ikke selv om vores liv var blevet vendt på hovedet. Vores nye omstændigheder krævede en del mere kapital og vi brugte det næste års tid på at få styr på livet, familien og økonomien igen. Tankerne om twitterforudsigelser levede videre i baghovedet og i samtaler med venner.

Som et af vores sideprojekter kom rouqk.com (udtales rock) til og viste at man ind imellem kan skelne trends ud fra almindeligheden – signal ud fra støjen. Rouqk.com analyserer twitters firehose (en procentdel af alle tweets) hvert 20 minut og spytter en liste af potentielle trends ud. Desværre er det nemmere at lave stopord-lister på sprog man selv forstår, så der er en del støj fra ikke-engelske tweets. Spam skal man også være fremme i skoene for at undgå, fordi det typisk har en kortvarig men voldsom aktivitet – ligesom de trends jeg leder efter.

Tanken er på sigt at forbedre Rouqk til at genkende en trend. Ikke en trend hvert 20 minut, men trends der virkelig skiller sig ud. Gerne hurtigere end 20 minutter – 20 minutter er en evighed i twitter-tid, hvis det er Boston Marathon Bombings, man genkender (eksemplet valgt, fordi jeg hørte om det via twitter ca. 5 minutter før det dukkede op på Rouqk og ca. 20 minutter før danske medier havde noget).

Noget arbejdet med Rouqk har lært mig er at man kan analysere sig frem til trends man ikke vidste eksisterede (siger noget om bias i data eller mangel på samme). Om lørdagen lærer jeg fodboldudtryk og det er tydeligt i data, når der er Superbowl eller bare større sportsevents. Justin Bieber og diverse boybands er lidt sværere at se en trend om, fordi der er et konstant støjniveau af tweets om dem.

En mulig forbedring af Rouqk ville også være at “regne tilbage” til det tweet der startede eller var central i trenden, så man kan se lidt mere om hvad der ligger til grund for at Rouqk sætter den trend på listen.

Alt vores arbejde indtil nu har altså fokuseret på at få lidt styr på den datamængde der er og ikke forudsige, men sortere, søge i og fremhæve elementer.

Der er mange veje at gå nu. For at komme frem til et resultat, hvor man f.eks. kunne forudsige hvordan en trend ville udvikle sig, ville man umiddelbart skulle analysere trendkurver, spotte trends der ligner hinanden eller trends man har en historik på og lignende tiltag (og det er langt fra sikkert at der er et brugbart mønster man kan spotte, gribe fat i og bruge).

I dag ser man især forudsigelser som baserer sig på konkurrencer afgjort af offentlig meninger. Det er f.eks. Melodi Grand Prix, politiske valg, filmsucceser og talentkonkurrencer, hvor offentligheden stemmer. Andre forudsigelser analyserer mønstre af f.eks. sygdom (klager over hovedpine, influenza og forkølelse er åbenbart mere udbredt på sociale medier, end jeg havde troet) og forudsiger epidemier. Forudsigelser af aktiemarkeder er også en mulighed, men bestemt ikke et domæne, jeg umiddelbart har lyst til at kaste mig over.

Lige nu har jeg mest lyst til at pudse xiive op igen og hive den frem fra mølposen. Vi har købt et nyt domæne (socialmetr.com), som ville passe godt til en nyindpakning af xiive… vi gav ikke sitet en ordentlig chance tilbage i 2012, da vi launchede, og det tror jeg vi er ved at være klar til nu.