VABALOG

Netflixi auhinnast kaks aastat hiljem

Netflixi auhinna välja kuulutamisest on tänaseks möödas natuke üle kahe aasta. See periood on piisavalt pikk, et võimaldada varasemaid arvamusi ja seisukohti tegelikkusega kõrvutada – ehk isegi midagi tuleviku kohta öelda.

Kuna kõik lugejad ei pruugi Netflixi auhinnaga kursis olla, siis olgu lühidalt öeldud, et Netflix on DVD’sid USA’s postiteel laenutav ettevõtte, mis on enda veebipõhise soovitussüsteemi algoritmi 10% täpsema/parema tulemuse eest välja pakkunud 1 miljon dollarit. Auhind on saadaval kokku 5 aastat, kuid pideva süsteemi täiendamise nimel jagatakse igal aastal ka 50 000 dollari suurune progressiauhind – seda eeldusel, et eelneva aasta progressiauhinna pälvinud tulemust on vähemalt 1% protsendi võrra parandatud. 

2007. aasta progressiauhind läks meeskonnale KorBell 8,43% täpsemate soovituste eest. Praeguse seisuga juhib Netflixi auhinna edetabelit kahe varem iseseisvalt tegutsenud meeskonna ühistiim, mille ühe osa moodustab KorBell ja teise Big Chaos. KorBell in BigChaos viimane ametlikult registreeritud tulemus on 9,44% täpsem Netflixi Cinematch süsteemist ja ühtlasi 2008. aasta progressiauhinna kandidaat. 

Lõplikust eesmärgist on puudu jäänud ainult närused pool protsenti, kuid tundub, et see tuleb väga raskelt. Kui esimese aasta jooksul paranes tulemus enam kui 8%, siis viimase aastaga on suudetud algoritmidest ja filtritest välja pigistada vaid 1% parem tulemus. 

Progressi olulist aeglustumist võis täheldada juba eelmisel aastal, kui postituses Subjektiivsete hinnangute problemaatilisusest ehk Netflixi auhinnast oli juttu sellest, et inimeste hinnangutele põhineva soovitussüsteemi kõige suuremaks nõrkuseks võib osutuda inimene mitte algoritm. Nii inimese emotsionaalne seisund kui seltskond kellega filmi vaadati võivad hinnangut oluliselt mõjutada. Täpselt samuti võib mõni hindaja olla väga karm, teine väga leebe samas kui kolmas hindaja võib osutuda hoopis terveks perekonnaks, kus iga perekonna liige annab erinevale filmile hinnangu. Probleeme on teisigi, kuid läbivaks jooneks on nende puhul ikka ja jälle inimeste ettearvamatus.

New York Times’is ilmus mõned päevad tagasi pikem artikkel Netflixi auhinna telgitagustest ehk inimestest, kes on edetabeli nimede taga, kuid ka probleemidest, mis takistavad süsteemi oluliselt täiendamast. Üheks taoliseks probleemiks on Napoleon Dynamite nimeline film:

“Napoleon Dynamite,” an indie comedy from 2004, achieved cult status and went on to become extremely popular on Netflix. It is, Bertoni and others have discovered, maddeningly hard to determine how much people will like it. The reason is that “Napoleon Dynamite” is very weird and very polarizing. It’s the type of quirky entertainment that tends to be either loved or despised. The movie has been rated more than two million times in the Netflix database, and the ratings are disproportionately one or five stars.

Worse, close friends who normally share similar film aesthetics often heatedly disagree about whether “Napoleon Dynamite” is a masterpiece or an annoying bit of hipster self-indulgence. When Bertoni saw the movie himself with a group of friends, they argued for hours over it. “Half of them loved it, and half of them hated it,” he told me. “And they couldn’t really say why. It’s just a difficult movie.”

Mathematically speaking, “Napoleon Dynamite” is a very significant problem for the Netflix Prize. Amazingly, Bertoni has deduced that this single movie is causing 15 percent of his remaining error rate; or to put it another way, if Bertoni could anticipate whether you’d like “Napoleon Dynamite” as accurately as he can for other movies, this feat alone would bring him 15 percent of the way to winning the $1 million prize. And while “Napoleon Dynamite” is the worst culprit, it isn’t the only troublemaker.

Times’i artikli teine pool käsitleb aga soovitussüsteemide järjest kasvavat rolli veebis, kus valikud on meeletult laiad (100 000 filmi, 1 000 000 raamatut) ja ainus võimalus mõistliku aja jooksul endale midagi sobivat leida peale esialgsete ideede ammendumist, on kasutada soovitussüsteemi

Näiteks Netflixi puhul liituvad teenusega enamasti inimesed, kes teavad paari tosinat filmi, mida vaadata soovivad, kuid kui need on vaadatud, siis kipuvad ka kliendid kaduma kui sa ei suuda neile midagi huvitavat soovitada:

Netflix Cinematch has, in fact, become a video-store roboclerk: its suggestions now drive a surprising 60 percent of Netflix’s rentals. It also often steers a customer’s attention away from big-grossing hits toward smaller, independent movies. Traditional video stores depend on hits; just-out-of-the-theaters blockbusters account for 80 percent of what they rent. At Netflix, by contrast, 70 percent of what it sends out is from the backlist — older movies or small, independent ones. A good recommendation system, in other words, does not merely help people find new stuff. As Netflix has discovered, it also spurs them to consume more stuff.

For Netflix, this is doubly important. Customers pay a flat monthly rate, generally $16.99 (although cheaper plans are available), to check out as many movies as they want. The problem with this business model is that new members often have a couple of dozen movies in mind that they want to see, but after that they’re not sure what to check out next, and their requests slow. And a customer paying $17 a month for only one movie every month or two is at risk of canceling his subscription; the plan makes financial sense, from a user’s point of view, only if you rent a lot of movies. (My wife and I once quit Netflix for precisely this reason.) Every time Hastings increases the quality of Cinematch even slightly, it keeps his customers active.

Artikkel ise on eelkõige soovitussüsteemidest olulisuse kasvust laiemalt ja kasutab Netflixi auhinda pigem probleemide ja väljakutsete illustreerimiseks ehk isegi võimalike edasiste läbimurrete üle spekuleerimiseks, mis peaks huvi pakkuma ka neile, kellele auhinnad ise erilist huvi ei paku.

Muide, alguses viidatud Vabalogi postituses leiab viitamist ka Tom Slee üks vanem postitus. Mees pole aastaga blogosfäärist kuhugi kadunud ja pakus hiljuti omalt poolt välja 12 teesi Netflix’ile, mis on päris tabavad ja igati teemasse. Näiteks kolmas tees on:

Recommender systems will get better. Ten years ago they were largely improvised. Now you can do a Ph.D. in recommender systems and there are international academic conferences all about them. The subject is ideal for academics – it is algorithmic and yet open ended, with many different approaches and criteria for success. It’s an endless playground for exploration and simulation.

Saab näha, kas järgmise aasta jooksul võidetakse lõpuks ka Netflixi peaauhind.

Ilmselgelt on progress oluliselt aeglustunud, kuid samas oli vaid mõned kuud peale auhinna välja kuulutamist inimesi, kes olid veendunud, et parim tulemus terve 5 aasta peale jääb 6-8% vahele. Arvestades sellega, et tänane parim tulemus on 9,44% täpsem Cinematchist, jään mina ootama Netflixi auhinna võitjat.

Loodetavasti ei pea üle aasta ootama. Järgmine kord Netflixi auhinnast hiljemalt aasta pärast.


Categorised as: ...


2 kommentaari

  1. mcv ütleb:

    Lihtsalt rahvusliku uhkuse mõttes – see sõna peaks olema ikkagi ‘algoritm’ mitte ‘algorütm’. Muidu igati hea lugu.

  2. Jüri Saar ütleb:

    Piinlik lugu selle “rütmiga” – tegin vastavalt parandused. Tänud.

Lisa kommentaar

Sinu e-postiaadressi ei avaldata. Nõutavad väljad on tähistatud *-ga