Categorie archief: Big data

Why Your Product Should be Free

Two weeks ago, there was some tension in the Netherlands about a big bank starting an experiment. They wanted to use the debit card payment data from the customers to offer them customized advertisements of other companies. Of course, this was because they wanted “higher customer satisfaction”, because “It’s not about making money” (link). Strangely, this triggered all kinds of people to react about the privacy issues.

What does this have to do with products being free? It has to do with the perception of your customers. Generally speaking, customers have an expectation about a product: they get something (functionality, service, etc.), and they are willing to pay for it (with cash or advertisement / private data). With this, they estimate very natural: if something is twice as expensive, they will expect about twice as much from it. Two kilos of apples will cost around 6 euros if one kilo costs 3 euro. If I use software that better suits my needs, I am willing to pay more. However, when the price reaches zero, the comparing gets much tougher. If I pay nothing for using Google search for one hour, how much do I pay for using it for two hours? If I can use Facebook messenger for free, why would I pay for alternatives that do exactly the same?

On the other hand, companies have to earn money to be able to deliver the product or service. In the ‘normal’ economy, they ask a price for their product that covers the expenses of making it, plus some profit. However, in the data-oriented world, this money is not solely earned from the customers, but also by selling the data (or by providing targeted advertising based on that). So when the price hits zero for the customer, the company earns money in another way to be able to deliver the product or service. The problem is, you never know how much the company is earning on your data. So, if the company gets twice as clever in making money on your data, you will notice… nothing. At best you will get a new feature (“Hey, I can get a free email account!”).

People are used to having free access to software (search, social networks, email, messaging, gaming). On the other hand, they are used to pay for other stuff (apples, bread, computers, etc.). So what went wrong at the ING bank? They are in the ‘other stuff’ business because they are asking money for their services. Would the customers be bullying about privacy if they were told they did not have to pay the bank anymore for the use of internet banking, debit and credit cards? Or, that they would get 2 euro per month for their participation on the project? Or 50 Euro per month? Or 2000 Euro per month? I know for sure there will be tipping point for everyone, even the die-hard privacy fighters.

But that cashback is never happening. Even if a company has increased its earnings on my data by 1000 euro per month, they still will tell me I am lucky because I can use their service “for free” :-). And the ING? They decided to cancel the pilot after a week, because of the privacy problems that were raised by the customers.

By guest author Jan Salvador van der Ven

De zin- en onzin van big data

Een jaar geleden was ik met een project bezig waarbij we een tool probeerden te bouwen die van alle content nauwkeurig bij kon houden wanneer deze populair werd. Feitelijk stuurde het programmaatje iedere URL naar Facebook en Twitter, en kreeg daarbij het aantal keer terug dat de pagina gedeeld, geliked en geshared was. Niks bijzonders.

Tot de hoeveelheid URL’s die we aan Facebook ‘voerden’ groeide snel, omdat we RSS feeds gebruikten waarvan de omloopsnelheid hoog was. Waar Facebook van iedere like moeiteloos opslaat hoe vaak die voorkomt (vaak het getalletje naast de like button) is dit zelf iets ingewikkelder. Daarom gingen we over van iedere minuut naar ieder kwartier om onze eigen servers te ontlasten. En toen dat niet helemaal werkte switchte de developer van server technologie (naar MongoDB voor de liefhebbers) en begon te werken met threaded crons die meerdere batches aan data tegelijkertijd op konden halen.

Waar de datahoeveelheid onder MongoDB relatief snel groeide (paar honderd mb per dag) rezen hele andere problemen. Hoe vertoon je op een snelle en vooral eenvoudige manier al deze data. Gelukkig hadden we niet het probleem dat de data nog moest worden bewerkt, we waren al blij met simpele metrics, bijvoorbeeld datum- en tijdsstempel, URL van de pagina en het aantal likes op die gegeven periode en die konden in eén keer zonder nabewerking de database in worden gestopt.

Interessanter is het pas aan de voorkant. Hoe toon je relatief eenvoudige data die toch groot is qua omvang? Ik zal je de details besparen, maar feit is dat we lang hebben lopen aanrommelen om de data op een eenvoudige manier weer te geven zodat deze niet alleen leesbaar was, maar ook nuttig voor marketeers en productmanagers. Hier strande het project ook: we konden geen manieren vinden om een bruikbare interface om de data heen te bouwen, en dat was uiteindelijk wel een vereiste. Big data is geen probleem: er is genoeg (open source) technologie voorhanden om er iets mee te doen, maar het vereist kennis, doorzettingsvermogen en duidelijke doelstellingen om ook daadwerkelijk tot een product te komen dat op een goede manier iets kan doen met grote hoeveelheden data. Het sprekendste voorbeeld zijn de hoeveelheid Twitter-monitoring tools. Er zijn extreem veel pakketten beschikbaar, maar weinig zijn er maar eécht goed, hoewel ze in wezen allemaal hetzelfde doen: intappen op een rijke datasource, en het resultaat hiervan weergeven in een dashboard.