Détargeting – Optimisation des leviers de conversion

Publié le 17 mai 2016 par bienvenudansladata

Publié dans Applications concrètes de la data Laisser un commentaire

Le détargeting est une application des tests statistiques sur les sources de trafic web et notamment le retargeting.

Cette méthode reprend le principe de base témoin très utilisé dans les campagnes CRM pour voir l’apport réel de la campagne.

L’objectif est de déterminer l’apport réel (en incrémental) du retargeting.

On cherche à mesurer les internautes retargetés qui seraient revenus naturellement sur le site sans l’aide du retargeting. En effet, les cibles plus d’engagées ont des retours plus importants. En même temps, ces retours pourraient être les mêmes sans actions payantes.

Le principe est d’isoler une partie de l’audience de cette source de trafic.

Afin de s’affranchir du passé et des cookies déjà envoyés au prestataire, on ne fait le test que sur les nouveaux cookies.

Une fois qu’un cookie est envoyé au prestataire l’ensemble de sa navigation future doit être envoyé au prestataire. Inversement, si le cookie n’est pas envoyé au prestataire, il ne doit pas être envoyé au prestataire tout au long de sa vie jusqu’à la fin du test.

Afin d’analyser le comportement des internautes et de pouvoir effectuer le test, on remonte les informations liés à l’internaute et sa navigation (l’objectif du site). Pour ce faire, on peut utiliser des outils de webAnalyse mettant à disposition des données à l’utilisateur (Xiti, Google Big Query, …) ou des outils « internes » de type DWH ou DMP.

Le test :

La problématique : Au global, est-ce que la population soumise au retargeting fait plus de conversion que la population non exposée ?

On pose les hypothèses :

H0 : mr=mnr

H1 : mr>mnr

Nous allons donc appliquer un ecole cherche homme a tout faire unilatérale.

Statistique de test :

http://bienvenudansladata.com/femme-cherche-homme-62

On peut ainsi obtenir le tableau de résultat suivant :

site rencontre jeune de plus de 50 ans

Attention, cette expérience comporte un certain nombre de biais :

Pour que les conditions d’expériences soient correctes et nous permettent de conclure, aucun autre changement ne doit intervenir dans les autres sources et sur le site pendant toute la durée du test
On estime que la suppression des cookies est un événement rare chez les internautes du site sur la période de test et est négligeable
Dans ce processus, nous ne disposons pas de la maîtrise d’un variable : la part de cookies adressés dans l’ensemble des cookies que le prestataire collecte. On peut supposer que cette variable n’est pas constante : Plus le pool de cookies collecté est faible et plus la proportion de cookies non adressés est faible toute chose égale par ailleurs (budget)

Tests statistiques – Les pièges à éviter

Publié le 22 avril 2016 par bienvenudansladata

Publié dans Applications concrètes de la data Laisser un commentaire

Les tests statistiques sont des outils puissants mais

Voici 4 erreurs fréquentent dans la mise en place d’un test :

– Toute chose égale par ailleurs

Un test statistique doit se dérouler dans un environnement stable afin que les différences que l’on mesure puissent être attribuées au phénomène que l’on veut mesurer. Par exemple, sur un site web si on fait 2 modifications, les résultats observés ne pourront pas être attribués à l’une ou à l’autre des modifications mais à la combinaison de ces 2 éléments.

Un test doit se faire toute chose égale par ailleurs : entre la population témoin et la population de test uniquement un élément doit différé.

– Significativité

La significativité est un élément très important du test. En effet, tant que le test n’est pas significatif, vous ne pouvez rien conclure.

Au delà du chiffre de significativité, faites attention à ce que le test soit intrinsequement significatif :

Par exemple, si vous observez des comportements totalement différents en fonction des jours de la semaine, menez un test au minimum sur 1 semaine.
Si votre activité a de fortes saisonnalités, n’hésitez pas à retester la fonctionnalité lors de vos différents saisons.

– Représentativité

La population et la population témoin doivent avoir les mêmes caractéristiques.

Attention au biais du à l’échantillonnage.
– Mise en place en amont du test : kpi, population, …

L’erreur provient souvent de la définition du test et de sa mise en place à la lecture des résultats.

Pour être sur d’avoir des résultats objectifs et non biaisé par notre souhait de valider nos hypothèses, il est préférable de définir l’ensemble du test en amont de sa mise en place. Aussi, mettez-vous d’accord sur la population testée, la mesure de succès du test, le risque, …

Ainsi, vous pourrez être serein à la lecture des résultats.

Tests Statistiques – Test d’indépendance du khi2

Publié le 22 mars 2016 par bienvenudansladata

Publié dans Stats pour les nuls 2 Commentaires

Dans cet article, je vais tenter de vous expliquer le test d’indépendance du Khi 2 (ou Chi 2). Nous verrons d’abord la théorie puis un exemple pratique.

Le problème :

On souhaite savoir avec une marge d’erreur de 5% si les j populations sont identiques / ont le même comportement.

Pour ce faire, on observe un phénomène X sur j populations de taille nj.

Le phénomène X a i finalités.

On a donc le tableau de contingence suivant :

La solution :

1. Hypothèse :

Ho : les j population sont indépendantes

H1 : les j population ne sont pas indépendantes

2. Risque α =5%

3. Choix du test : Test non paramétrique d’indépendance du Khi2

4. Statistique de test :

On va calculer le khi2 de notre jeu de données c’est-à-dire la distance entre les données observées et les données théoriques attendues (ici la répartition des individus dans le cas d’une indépendance).

5. La zone de rejet

Pour calculer la zone de rejet, on doit calculer le nombre de degrés de liberté.

Les degrés de liberté correspondent au nombre maximum de valeurs du modèle telles qu’aucune d’entre elle n’est calculable à partir des autres.

Dans le cas du Khi 2, on le calcule par (nombre de colonnes de la table -1 ) x (lignes-1).

On peut trouver la valeur de comparaison grâce à cette table :

Si le khi2 calculé est supérieur à la statistique théorique, on rejette Ho.

Reprenons notre exemple de lien entre le genre et l’impact de la consommation d’alcool :

ddl = (3-1)*(2-1)=2

A 5%, la statistique théorique est 10,60.

On rejette donc Ho. Les deux populations sont donc dépendantes.

Lien entre deux variables, les pièges à éviter

Publié le 17 mars 2016 par bienvenudansladata

Publié dans Applications concrètes de la data Laisser un commentaire

Nous avons vu des indicateurs permettant de mesurer le lien entre deux variables : coefficient de corrélation et le khi2/V de Cramer.

L’étude des relations entre phénomènes est un jonchée de pièges dans lesquels il est facile de tomber et qu’il faut apprendre à éviter :

Corrélations croisées
Corrélation ≠ causalité

Pièges n° 1 : les corrélations croisées

Pour illustrer ce point, je vous propose de prendre l’exemple (célèbre) de la détection de cause d’une maladie infantile. Un médecin se propose d’étudier le comportement des enfants et d’observer les différences de comportement entre les enfants malades et les enfants non malades :

L’étude conclut à un lien entre le fait de manger de la glace et celui de contracter la maladie :

Dans cette conclusion, il y a une erreur due aux corrélations croisées. Effectivement, le lien entre l’apparition des 2 événements n’est du qu’au lien qui existe entre ces 2 événements et la température extérieure.

Dans l’étude des liens entre des événements, il faut toujours se demander si on n’oublie aucun facteur extérieur.

Pièges n° 2 : Corrélation ≠ causalité

La corrélation ne signifie pas la causalité.

Les indicateurs de corrélation ou de dépendance ne donnent pas de sens à la corrélation.

Statistiquement, aucun indicateur permet de déterminer le sens de la corrélation.

Comment faire ?

On peut :

Regarder l’arrivée dans le temps des événements.
Mettre en place un protocole d’expérimentation pour contrôler l’impact d’un phénomène sur l’autre.

Dépendance – Définition, Indicateurs et applications

Publié le 15 mars 2016 par bienvenudansladata

Publié dans Stats pour les nuls Laisser un commentaire

Le principe de dépendance entre 2 variables qualitatives se base sur les probabilités.

Prenons plusieurs exemples pour illustrer la dépendance :

Un premier exemple pour bien différencier les événements indépendants et dépendants avec le tirage aléatoire de chiffre.

Ainsi dans le cas de dépendance, les probabilités de tirer le chiffre 2 et 3 ont évolué au 2ème tirage.

Prenons un autre exemple : Biochimiquement, il a été prouvé que les hommes résistent mieux à l’alcool que les femmes.

Clairement, l’évolution de l’alcoolémie dépend du genre de l’individu observé.

Repassons un instant à la théorie :

Deux indicateurs vont nous permettre de statuer sur le phénomène d’indépendance : Khi-2 et V de Cramer

Le khi-2 correspond à la distance entre les données observées et les données théoriques attendues (ici la répartition des individus dans le cas d’une indépendance).

Principe :

Calcul d’effectifs théoriques
Calcul de la différence par rapport à la théorie
Indicateur global de la différence par rapport à l’indépendance

On considère le tableau de contingence suivant :

Le khi-2 se calcule selon la formule suivante :

Le V de Cramer se calcule selon la formule suivante :

Si on reprend notre exemple sur l’alcoolémie et son lien avec le genre de l’individu.

Nous disposons des données suivantes :

Les effectifs théoriques sont donc les suivantes :

(effectifs dans l’hypothèse d’indépendance : 3,12=(26*6)/50)

On peut donc calculer la distance à cette effectif théorique :

(1,13=(5-3,12)²/3,12)

On obtient donc :

Tests Statistiques – Test de la moyenne

Publié le 24 février 2016 par bienvenudansladata

Publié dans Stats pour les nuls Laisser un commentaire

Le problème :

On souhaite savoir avec une marge d’erreur de 5% si les deux populations ont la même moyenne.

Pour ce faire, on observe la variable quantitative X sur deux échantillons de taille n1 et n2.

On calcule sur chacun des 2 échantillons :

La moyenne de la variable X notée m1 et m2
L’écart-type de la variable X noté S1 et S2

On note les valeurs théoriques sur les 2 populations :

La moyenne de la variable X notée x1 et x2
L’écart-type de la variable X noté σ1 et σ2

La solution :

1. Hypothèse : Ho : x1=x2 H1 : x1≠x2

2. Risque α =5%

3. Choix du test : Test paramétrique de moyenne

4. Statistique de test et zone de rejet:

Exemple

Le problème :

On souhaite savoir avec une marge d’erreur de 5% si les deux pages ont le même taux de conversion par utilisateur.

Pour ce faire, on observe deux échantillons de 2 000 et 600 utilisateurs.

On calcule sur chacun des 2 échantillons :

La moyenne du taux de conversion est de 5,1% et 5,8%
L’écart-type du taux de conversion est de 0,84 et 0,89

La solution :

1. H0 : Les deux pages ont le même taux. H1 : les deux pages ont des taux différents

2. α =5%

3. Test paramétrique de moyenne Sous H0, U=f(σ) suit une loi normale N(0,1)

4. Statistique de test

5. La zone de rejet à 95% : u> 1,96

6. Conclusion : 0,17<1,96 On accepte H0 : les deux pages ont le même taux.

Tests Statistiques – Test de proportion

Publié le 18 février 2016 par bienvenudansladata

Publié dans Stats pour les nuls Laisser un commentaire

Le problème :

On souhaite savoir avec une marge d’erreur de 5% si les deux populations ont la même proportion.

Pour ce faire, on observe la variable dichotomique X sur deux échantillons de taille n1 et n2.

On calcule sur chacun des 2 échantillons :

La proportion notée p1 et p2

On note les valeurs théoriques sur les 2 populations :

La moyenne de la variable X notée P1 et P2

La solution :

1. Hypothèse : Ho : P1=P2 H1 : P1≠P2

2. Risque α =5%

3. Choix du test : Test paramétrique de moyenne

4. Statistique de test et zone de rejet:

Exemple

Le problème :

On souhaite savoir avec une marge d’erreur de 5% si les deux versions ont le même taux d’internautes ayant fait au moins 1 contact.

Pour ce faire, on observe deux échantillons de 2 000 et 600 internautes.

On calcule sur chacun des 2 échantillons :

La proportion est de 2,1% et 2,8%

La solution :

1. H0 : Les deux pages ont la même proportion H1 : les deux pages ont des proportions différentes

2. α =5%

3. Test paramétrique de moyenne Sous H0, U=f(p) suit une loi normale N(0,1)

4. Statistique de test :

5. La zone de rejet à 95% : u> 1,96

6. Conclusion : 0,93<1,96 On accepte H0 : les deux pages ont le même taux.

Tests statistiques – Les différents types de tests

Publié le 11 février 2016 par bienvenudansladata

Publié dans Stats pour les nuls 2 Commentaires

Une fois les hypothèses posées et le risque choisi, il nous faut prendre le type de test adapté à notre situation.

Plusieurs tests sont à notre disposition selon 4 axes :

Type de test

Tests paramétriques : Test des paramètres de la série en faisant l’hypothèse d’une distribution (souvent normal)

Tests non paramétriques : Test de la série sans hypothèse de distribution.

Test paramétrique et non paramétrique - Avantages et inconvénients

Finalité du test

Conformité : La valeur observée dans mon échantillon est bien celle attendues (correspondant à un standard)
Adéquation : La série suit la même distribution qu’une loi choisie à priori (souvent la loi normale)
Homogénéité : Les échantillons proviennent de la même population, ie la variable d’intérêt a le même comportement sur l’ensemble des échantillons
Indépendance : il existe une liaison entre les variables.

Type de variables

Qualitatives
Quantitatives

Nombre et le type d’échantillons

Un seul échantillon
Deux ou plus échantillons
- Appariés
- Indépendants

On verra par la suite des exemples concrets de tests avec notamment le test de moyennes.

Tests statistiques – Définition et principe

Publié le 14 janvier 2016 par bienvenudansladata

Publié dans Stats pour les nuls Laisser un commentaire

Les tests statistiques font partie de ce que l’on appelle la statistique inférentielle.

Au contraire de la statistiques descriptives, on va utiliser des lois de probabilités afin de prendre une décision dans une situation faisant intervenir une part de hasard. Effectivement, dans les tests statistiques, on ne va pas travailler sur une population mais sur un échantillon.

Les tests statistiques sont ainsi souvent utilisées pour isoler une partie de la population d’une influence. On forme ainsi une population témoin.

Par exemple :

Dans le domaine médical, on isole 2 échantillons : le premier soumis a un médicament et le second non soumis. On observe ainsi l’effet du médicament.
Dans le domaine du web, on parle d’ABTest, on isole une partie de la population afin de tester l’effet d’une nouvelle page, d’une modification d’un bloc sur la page, …

Les définitions d’un test statistique

Les tests statistiques sont des tests dits d’hypothèses.

On pose donc 2 hypothèses :

L’hypothèse $H_0$ , l’hypothèse nulle qui est la proposition que l’on considère vraie a priori
L’hypothèse $H_1$ , l’hypothèse alternative

Par exemple : Pour un test médical (test de grossesse), on pose les hypothèses suivantes :

$H_0$ : la patiente n’est pas enceinte (bHCG=0)
$H_1$ : la patiente est enceinte (bHCG>0)

Remarque : $H_0$ et $H_1$ ne jouent pas le même rôle. En effet, L’ensemble du raisonnement est fait sous $H_0$ . $H_1$ n’est choisi que par défaut si $H_0$ ne convient pas.

A ce stade, on cherche à valider une ou l’autre des hypothèses. Nous sommes en statistiques inférentielles, on se donne donc une « marge d’erreur » que l’on appelle risque. Il en existe deux sortes :

Le risque de première espèce α représente la probabilité de rejeter $H_0$ alors qu’elle est vraie. Donc 1-α représente la confiance du test
Le risque de seconde espèce β représente la probabilité d’accepter $H_0$ alors qu’elle est fausse. Dans 1-β représente la puissance du test

Dans notre exemple : on a :

α est la probabilité de conclure enceinte des patientes pas enceintes. Donc, la confiance est la proportion de patients pas enceintes déclarées pas enceinte.
β est la probabilité de conclure pas enceinte des patientes enceinte. Donc, la puissance est la proportion de patientes enceintes bien détectées.

Remarque : α et β dépendent l’un de l’autre : la diminution de l’un provoque l’augmentation de l’autre à périmètre égal. Afin d’améliorer ces deux critères il faut augmenter la taille de l’échantillon.

Une fois les hypothèses posées et le risque choisi, il nous faut prendre le type de test adapté à notre situation et ainsi définir notre statistique de test. C’est en comparant cette statistique de test calculé sur notre échantillon à sa valeur « théorique » sous l’hypothèse $H_0$ que nous pourrons conclure au test. En résumé, la statistique de test est une fonction mathématique qui résume l’information sur notre échantillon que l’on souhaite tester. On choisit cette statistique de test pour pouvoir calculer sa loi sous $H_0$ . Plusieurs types de tests sont à notre disposition, nous en verrons un certain nombre dans la suite de cet article et dans ce dossier.

Nous avons désormais la loi de distribution de notre statistique sous $H_0$ . Nous allons pouvoir donc définir la région de rejet. La région de rejet correspond aux valeurs extrêmes de la distribution de notre statistique sous $H_0$ de sorte que la probabilité α que l’échantillon observé ait une valeur parmi celles-ci est très faible.

Il existe deux types de région de rejet :

Unilatérale : on souhaite savoir si le paramètre est trop grand ou si il est trop petit sans se soucier de l’autre côté
Bilatérale : on souhaite savoir si le paramètre est différent

Ainsi, les zones de rejet peuvent se représentées comme cela :

Concrètement, on obtient un intervalle de confiance où la statistique de test à 95% de chance de se trouver.

En résumé, pour faire un test statistique, voici les étapes à suivre :

Poser l’hypothèse $H_0$ (et $H_1$ )
Choix du risque α
Choix du type de test et de sa lateralité si besoin
Calcul de la statistique de test
Calcul de la région de rejet
Conclusion

Découvrez tout de suite les différents types de tests statistiques ici

Une année 2016 sous de signe de la Data

Publié le 4 janvier 2016 par bienvenudansladata

Publié dans Applications concrètes de la data Laisser un commentaire

Je vous souhaite une merveilleuse année 2016 et que tous vos projets Data aboutissent 😀

Pour bien commencer l’année, Bienvenu dans la data a fait peau neuve. J’espère que cela vous plaira.

En ce début d’année, je vous propose de commencer un nouveau dossier sur les tests statistiques qui se terminera sur des exemples concrets d’application de ces tests.

J’espère que ce sujet vous passionnera autant que moi :D.

N’hésitez pas à me faire vos retours.

Page suivante »

Pour que les conditions d’expériences soient correctes et nous permettent de conclure, aucun autre changement ne doit intervenir dans les autres sources et sur le site pendant toute la durée du test

On estime que la suppression des cookies est un événement rare chez les internautes du site sur la période de test et est négligeable

Pièges n° 1 : les corrélations croisées

Pièges n° 2 : Corrélation ≠ causalité

Exemple

Exemple

Les définitions d’un test statistique

Remarque : et ne jouent pas le même rôle. En effet, L’ensemble du raisonnement est fait sous . n’est choisi que par défaut si ne convient pas.

Remarque : α et β dépendent l’un de l’autre : la diminution de l’un provoque l’augmentation de l’autre à périmètre égal. Afin d’améliorer ces deux critères il faut augmenter la taille de l’échantillon.

Remarque : $H_0$ et $H_1$ ne jouent pas le même rôle. En effet, L’ensemble du raisonnement est fait sous $H_0$ . $H_1$ n’est choisi que par défaut si $H_0$ ne convient pas.