Test ABX "Chez Jalot" : câbles de modul. et amplis

[Pio2001]

+1 avec l'idée de doux sur l'effet pervers des tests en instantané ; Je ne sais pas si c'est un effet de la mémoire auditive qui percute plus facilement sur le long terme... Combien d'entre nous n'ont pas perçu de différences flagrantes de sonorité

C'est un point intéressant : dans le cas où le test échoue, si l'auditeur savait a priori faire la différence entre les deux appareils, et si le test s'est déroulé dans les conditions optimales permettant à cet auditeur de faire cette différence, alors l'échec est beaucoup plus instructif que dans le cas où l'on impose un extrait musical et une durée d'écoute à un auditeur qui ne sait pas ce qu'il va écouter.

Le plus fort, c'est quand l'auditeur jure que c'est A qui joue, tellement c'est évident, et qu'en fait c'est B. Il y a pas mal d'exemples de ce genre dans les tests de câble secteurs de Kiang et de Serinus.
Une variante, c'est quand les auditeurs sont absolument certains de réussir le test tellement c'est facile, mais échouent quand même. C'est le cas des tests de câbles de modul avec Rorominator, de haute définition avec Corsario, et d'amplis avec Vanvan et Frisounette (sic !).

[reglisse]

Extrait du post d'HCFR

Si une personne réussit le test, d'autres doivent vérifier si c'est possible, en le réussissant à leur tour.

Il me semblait que si une personne réussissait le test celui-ci était validé (voir plus haut dans la discussion) comme positif.

[reglisse]

+1 avec l'idée de doux sur l'effet pervers des tests en instantané ; Je ne sais pas si c'est un effet de la mémoire auditive qui percute plus facilement sur le long terme... Combien d'entre nous n'ont pas perçu de différences flagrantes de sonorité

C'est un point intéressant : dans le cas où le test échoue, si l'auditeur savait a priori faire la différence entre les deux appareils, et si le test s'est déroulé dans les conditions optimales permettant à cet auditeur de faire cette différence, alors l'échec est beaucoup plus instructif que dans le cas où l'on impose un extrait musical et une durée d'écoute à un auditeur qui ne sait pas ce qu'il va écouter.

Cela deviens de plus en plus aléatoire.

Le plus fort, c'est quand l'auditeur jure que c'est A qui joue, tellement c'est évident, et qu'en fait c'est B. .
Une variante, c'est quand les auditeurs sont absolument certains de réussir le test tellement c'est facile, mais échouent quand même. C'est le cas des tests de câbles de modul avec Rorominator, de haute définition avec Corsario, et d'amplis avec Vanvan et Frisounette (sic !).

Pas besoin de test ABX pour rencontrer ce genre d'individu...

Il y a pas mal d'exemples de ce genre dans les tests de câble secteurs de Kiang et de Serinus

As tu des résultats ABX sur les câbles secteur ?

[Pio2001]

Mais depuis le début de tes interventions tu prône le test ABX comme une vérité (moi je veux bien te croire) mais il faut donner quelques explications sérieuses.

Gné ?
Ne te laisserais-tu pas emporter par le lourd passif des guéguerres entre objectivistes et subjectivistes ? Ce n'est pas parce que quelques personnes s'emportent au-delà de toute raison qu'il faut partir du principe qu'on est en train de disputer un match de foot.
Je ne rentrerai pas dans le jeu du "c'est moi qui ai raison, donc les autres ont tort".

Prôner le test ABX comme une vérité... je ne vois même pas quel sens logique peut avoir cette phrase... une vérité de quoi ?
S'il s'agit de dire que les tests ABX existent réellement, alors oui, ils existent. J'en ai vu !
Est-ce que cela veut dire que leur résultat est vrai ? Si les testeurs sont honnêtes, oui. Ceux qui échouent ont vraiment échoué, et ceux qui réussissent ont vraiment réussi (bon, j'ai connu une exception : un échec transformé en succès en trichant un peu sur les scores).

Pour le reste, c'est-à-dire pour ce qu'ils prouvent, j'ai toujours présenté le fait de façon très neutre : comparaison de la vraisemblance des résultats avec les hypothèses de départ.
On lit souvent qu'un ABX réussit prouve que la différence existe, et qu'un ABX raté ne prouve rien. C'est un résumé un peu simpliste destiné à schématiser le sens dans lequel vont les statistiques. En réalité, tout est soumis aux contingences matérielles (d'où rigueur et sérieux appréciés) et aux interprétations traîtres des statistiques (d'où une exigence béton de 14/15, pour couper court à tout pinaillage).

Est-ce ce point mystérieux du "14/15" qui te semble prôné comme une vérité ? Je peux le comprendre. Le détail des calculs est perdu au fin fond du forum HCFR. On n'en a reparlé qu'une seule fois, et peu de gens ont suivi l'affaire.
Je peux le retrouver s'il y en a que cela intéresse. Ce doit être dans le sujet de préparation à la première rencontre des "kangourous".

[man]

Le souci c'est que cela fait un moment que Crao et Syber nous le prone comme une vérité ... voilà pourquoi tout ce débat ...

[selvageski]

As tu des résultats ABX sur les câbles secteur ?

pardon de vous déranger mais ça ça m'intéresse !!


(c'est juste pour savoir si je suis une vraie truffe ou si j'ai des chances de m'en sortir

[Crao]

Le souci c'est que cela fait un moment que Crao et Syber nous le prone comme une vérité ... voilà pourquoi tout ce débat ...

Je m'inscris en faux, et je suis réellement désolé si ça a été compris comme cela...

[reglisse]

Mais depuis le début de tes interventions tu prône le test ABX comme une vérité (moi je veux bien te croire) mais il faut donner quelques explications sérieuses.

Gné ?
Ne te laisserais-tu pas emporter par le lourd passif des guéguerres entre objectivistes et subjectivistes ?

Que néni, loin de là mais je ne suis pas là pour me justifier mais pour comprendre le sérieux du test.

Ce n'est pas parce que quelques personnes s'emportent au-delà de toute raison qu'il faut partir du principe qu'on est en train de disputer un match de foot.

C'est beau le sport malheureusement il y a parfois des hooligans qui gâchent l'anbiance.

Je ne rentrerai pas dans le jeu du "c'est moi qui ai raison, donc les autres ont tort".

Qui parle d'avoir raison ? pas moi, je ne fais que relever quelques points pour une meilleur compréhension.

Prôner le test ABX comme une vérité... je ne vois même pas quel sens logique peut avoir cette phrase... une vérité de quoi ?

La vérité à l'encontre de la subjectivité.

S'il s'agit de dire que les tests ABX existent réellement, alors oui, ils existent. J'en ai vu !

Ici aussi certains les ont vus

Est-ce que cela veut dire que leur résultat est vrai ? Si les testeurs sont honnêtes, oui. Ceux qui échouent ont vraiment échoué, et ceux qui réussissent ont vraiment réussi (bon, j'ai connu une exception : un échec transformé en succès en trichant un peu sur les scores).

C'est pas cool pour ceux qui n'ont pas entendu de différence.

Pour le reste, c'est-à-dire pour ce qu'ils prouvent, j'ai toujours présenté le fait de façon très neutre : comparaison de la vraisemblance des résultats avec les hypothèses de départ.
On lit souvent qu'un ABX réussit prouve que la différence existe, et qu'un ABX raté ne prouve rien. C'est un résumé un peu simpliste destiné à schématiser le sens dans lequel vont les statistiques. En réalité, tout est soumis aux contingences matérielles (d'où rigueur et sérieux appréciés) et aux interprétations traîtres des statistiques (d'où une exigence béton de 14/15, pour couper court à tout pinaillage).

Mais une statistique ne démontre rien, elle ne fait qu'indiquer une probabilité de résultat.

Est-ce ce point mystérieux du "14/15" qui te semble prôné comme une vérité ? Je peux le comprendre.

Le détail des calculs est perdu au fin fond du forum HCFR.


Il est dans le lien que tu as fourni plus haut.

On n'en a reparlé qu'une seule fois, et peu de gens ont suivi l'affaire.
Je peux le retrouver s'il y en a que cela intéresse. Ce doit être dans le sujet de préparation à la première rencontre des "kangourous".

[man]

Le souci c'est que cela fait un moment que Crao et Syber nous le prone comme une vérité ... voilà pourquoi tout ce débat ...

Je m'inscris en faux, et je suis réellement désolé si ça a été compris comme cela...

Pas de souci Crao ... je sais que ce n'est pas évident des fois à l'écriture ... et quiproquo ... tout va bien

[Pio2001]

Extrait du post d'HCFR

Si une personne réussit le test, d'autres doivent vérifier si c'est possible, en le réussissant à leur tour.

Il me semblait que si une personne réussissait le test celui-ci était validé (voir plus haut dans la discussion) comme positif.

Voilà un parfait exemple de point d'achoppement.

Et on voit qu'à force de prises de bec entre les deux clans, c'est devenu une question absolue : il faut nécessairement que l'un soit absolument vrai, et l'autre absolument faux.
Comme ce n'est ni l'un ni l'autre, on peut toujours démontrer que celui qui affirme péremptoirement l'un des deux a tort... dans l'absolu.

C'est là que je fais appel au bon sens des lecteurs : réfléchissez !

Est-ce qu'un test réussi prouve qu'une différence est audible ? Pourquoi ? Quelles sont les limites de cette affirmation ? Quelle est l'utilité de refaire le même test ?...
Vous avez tous les éléments de réponse.

As tu des résultats ABX sur les câbles secteur ?

Ce sujet regroupe la majorité des tests en aveugle publiés sur le web : http://chaud7.forumactif.fr/tests-abx-f ... abx-t5.htm

Les deux tests de câble secteur mentionnés ont échoué. L'un des deux, celui de Kiang, est exceptionnel par sa durée (8 mois !) et par l'extraordinaire précision des différences décrites entre des câbles de même modèle !

[reglisse]

Extrait du post d'HCFR

Si une personne réussit le test, d'autres doivent vérifier si c'est possible, en le réussissant à leur tour.

Il me semblait que si une personne réussissait le test celui-ci était validé (voir plus haut dans la discussion) comme positif.

Voilà un parfait exemple de point d'achoppement.

Aucun point d'achoppement, je ne fait que reprendre vos commentaires qui indique qu'avec un résultat positif le test peut passer de - à +.

Et on voit qu'à force de prises de bec entre les deux clans,

Quel clan ? je ne trouve dans aucun clan, je tiens trop à mon indépendance.

c'est devenu une question absolue : il faut nécessairement que l'un soit absolument vrai, et l'autre absolument faux.

Le test est présenté comme vrai, ne le serait il pas complètement ?

Comme ce n'est ni l'un ni l'autre, on peut toujours démontrer que celui qui affirme péremptoirement l'un des deux a tort... dans l'absolu.

C'est là que je fais appel au bon sens des lecteurs : réfléchissez !

Est-ce qu'un test réussi prouve qu'une différence est audible ? Pourquoi ? Quelles sont les limites de cette affirmation ? Quelle est l'utilité de refaire le même test ?...
Vous avez tous les éléments de réponse.

Donc le test n'est pas meilleur en ABX qu'en AB... Donc d'une utilité disons secondaire...

As tu des résultats ABX sur les câbles secteur ?

Ce sujet regroupe la majorité des tests en aveugle publiés sur le web : http://chaud7.forumactif.fr/tests-abx-f ... abx-t5.htm

Les deux tests de câble secteur mentionnés ont échoué. L'un des deux, celui de Kiang, est exceptionnel par sa durée (8 mois !) et par l'extraordinaire précision des différences décrites entre des câbles de même modèle !

je n'ai pas parcouru le post mais ai je bien lu "entre des câbles de même modèle ? ou est ce une erreur de frappe ?

[Pio2001]

La vérité à l'encontre de la subjectivité.

C'est une vérité bien ambiguë. D'ailleurs, que veut dire "subjectivité" ? Un test ABX est une expérience subjective. Dans une vieille discussion sur Hydrogenaudio, certains avaient proposé pour les tests en aveugle de remplacer l'adjectif "objectiviste", complètement hors de propos philosophiquement parlant, par "empirisme subjectif" (ou était-ce "subjectivisme empirique" ?).

On pourrait partir dans un autre débat : j'aime définir le "subjectivisme" comme du "positivisme", car la sensation y est la seule vérité, et "l'objectivisme" comme de "l'empirisme", car tout y est basé sur l'expérimentation.

Mais une statistique ne démontre rien, elle ne fait qu'indiquer une probabilité de résultat.

En fin de compte, quelle est la différence ? Il n'existe pas de vérité totalement démontrable. Tout peut être ramené à une "probabilité de résultat".
Quelle est la probabilité pour que nous soyons dans la Matrice, ou dans le Truman Show, et que tout ce qui nous entoure ne soit qu'un monde virtuel créé pour observer comment nous croyons y évoluer ? Elle est infinitésimale, mais mathématiquement, elle n'est pas nulle.

Dans les tests ABX, lorsque l'aditeur donne des bonnes réponses, la probabilité de coup de bol décroît exponentiellement, et il est très facile (avec un peu de temps et d'efforts si la différence est petite) de la rendre infinitésimale.

Là, on peut sauter sur la conclusion "c'est une preuve absolue".

Mais une preuve dépend toujours de son contexte. Comme dans Ghost in the Shell :
Batou : "Chef, a-t-on cherché du côté de ceux qui contrôlent nos cyber-cerveaux ?
Le chef : Ils subissent une évaluation psychologique régulière, mais ceux qui les contrôlent ne sont que des humains...
Batou : A partir du moment où le doute s'installe, c'est sans fin"

Cette "preuve absolue" du test ABX réussi, c'est simplement la probabilité de coup de bol qui descend en dessous du seuil des contingences matérielles : on peut éliminer l'hypothèse du coup de bol pour expliquer le résultat, et passer à l'hypothèse suivante : et si le test était bâclé ?

Quand toutes les hypothèses alternatives à celle de départ deviennent "suffisamment peu vraisemblables" (et non "absolument impossibles"), alors l'hypothèse de départ, que l'auditeur ait entendu la différence devient "la plus probable" (et non "prouvée de façon absolue").

Mais les mots peuvent être traîtres, et chacun a sa propre définition de "preuve". Moi dans notre discussion, je l'emploi dans un sens très fort : "démonstration irréfutable", et je dis stop : on ne fait pas de démonstrations irréfutables.
Dans la langue courante, on l'emploie à la légère : il a fini son assiette, c'est bien la preuve qu'il avait faim. Dans ce sens léger, oui, un ABX réussi prouve que l'auditeur a entendu une différence.

Et quand l'ABX est bien fait, cela peut constituer un élément de preuve assez fort.

[reglisse]

Allons un peu plus loin dans le test.

Lorsqu'il est effectué le test repose sur de la musique je suppose (et non pas sur un bruit blanc ou rose).

L'écoute donc se déroule sur une plage musicale et à un moment "t" on commute sur un deuxième appareil pendant que la musique continue c'est bien cela ?

Si c'est le cas on ne compare pas le même moment musical mais la suite du morceau..., ce n'est plus une comparaison mais un suivi.

On ne peut comparer que ce qui est comparable.

[Pio2001]

Est-ce qu'un test réussi prouve qu'une différence est audible ? Pourquoi ? Quelles sont les limites de cette affirmation ? Quelle est l'utilité de refaire le même test ?...
Vous avez tous les éléments de réponse.

Donc le test n'est pas meilleur en ABX qu'en AB... Donc d'une utilité disons secondaire...

Mes questions concernent le problème du nombre d'ABX à faire : un seul ou plusieurs ?

Tu poses la question de l'utilité d'un test en double aveugle randomisé (A-B-X ou tout autre ordre de présentation). Il permet d'éliminer l'hypothèse que les différences entendues sont imaginaires, lorsqu'elles ne le sont pas.

l'extraordinaire précision des différences décrites entre des câbles de même modèle !

je n'ai pas parcouru le post mais ai je bien lu "entre des câbles de même modèle ? ou est ce une erreur de frappe ?

C'est bien cela. Les testeurs étaient seuls et recevaient par la poste quatre câbles secteurs : un ordinaire, et trois cachés dans des gaines rigides lestées, dont un autre ordinaire identique au premier, un haut de gamme, et un mystère (en réalité un câble trafiqué pour être le plus mauvais possible). Les testeurs ne pouvaient pas deviner le type de câble caché à l'intérieur. Ils ne voyaient que les fiches, qui étaient identiques.
Il y avait donc deux ordinaires "du même modéle". Un de référence et un caché.

Et effectivement, sur les 23 auditeurs, certains ont mal identifié les câbles, et croyant comparer deux modèles différents ont écrit des CR d'écoute assez détaillés, décrivant de très grandes différences entre l'ordinaire de référence et l'ordinaire caché, sur plusieurs critères (dynamique, aération etc), alors qu'ils avaient désigné un modèle différent, caché aussi, comme étant identique à l'ordinaire.

Leurs CR sont dans le fichier Excel. L'un des auditeurs était un fabricant de câbles secteurs haut de gamme. Seul l'organisateur du test et le fabricant lui-même savent s'il fait partie de ceux qui se sont trompés. Les résultats sont anonymes.

[Pio2001]

Lorsqu'il est effectué le test repose sur de la musique je suppose (et non pas sur un bruit blanc ou rose).

Certains imposent des passages musicaux aux auditeurs. Je pense que c'est une mauvaise méthode. Il faut laisser l'auditeur choisir le signal qui lui convient le mieux.

Il est tout-à-fait possible d'utiliser des signaux artificiels. Par exemple le bruit rose est un des signaux les plus discriminants pour distinguer un ampli à lampes d'un ampli à transistors. Dans le test de Brad Meyer (soundandvisionmag.com) les amplis n'ont été distingués en ABX que sur le bruit rose. Les tests ont échoué sur les extraits musicaux.

Inversement, dans le test qu'on a fait avec Nitri sur les amplis casques (non répertorié dans l'annuaire des tests ABX, mais il y a son topic dans le même forum), on n'a pas réussi à reconnaitre en aveugle des deux amplis les plus dissemblables sur un bruit rose. Mais en parcourant ma discothèque, j'ai trouvé un extrait musical avec lequel j'ai réussi le test.

Ces essais sont rendus possibles par le fait de vérifier si on peut donner quelques bonnes réponses avant de lancer la vraie séquence ABX.

L'écoute donc se déroule sur une plage musicale et à un moment "t" on commute sur un deuxième appareil pendant que la musique continue c'est bien cela ?

Certains l'ont fait, mais ils se sont vite rendus compte que c'était une mauvaise méthode, qui mène à beaucoup de confusion.
Pour réussir il vaut mieux rejouer le même extrait à chaque fois que l'on commute entre A, B ou X.

L'idée est que l'auditeur puisse faire ce qu'il veut. Sinon, ce n'est pas du jeu. L'essentiel est que le test soit en aveugle et que le score soit significatif. Le reste, c'est au choix de l'auditeur.
Enfin... c'est comme ça que je procède et que je conseille de faire.

[Pio2001]

Suite : certains disent qu'il ne faut même pas que l'auditeur sache ce qu'il compare. Que ce n'est qu'ainsi que le test est scientifique.

Cela est vrai dans un contexte tout différent de nos questions audiophiles : lorsque l'on souhaite réaliser une étude sur la sensibilité moyenne de l'oreille humaine.

Nous réalisons des tests très différents, nous voulons savoir si une différence peut être audible entre deux appareils, et si cette différence peut être imputée au fonctionnement réel de l'appareil.
Peu nous importe de savoir si dans des conditions moyennes, pour un auditeur moyen, elle apparaît audible ou non, pourvu que dans des conditions optimales, pour un auditeur entraîné, elle le soit.

[madorre]

hééé bé, il s'en est passé des échanges sur le sujet.

[wald]

Derrière Pio je n'ose plus rien dire, d'abord parce que ses interventions ne sont pas truffées de faute de frappe (shame on me, je sais, mais je répond trop vite en bossant et je ne me relis pas) et qu'il connaît le sujet sur le bout des doigts avec un sens pédagogique remarquable.

Pio, je suis de ceux qui simplifient parfois à l'excès en invoquant la règle du "un test réussi prouve la différence, peu important les tests ratés". Tu as totalement raison de signaler qu'un test réussi contre de nombreux tests ratés impose l'examen attentif et critique de cette réussite. Il me semble dans le même sens que la reproductibilité est un principe de base qu'on ne saurait oublier et qu'un ABX positif isolé ne permet pas une conclusion certaine.

[madorre]

De toute façon, on relit ça demain et on distribue les claques.
Z'avez la nuit pour tout remetre au "carré" avant l'inspection, ça vous va?
Wald, tu ne t'en sors pas si mal je trouve.

[Pio2001]

Derrière Pio je n'ose plus rien dire

N'hésite pas Wald. Tes interventions sont toujours constructives.