forum.zelfbouwaudio.nl

in aansluiting op dit topic gaan we hier verder over hoe we een goede dubbel blinde test kunnen gaan uitvoeren.

het gaat hier dus over het protocol, wat weer afgeleid is van de eisen die we aan zo'n test stellen, en duidelijk NIET over de hiervoor toe te passen techniek, daarvoor is dat andere draadje. en we gaan het al helemaal niet hebben over de te verwachten uitkomsten van de test, dus of je nou verwacht dat versterkers gelijk klinken of juist niet doet er in dit topic absoluut niet toe.

Hopelijk valt hetgeen ik hier ga zeggen onder de noemer protocol........

Op gevaar af van het forum geknikkerd te worden:
In die andere thread vroeg Ruud13 mij hoe ik er bij kwam hem op bepaalde vlakken neurotisch te noemen (waarvoor hier bij dezen mijn excuses, het was anders bedoeld dan het wellicht overkomt. Hopelijk verduidelijkt deze post e.e.a).
Daarmee doelde ik oa. op het volgende:

Laat eerst de spelers die worden getest minimaal een uurtje warmlopen. Niet alleen in stand-by of de pauzestand zetten maar ook daadwerkelijk laten afspelen. Dan moeten alle verbindingen zijn gemaakt en de versterker moet aan staan (als er niet geluisterd wordt mag de versterker op bijvoorbeeld tape staan maar wel moet de juiste ingang van de versterker zijn gekozen).
<snip>
Laat een en ander een flink tijdje zo draaien zonder de spelers te stoppen(!) en controleer de output van alle kanalen of ze gelijk zijn. Tijdens het testen moet je dit overigens steeds blijven controleren.
<snip>
De voorzorgen lijken misschien overdreven maar het is de enige manier om afdoende genoeg voor de kwantitatieve verschillen te compenseren. Dat de versterking iets verloopt in de uitgangsversterkers heeft te maken met de voedingspanning die niet 100% constant is bij elke belasting.

Reeds twee maal heb ik gevraagd hoe het mogelijk is dat een uitgangsversterker van een CD speler, opgebouwd met een goede opamp, kan verlopen, als de versterking wordt vastgelegd dmv. twee weerstanden (in een inverterende trap), en de PSRR van een goede opamp op 80 dB of beter ligt.
Dan vraag ik me af wat het nut is van een uur voorgloeien, waarbij de versterker beslist op CD ingang moet blijven staan, en de speler moet spelen en niet op pauze staan.
Daarbij moet de output geregeld gecontroleerd worden op verloop.

Goed.

Dan kan ik deze twee alinea's niet met elkaar rijmen:

Het is trouwens niet noodzakelijk dat links en rechts precies gelijk zijn. Als er verschil tussen zit, mag dat verschil er gerust blijven. Wel moet rechts gelijk zijn aan rechts en hetzelfde geldt voor links. Het handige van alle niveaus precies gelijk maken, is dat je zo niet hoeft te onthouden welk kanaal precies welke spanning moet hebben.

Waarop dan volgt:

De reden waarom de uitgangsniveaus van de cd-spelers zo akelig nauwkeurig dienen te zijn, heeft te maken met het verschijnsel dat ons gehoor bij een vergelijk voor niveauverschillen tussen links en rechts extreem gevoelig is. Het vervelende is bovendien dat een miniem verschil tussen links en rechts ook onmiddellijk een klankverschil introduceert omdat het frequentieverloop en het spreidingsverloop van luidsprekers onvoldoende uniform is.
<snip>
Hoe subtiel dat laatst ligt is makkelijk uit te proberen met ruis (bijvoorbeeld fm-ruis tussen de zenders van een tuner ) dat je op beide luidsprekers zet. Je hoeft dan de balansregelaar maar een fractie te verdraaien om al onmiddellijk verandering in het ruispatroon te horen. Het is dus voor te stellen dat een miniem verschilletje in niveau tussen links en rechts je op het verkeerde been zet voor wat betreft het beoordelen van de kwaliteit.

Dus eventuele verschillen tussen links en rechts zijn niet zo erg, maar een miniem verschilletje kan ons op het verkeerde been zetten........

Right.

De hele klimbim van een uurtje voorgloeien en de versterker vooral niet op een andere ingang zetten tijdens dit voorgloeien vanwege de belastingverschillen is erg belangrijk, maar we mogen er wel rustig een paar potmeters + weerstanden + kabels + connectoren tussen duwen om eventuele niveauverschillen weg te regelen, dat zou dan ineens geen invloed hebben.

OK.

Ik lees nergens iets over de invloed van netspanningsschommelingen, of over eventuele compensatie hiervan.
Tevens zie ik niets over eventuele invloed van de servoschakelingen (stroomopname en RF-instraling op analoog gedeelte), welke wel degelijk hun invloed kunnen hebben op de analoge voedingsspanning, en niet alleen speler-afhankelijk zijn, maar ook tussen identieke spelers kan afwijken, afhankelijk van afregeling en reflectie van de CD.

Overigens ben ik persoonlijk van mening dat deze invloed bij een goed ontwerp verwaarloosbaar kan blijven, maar dit terzijde.

Dan het volgende:

Plaats als er geen veranderingen in de spanning meer optreden zo snel mogelijk de cd’s waarmee je wilt testen en start ze precies gelijk en laat ze voordat je begint naar de cd’s te luisteren minstens 5 minuten draaien. Start de cd precies gelijk op de track waarmee je wilt testen maar gebruik niet de pauzestand (in deze stand staan de meeste uitgangsversterkers uit en is er weer tijd nodig om de versterking constant te krijgen). Meestal als je gelijktijdig de track in afspelende toestand kiest, starten de spelers ook bij benadering gelijk.

Dat is helemaal de uitsmijter.
In eerdere tests ( zie oa. www.pcabx.com ) is gebleken dat timingverschillen van 1 mS reeds voldoende kunnen zijn om twee signalen van elkaar te kunnen onderscheiden.
Nu wil Ruud de twee spelers onder test met het handje starten.
Erg knap als dat je binnen 1 mS lukt, ik durf zulks niet te beweren.
En dat mag dan weer niet vanuit de pauzestand, want stel dat de versterkingsfactoren van deuitgangsversterkers intussen iets verlopen...
(wat ten enen male onmogelijk is omdat de pauzestand slechts de muting inschakelt, wat volkomen los staat van de uitgangsversterkers).
Sterker nog, in de pauzestand wordt de CD nog wel rondgedraaid en zijn tracking en focus in werking, wat dus het meest overeenkomt met de speler in werking.
Waarbij nog komt dat geen twee clockoscillators gelijk zijn, zowel in absolute waarde als in verloop, zodat het vooraf laten draaien nog niet zo'n heel goed idee is.

Enfin, naar mijn mening is dit protocol dus niet waterdicht, en dat bedoelde ik dus met mijn (toegegeven, ongelukkig geformuleerde stelling) dat op bepaalde zaken welhaast neurotisch de nadruk wordt gelegd, terwijl andere belangrijke zaken onbelicht of verwaarloosd blijven.

Om nu niet helemaal als negativo over te komen, zal ik een alternatief aandragen.
Een betere methode zou kunnen zijn om de twee spelers elk op twee sporen digitaal op te nemen, deze sporen te editen op correcte en gelijke amplitude en start tijd, en deze vervolgens afspelen en omschakelen.
Voordeel: geen afhankelijkheid meer van menselijke factoren en invloeden van extra onderdelen in het analoge domein.
Daarbij komt dan nog het voordeel dat alle zaken die twee spelers afwijkend kunnen maken, meegewogen worden, terwijl de zo belangrijke amplitude- en starttijd verschillen genivelleerd worden.

Dan nog is een ABX-protocol zinvoller dan een AB-vergelijk, naar mijn mening, maar dat ook weer terzijde.

Sorry voor de lange post en het wellicht gepeperde taalgebruik, gevolg van mijn frustratie met slecht uitgevoerde testen en de eventueel incorrecte conclusies die daaruit worden getrokken.

Ik zou graag weten, wat protocol betreft, hoe men het zich voorstelt om de verschillende luisteraars aan de test te onderwerpen. Aangezien zaken als imaging en ruimtelijke afbeelding een onderdeel van de verschillen tussen CD-spelers kunnen zijn, zou ik zo'n test alleen zinvol vinden indien iedere luisteraar om de beurt op de sweet spot zit en de test doet. Hij moet tot rust kunnen komen zodat hij zich goed kan concentreren. Je wilt zo goed mogelijk de situatie benaderen dat iemand lekker 's avonds in zijn eentje van muziek zit te genieten. De luisteraars moeten eerst een tijdje lekker luisteren om aan de installatie, speakers en luisterruimte te wennen.

Het is inmiddels bekend dat externe factoren een grote invloed op de waarneming kunnen hebben. Dat het niet zo is dat dat tussen de oren zit, maar dat het oor zelf, de sensor, daardoor anders gaat werken en waarneemt. Dit zou ook een heel goede verklaring kunnen zijn dat mensen onder stress in een DBT geen verschillen meer kunnen horen. Het oor klapt als het ware dicht. Maar goed, dit terzijde, ik wil niet de DBT aanvallen. Ik haal dit even aan om te benadrukken dat de luisteraar onder test de gelegenheid moet krijgen om rustig te genieten van de muziek.

Dan wat DBT betreft, dat kan alleen indien de bedienaar zelf ook niet weet welke CD-speler gaat spelen. Ik weet niet hoe Ruud dit denkt te gaan doen. Maar met een BT ben ik ook tevreden, hoewel de wetenschappers zoiets zouden afwijzen.

Dan nog een punt: ik zou niet graag wisselen tussen CD-spelers terwijl een nummer speelt. Ik zou veel liever een niet al te lange sample herhaald willen horen. Als je dan CD-spelers voedt met zo'n herhaalde track en je zorgt dat tussen elke herhaling ongeveer 1 seconde zit, dan kun je mooi in die seconde van CD-speler wisselen. Voor een echte DBT test zou je dit wisselen aan kunnen sturen met een stukje software dat de A/B wisseling randomiseert.

Een dubbel blinde test, wat word daar precies onder verstaan?

een defintie zou al okee zijn.

Dat zowel de bedienaar van de test als degene die de test ondergaat niet weten welke stimulus wordt aangeboden.

Ik heb voor de gein een ABX test gedaan die te downloaden is van pcabx. Ik heb die testen al eens eerder gedaan om te kijken of ik fasedraaiing kon horen en dat lukte niet. Vanwege de discussie over versterkers heb ik nu die test ook eens gedaan. Zie http://www.pcabx.com/product/amplifiers/index.htm . Ik vond de Crown eruit springen qua klank die erg dicht bij het origineel kwam. Dus ik heb eens gekeken of ik in de ABX test onderscheid kon maken met de parasound, beiden afgespeeld op 10 Watt. Zie hieronder het resultaat. Ik zou natuurlijk hebben kunnen faken door de file-namen te veranderen, maar ik hoop dat jullie erop vertrouwen dat ik naar de originele files heb geluisterd.



Ik wil keyser er nog even op wijzen dat beide versterkers met gemak voldoen aan de eisen die vallen onder http://www.roger-russell.com/truth/trut ... amplifiers , de link die keyser gaf. Ik hoor gewoon verschil. Ik zat op een gegeven moment op een kans van 0,4%, maar je wordt vrij snel moe van dit soort testen en toen ik doorging na 15 trials liep de kans dat ik aan het gokken was weer ietsje op. So far wat betreft het onderzoek van Toole...die kan de pot op wat mij betreft op dit onderwerp.

De pcabx-site geeft hele goede aanwijzingen voor het protocol. Op deze link is een aantal voorwaarden te vinden, om een beetje nader te duiden wat ik in mijn eerste post bedoel: http://www.pcabx.com/ . Met name de laatste eis, daar zouden we onder het technische draadje eens over na moeten denken hoe dat te realizeren.

Ten (10) Requirements For Sensitive and Reliable Listening Tests

(1) Program material must include critical passages that enable audible differences to be most easily heard.

(2) Listeners must be sensitized to a audible differences, so that if an audible difference is generated by the equipment, the listener will notice it and have a useful reaction to it.

(3) Listeners must be trained to listen systematically so that audible problems are heard.

(4) Procedures should be "open" to detecting problems that aren't necessarily technically well-understood or even expected, at this time. A classic problem with measurements and some listening tests is that each one focuses on one or only a few problems, allowing others to escape notice.

(5) We must have confidence that the Unit Under Test (UUT) is representative of the kind of equipment it represents. In other words the UUT must not be broken, it must not be appreciably modified in some secret way, and must not be the wrong make or model, among other things.

(6) A suitable listening environment must be provided. It can't be too dull, too bright, too noisy, too reverberant, or too harsh. The speakers and other components have to be sufficiently free from distortion, the room must be noise-free, etc..

(7) Listeners need to be in a good mood for listening, in good physical condition (no blocked-up ears!), and be well-trained for hearing deficiencies in the reproduced sound.

(8) Sample volume levels need to be matched to each other or else the listeners will perceive differences that are simply due to volume differences.

(9) Non-audible influences need to be controlled so that the listener reaches his conclusions due to "Just listening".

(10) Listeners should control as many of the aspects of the listening test as possible. Self-controlled tests usually facilitate this. Most importantly, they should be able to switch among the alternatives at times of their choosing. The switchover should be as instantaneous and non-disruptive as possible.

Hieronder een toespitsing met geïncorporeerde ideeën:

Om de testen uit te voeren worden samples naar keus, meerdere keren afgespeeld, met tussenpozen van ca. 1 sec. Hiertussen wordt wel of niet tussen de cd-spelers of kabels geschakeld. Ik dacht hierbij aan schakeling met relais maar als er betere methodes zijn hoor ik dat graag.
Er kan o.a op papier worden aangekruisd of er wel of geen verandering is waargenomen.

Bij een DBT weet de bedienende persoon niet wat er speelt zodat deze op geen enkele manier de luisteraar kan beïnvloeden, hetzij bewust of onbewust door bijvoorbeeld lichaamstaal, houding, etc. Deze opstelling is ingewikkeld maar naar ik denk realiseerbaar, ik stel echter voor om de bedienende persoon van de luisteraar te scheiden, zodat er van communicatie geen sprake is. Ongeacht de juiste benaming lijkt me dit een betrouwbare uitvoering.

Omdat de mensen op dit forum volgens mij serieus bezig zijn, denk ik dat iedereen in zekere mate zich een toegespitst en getraind gehoor eigen heeft gemaakt of bezit.
Als er mensen zijn die een persoonsgerichte luistertest willen dan moet dat gerealiseerd worden. Misschien is dit niet voor iedereen nodig dus dit kan gecombineerd of afgewisseld worden met een vrij gezamenlijke luistertest.

Veel hangt af van het aantal mensen. Ik zal eens opzoeken of er iets uit te halen valt met een binomiale/poissonverdeling of met permutaties. Sowieso kunnen de gegevens statistisch verwerkt worden en bijvoorbeeld in tabelvorm worden gezet.

De aankleding van de dag zelf en de gebruikte ruimte, lijkt me een belangrijk punt bij het creëren van de juiste sfeer. Binnenkomend in een ruimte waar muziek wordt afgespeeld op de gebruikte luidsprekers en toebehoren. Comfortabele temperatuur en zitplaatsen, een hapje, drankje, even bijkomen, bijkletsen, ideeën of informatie uitwisselen, etc.

Wat lijkt jullie de meest geschikte tijd/dag? Ik dacht zelf aan het begin van een (zondag)middag. Ik heb niet echt een datum voor ogen maar ik hoop de vaart er in te houden. Op 1 april is er hier weer een kunstfestival, dus rond die tijd komt hier minder goed uit. Andere locaties heb ik nog niet gezien maar zijn wat mij betreft ook prima of misschien zelfs beter.

Mvg Johan

Rademakers schreef:

Er kan o.a op papier worden aangekruisd of er wel of geen verandering is waargenomen.

Bedankt voor het inhaken

Wat bovenstaande quote betreft, dat heb ik liever niet. Ik zou het volgende willen voorstellen:

Het is het fijnste om 2 CD-spelers tegelijk te vergelijken, omdat je met een behoorlijke groep zit te luisteren zijn de omstandigheden sowieso niet optimaal en dan moet je het niet extra moeilijk maken.

De mensen moeten vervolgens vaststellen of ze verschil kunnen horen tussen die 2. Je mag ze gerust zien, de ene heet A en de andere heet B. In deze fase weet je precies welke speler je hoort. Pas zodra je voor jezelf het verschil hebt weten te karakteriseren en denkt dat verschil te kunnen onthouden, heeft het zin om de test te gaan starten. Nu mag niet meer bekend zijn welke speler speelt, we gaan nu de X-fase in. Daarbij moet een soort van AABBBBABABAABBB patroon gehanteerd worden, net zoals bij die ABX van pcabx. 15 samples achter elkaar is meestal voldoende voor de statistiek. Aan de hand van het aantal goede scores van die 15 kan je de kans berekenen dat je hebt zitten gokken. Als je geen tussenresultaten weet en die 15 pogingen zonder onderbreking achter elkaar doorloopt, dan weet je bij een resultaat van kleiner dan 5% vrijwel zeker dat je niet hebt zitten gokken.

Aan de hand van het aantal goede scores van die 15 kan je de kans berekenen dat je hebt zitten gokken

Maar hoe leg je dan vast wat mensen hebben gehoord? Ik verwacht niet dat mensen na 15 samples kunnen onthouden of ze de 2de keer nou A of B hoorden. Bij 10 mensen zijn dat 150 resultaten die moeten worden vergeleken met 15 uitkomsten, hoe doe je dat zonder papier? Antwoorden volgen inderdaad pas achteraf.

Mvg Johan

KT88 schreef:

Op gevaar af van het forum geknikkerd te worden ...

zolang wat je zegt op inhoud is en beschaafd geformuleerd (hard mag dus best, zolang maar beschaafd) hoef je daar niet bang voor te zijn

Hoi

Even over dubbelblind, ik krijg geen commentaar op mijn test opzet voor diy audio 2006 ik kom mischien wat drammerig over maar is deze opzet ok bevonden?

Ik neem aanstaande diy audio dag, twee paar luidsprekers mee. Een paar met "high end" filter en 1 paar met een "normaal" filter. Aan de buitenkant valt niet te zien welke speaker de betere componenten heeft.

Zo wil ik het gaan opzetten:
-Hetzelfde stuk muziek afspelen op beide luidsprekers.
-Een stuk of 10 muziekstukjes van een seconde of 30 afspelen.
-Een kaartje op de spelende luidspreker met A of B (A natuurlijk steeds op speaker A).
-Een korte pauze tussen de verschillende muziek stukjes zodat er tijd is om op speaker uitgang a of b op de versterker te drukken.
-Papiertjes waarop je anoniem kunt invullen welke speaker beter klinkt.
-de volumeknop blijft natuurlijk de hele test op dezelfde stand staan.
-de gebruikte bekabeling is gelijk.

Aanname's & imperfectie's van deze opzet zijn: de akoustiek van de ruimte en de verschillende posities die de speakers daarin innemen geen verschil maakt. De mogelijkheid uitgesloten is dat beide luidsprekers hetzelfde zijn en er dus helemaal geen verschil is. Een anonieme response minder druk geeft om goed te presteren bij de luisteraars. De gebruikte luidsprekers en filters goed genoeg zijn om de verschillen te laten horen. Als daar behoefte aan is kan de luisterproef dubbel blind uitgevoerd worden. (dan laat ik mijn broer in het ongewisse welke speaker de mindere componenten heeft en laat ik hem het wissel werk doen)

Moet ik zorgen dat ik zelf ook pas na afloop weet welk luidspreker paar, het "betere"filter heeft ja of nee. Dat kan eenvoudig geregeld worden.

En zou iemand me met de statistiek willen helpen als de resultaten binnen zijn?

Groeten Roland

Rademakers schreef:

Aan de hand van het aantal goede scores van die 15 kan je de kans berekenen dat je hebt zitten gokken

Maar hoe leg je dan vast wat mensen hebben gehoord? Ik verwacht niet dat mensen na 15 samples kunnen onthouden of ze de 2de keer nou A of B hoorden. Bij 10 mensen zijn dat 150 resultaten die moeten worden vergeleken met 15 uitkomsten, hoe doe je dat zonder papier? Antwoorden volgen inderdaad pas achteraf.

Mvg Johan

De mensen moeten inderdaad pen en papier gebruiken en 15 keuzes achter elkaar zetten. Bij elk sample dus aangeven of ze denken dat ze A of B hoorden. Die reeks kan je dan vergelijken met de aangeboden reeks en kijken hoeveel goed en fout is. Op basis daarvan kan je dan berekenen hoe groot de kans is dat je gokt.

Ok

15 muziek stukjes dus, maakt de lengte nog wat uit ik wil nu 30 sec. gaan doen, 20 of 40 sec. beter?

Groet Roland

Hoi Roland,

Voor jou test ligt het heel anders en is de ABX methode niet van toepassing. Voor jouw methode zijn niet 15 samples nodig, maar moet iedere luisteraar rustig de tijd krijgen om te vergelijken welk systeem hij het mooiste vindt. Liefst met een aantal samples die goed van elkaar verschillen maar dit hoeft niet uitputtend te zijn. Voor jouw methode is veel belangrijker dat de groep van luisteraars groot is, je hebt gewoon veel deelnemers nodig voor een statistisch verantwoord resultaat. Maar dit wordt geen enkel probleem op de DDIY_2006. Per deelnemer heb je dus maar één antwoord nodig en dat is welke hij het mooiste vindt. Je kunt de test dus uitvoeren zoals je van plan was en de nadelen die erbij horen heb je zelf al genoemd. Maar ik zou ook niet zo gauw weten hoe je anders op relatief eenvoudige wijze een opzet zou kunnen maken voor een blinde luistertest op zo'n dag.

Dank voor het antwoord

Ik heb liever vooraf discussie over de opzet dan naderhand het schijnt allemaal nogal nauw te komen. Ik ga proberen het zo op te zetten dat eventueele verschillen zo duidelijk mogelijk worden soms 20 sec. stukje dan weer 40 sec.

Groet Roland