Voice line-ups: Testing aural-perceptual recognition on native speakers of a foreign language

Abstract

[eng] The focal point of this PhD thesis is (foreign/native) speaker perception and recognition. To test such phenomena, jurors from British and Spanish universities were selected to answer ad hoc perception surveys (voice line-ups in three distinct languages: English, Spanish, and Dutch) to unravel the correlations of speaker-specific sociolinguistic factors and acoustic parameters impinging upon success/error rates in identification and discrimination tasks. To gain a more in-depth understanding of real-life scenarios, the properties of the data are adjusted accordingly (reduced duration of voice samples, semi-spontaneous exchanges), which contrasts with the ideal and controlled conditions hitherto used in experiments of this kind. From a methodological point of view, this is one of the main contributions of this work, besides being one of its challenges, since it aims to prove that differentiating speakers by means of acoustic-phonetic analysis is still plausible despite the limitations of the source material. It is concluded that language familiarity did not influence the results obtained. However, learned languages exhibit a rather unpredictable behaviour. On the other hand, acoustic- phonetic analyses are proven to yield less error rates than the jurors’ responses gathered through identification tests. Nevertheless, jurors’ scores in discrimination tasks reveal even less false alarms, with the exception of the English voice samples’ analysis (0% error rates). In light of the above, further research is naturally encouraged to verify such claims. These findings are indeed limited to some extent, given the interdisciplinary nature of speaker recognition due to the presence of uncontrolled co-existing influences such as psychological states, the memory, and environmental factors. Despite the fact that statistical correlations were not as sound as one may expect, this thesis brings us a step closer to better understand the intricacies of real-life forensic voice comparison through the analysis of semi-spontaneous speech, which is arguably harder to analyse than the samples recorded under laboratory conditions.

[spa] El punto fundamental de esta tesis doctoral se centra en el reconocimiento y percepción de hablantes extranjeros/nativos. Para examinar dichos fenómenos, participantes de universidades británicas y españolas fueron seleccionados como jueces de las encuestas de percepción confeccionadas para este fin (ruedas de reconocimiento con tres tipos de lenguas diferenciadas: inglés, español y neerlandés), y así desentrañar las relaciones existentes entre el porcentaje de aciertos/errores en tareas de identificación y discriminación de locutores y los factores inherentes al hablante, como el perfil sociolingüístico y los parámetros acústicos pertinentes. Para ahondar nuestra comprensión de las circunstancias reales, los datos usados se ajustaron debidamente (duración reducida de grabaciones semi-espontáneas), lo que contrasta con las condiciones ideales y controladas hasta ahora empleadas en experimentos de este tipo. Desde un punto de vista metodológico, ésta es una de las principales contribuciones de la presente tesis, además de ser uno de sus retos, ya que pretende demostrar la viabilidad del análisis acústico en la discriminación de hablantes pese a las limitaciones dadas por el material analizado. Se concluye que la familiaridad del idioma no condicionó los resultados obtenidos. Aun así, las lenguas aprendidas exhibieron un comportamiento impredecible. Por otro lado, el análisis acústico produjo una tasa de errores inferior a las producidas por el jurado en pruebas deidentificación. Sin embargo, las tareas dediscriminación mostraron aún menos falsas alarmas en los participantes, con la excepción del análisis de muestras inglesas (con una tasa de error del 0%). En virtud de lo expuesto, se recomienda seguir con esta línea de investigación para verificar dichas afirmaciones. Por otro lado, las limitaciones radican en la interdisciplinariedad del reconocimiento de locutores y en la presencia de influencias coexistentes incontrolables como los estados psicológicos, la memoria y los factores medioambientales. Pese a la falta de contundencia de las pruebas estadísticas, esta tesis nos lleva un paso más cerca hacia la comprensión de las complejidades inherentes a la comparación forense de voces en casos reales mediante el análisis de habla semi-espontánea, cuya información es probablemente más difícil de analizar que la encontrada en grabaciones de laboratorio.

[cat] El punt fonamental d’aquesta tesi doctoral se centra en el reconeixement i percepció de parlants estrangers/nadius. Per a examinar aquests fenòmens, participants d’universitats britàniques i espanyoles es seleccionaren com a jutges de les enquestes de percepció confeccionades per a aquesta fi (rodes de reconeixement amb tres tipus de llengües diferenciades: anglès, espanyol i neerlandès), i així investigar les relacions existents entre el percentatge d’encerts/errors en tasques d’identificació i discriminació de locutors i els factors inherents al parlant, com el perfil sociolingüístic i els paràmetres acústics pertinents. Per a aprofundir la nostra comprensió de les circumstàncies reals, les dades emprades s’ajustaren degudament (durada reduïda de gravacions semi-espontànies), la qual cosa contrasta amb les condicions ideals i controlades que s’usaven fins ara en experiments d’aquest tipus. Des d’un punt de vista metodològic, aquesta és una de les contribucions principals de la present tesi, a més de ser un dels seus reptes, ja que pretén demostrar la viabilitat de l’anàlisi acústica en la discriminació de parlants malgrat les limitacions donades pel material analitzat. Es conclou que la familiaritat de l’idioma no ha condicionat els resultats obtinguts. Així i tot, les llengües apreses exhibiren un comportament impredictible. D’altra banda, l’anàlisi acústica causa una taxa d’error inferior a les produïdes pel jurat en proves d’identificació. No obstant això, les tasques de discriminació mostraren encara menys falses alarmes en els participants, amb l’excepció de l’anàlisi en mostres angleses (amb una taxa d’error del 0%). Tenint en compte l’anterior, es recomana seguir amb aquesta línia de recerca per poder verificar les afirmacions ja esmentades. Encara més, les limitacions radiquen en la interdisciplinarietat del reconeixement de locutors i en la presència d’influències coexistents incontrolables com els estats psicològics, la memòria i els factors mediambientals. Malgrat la insuficient contundència de les proves estadístiques, aquesta tesi ens porta un pas més prop cap a la comprensió de les complexitats inherents a la comparació forense de veus en casos reals mitjançant l’anàlisi de parla semi-espontània, la informació de la qual és probablement més difícil d’analitzar que el que s’enregistra a les mostres de laboratori.