Age-Related Differences in the Perception of Emotion in Emotional Speech: The Effects of Semantics and Prosody

Article information

Audiol Speech Res. 2022;18(1):48-59
Publication date (electronic) : 2022 January 31
doi : https://doi.org/10.21848/asr.210019
Department of Communication Disorders, Ewha Womans University, Seoul, Korea
Correspondence: Youngmee Lee, PhD Department of Communication Disorders, Ewha Womans University, 52 Ewhayeodae-gil, Seodamun-gu, Seoul 03760, Korea Tel: +82-2-3277-4603 Fax: +82-2-3277-2122 E-mail: youngmee@ewha.ac.kr
Received 2021 April 13; Revised 2021 May 31; Accepted 2021 June 2.

Abstract

Purpose

This study aimed to identify the age-related differences in the perception of emotion in speech, focusing on the effects of semantics and prosody.

Methods

Thirty-two young adults and 32 elderly adults participated in this study. We implemented the test for rating of emotions in speech. The participants were presented with spoken sentences, which consisted of four emotional categories (anger, sadness, happiness, and neutral) in terms of prosody and semantics. In the general rating tasks, the participants were asked to listen to the sentences and rated the degree of the speaker’s emotions. In the attention rating tasks, the participants were asked to focus on only one cue (prosody and semantics) and to rate how much they agree with the speaker’s emotion.

Results

The young group scored significantly higher than the elderly group on the general rating tasks and attention rating tasks. The elderly group scored higher on the semantic tasks than on the prosodic tasks, while the young group scored similarly on the semantic and prosodic tasks.

Conclusion

The elderly adults have lower abilities to perceive emotion in speech than the young adults. They have difficulty in using the prosodic cues of emotional speech. In addition, the elderly adults try to use the semantic cues of emotional speech in order to compensate for their poor abilities to process the prosodic cues.

INTRODUCTION

대화 상대자의 감정발화(emotional speech)를 정확하게 이해하는 능력은 대화에서 생길 수 있는 오해를 바로잡으며, 친밀함과 소속감을 표현하고 자신의 의도를 표현하는 데 필요한 전제능력이다(Arndt & Janney, 1991). 인간은 감정발화에서 두 가지 수준의 정보를 파악할 수 있는데, 하나는 상대가 전하고자 하는 메시지이며 다른 하나는 감정이다(Gangamohan et al., 2016). 메시지는 단어나 문장의 뜻을 통해 파악할 수 있는 언어의 의미적 요소이며, 운율(prosody)은 음도, 강도, 말속도 등을 통해 파악할 수 있는 준언어적 요소이다. 청자가 감정발화에서 화자의 정서를 이해한다는 것은 단어나 문장 등의 언어적 요소에 준언어적 요소인 운율을 결합하여 상대의 의도와 정서를 파악하는 것을 의미한다. 운율은 단어나 문법 구성에 관계없이 강세와 음조의 변화를 통해 다양한 의도를 전달하는 능력으로, 화자는 음도, 억양, 말속도, 길이 등을 변화시켜 말함으로써 새로운 정보를 강조하거나 감정을 표현한다(Gibbon & Smyth, 2013). 몸짓이나 표정과 같은 시각 정보가 없는 상황에서는 운율과 의미(semantics)에 초점을 두어 상대의 정서를 이해해야 하므로, 감정발화에서 운율을 정확하게 파악하는 것은 의사소통에서 매우 중요하다(Setter & Stojanovik, 2013).

노년층의 정서 이해 및 수용 능력은 청년층에 비해서 낮은 것으로 알려져 있다(Ngo & Isaacowitz, 2015; Stanley & Isaacowitz, 2015). Ngo and Isaacowitz(2015)는 노년층이 청년층보다 표정이나 몸짓 등의 신체적 맥락에 더 의존하며, 상황과 정보가 일치하는 상황일 때에 타인의 정서를 정확하게 이해한다고 보고하였다. 노년층은 음성을 통해서 타인의 감정을 이해하는 능력이 청년층보다 낮으며, 운율을 포함한 여러 영역에서 정서를 이해하는 데 결함이 있다고 보고되었다(Dupuis & Pichora-Fuller, 2010; Orbelo et al., 2005). Brosgole and Weisman(1995)의 연구에 따르면, 청자가 화자의 발화에서 운율을 통해서 정서를 이해하는 능력은 12세에 성인수준에 도달하고 40대 중반까지 유지되다가, 65세를 넘어서면 점차 감소한다.

노년층의 정서 이해 능력과 관련된 선행 연구(Ryan et al., 2010)는 주로 표정과 같은 시각적 자극을 통해서 노년층의 정서 이해 능력에 초점을 맞추고 있으며, 노년층은 청년층에 비해서 얼굴표정(facial expression)을 통한 정서 이해 능력이 저하되어 있다고 보고하였다. 현재 얼굴표정에서 정서 이해 능력을 살펴보는 연구가 증가하고 있는 것과는 대조적으로 노인들이 정서적 운율을 어떻게 이해하는지에 대해서는 덜 알려져 있다. 대부분의 관련연구는 순음(pure tone) (Humes & Christopherson, 1991), 비단어(Humes & Christopherson, 1991; Kiss & Ennis, 2001) 또는 단음절수준에서 정서적 운율을 제시하여 노년층의 정서 이해 능력을 살펴보고 있다. 일부 연구는 중립적인 의미를 가진 문장을 이용하여 운율 이해 능력을 살펴보았다(Dupuis & Pichora-Fuller, 2015). 이처럼 노년층의 감정발화이해 능력에 관한 선행 연구들은 운율단서와 의미단서를 나누어서 살펴보았다. 이와 같은 실험 방법의 장점은 감정발화에서 운율과 의미의 특정 요소 중 하나만으로 노년층의 정서 이해 능력을 살펴봄으로써, 단서 간에 간섭 효과를 줄일 수 있는 것이다(Mitchell, 2006). 하지만 실제 의사소통에서는 청자가 화자의 발화의 운율과 의미 정보를 모두 활용하여 타인의 정서를 이해하기 때문에, 이 두 단서를 모두를 고려하여 노년층의 감정발화의 정서 이해 능력을 평가하는 것이 타당할 것이다. 예를 들면, 전화 통화 상황처럼 시각 정보(예: 얼굴표정)가 없는 대화 상황에서는 운율과 의미의 상호작용을 통해 정서를 이해하는 능력을 평가하는 것이 타당할 것이다. 즉, 청자가 상대방의 발화에 포함된 정서를 이해하기 위해서는 운율과 의미 단서를 종합하여 상대의 정서를 이해할 수 있어야 한다. 나아가 의미와 운율이 상충되는 상황(예: “잘 했네”라는 말을 비아냥거리는 말투로 말하는 상황)에서는 두 가지 단서 중 한 가지에 집중하여 상대의 정서를 이해하는 능력이 필요하다(Ben-David et al., 2016).

노년기에 접어들면 운율단서를 통해 정서를 이해하는 능력은 유년기 수준으로 저하된다(Brosgole & Weisman, 1995). 노년기는 청력 및 인지 저하 등으로 의사소통에 부정적인 영향을 미치는 질환이 발생될 수 있는 시기인 것을 고려할 때, 상대방의 발화에서 정서를 이해하는 능력이 저하된다면 적절한 대인관계를 유지 혹은 발전시키기 어렵게 된다. 노년기의 의사소통 능력은 노인의 삶의 질에 영향을 미친다(Fowler et al., 2015). 노년층은 의사소통을 통해 심리적 안녕(psychological well-being)을 추구하는데(Lee, 2019), 심리적 안녕은 사회적 인지와 관련이 높은 것으로 알려져 있다(Yager & Ehmann, 2006). 사회적 인지능력은 타인의 행동을 그들의 신념과 의도의 관점에서 해석, 예측하는 능력이며, 복잡한 사회적 환경과 관계에서 상호작용하는 능력을 뜻한다(Baron-Cohen et al., 2000). 또한 사회적 인지능력은 타인의 정서에 대한 맥락적 단서를 정확하게 이해하고 적절히 반응하고 또한 정서 정보를 기억하는 데 필수적인 능력이다(Mitchell & Kingston, 2014). 노화로 인한 정서 이해 능력의 감소는 잠재적으로 대인관계의 의사소통에 어려움을 초래하며, 이미 사회적으로 취약한 위치에 있는 노인들의 사회적 참여를 더욱 감소시킬 수 있다(Mitchell & Kingston, 2014).

위에서 살펴본 바와 같이 정상적 노화로 인한 정서 이해 능력 감소는 의사소통 능력의 저하에 영향을 미치는 것으로 보고되고 있으나, 이러한 문제가 많은 주목을 받고 있지 못하고 있는 실정이다. 이러한 맥락에서 본 연구는 청년층과 노년층을 대상으로 연령이 증가함에 따라 감정발화의 정서를 이해하기 위해 의미단서와 운율단서를 사용하는 능력이 얼마나 감소되는가를 파악하기 위한 연구로서, 이에 따른 연구 질문은 다음과 같다.

첫째, 운율 의미 의존도 과제에서 맥락(운율 의미 일치, 운율 일치, 의미 일치, 운율 의미 불일치)에 따른 정서 이해 능력은 집단(청년층, 노년층) 간에 유의한 차이가 있는가?

둘째, 운율 의미 이해 과제에서 과제 유형(운율 이해 과제, 의미 이해 과제)에 따른 정서 이해 능력은 집단(청년층, 노년층) 간에 유의한 차이가 있는가?

MATERIALS AND METHODS

연구 대상

본 연구는 이화여자대학교 생명윤리위원회의 승인을 받았으며, 모든 절차와 방법은 이화여자대학교 생명윤리 위원회의 기준을 따라 실시하였다(ewha-202010-0002-01). 본 연구의 대상자는 서울·경기 및 인천 지역에 거주중인 만 20-34세 청년과 만 65-78세 노년으로, 본 연구에는 노년층 32명과 청년층 32명이 참여하였다. 본 연구에 참여한 대상자는 1) 대상자의 모국어가 한국어이며, 2) 건강선별설문지(Health Screening Questionnaire; Christensen et al., 1991) 결과, 인지적, 신경학적 손상 및 정신적 병력이 없으며, 3) 한국형 간이정신상태 검사(Korean-Mini Mental State Examination [K-MMSE]; Kang, 2006)에서 정상 범위에 해당하며, 4) 순음청력검사(R07A)상 0.5, 1, 2, 4 KHz 주파수의 청력역치를 사용하여 6분법으로 산출한 양측 귀의 청력을 산출한 결과, 양측 귀의 평균 청력역치가 청년층은 15 dB HL, 노년층은 각각 35 dB HL 이내인 자로 선정하였다(Ben-David et al., 2019; Lee & Kim, 2016). 단, 노년층은 1) 서울언어학습검사(Seoul Verbal Learning Test; Kang & Na, 2003) 결과에서 정상범위에 해당하며, 2) 한국판 단축형 노인우울척도(Korean version of the short form of Geriatric Depression Scale; Cho et al., 1999)에서 정상 범위에 해당하는 경우만을 선별하였다.

집단별 대상자 정보 및 집단 간의 동질성 검증을 실시한 결과는 Table 1에 제시하였다. 집단 간의 동질성 검증을 실시한 결과, 교육년수에서 집단 간 차이가 유의하지 않았으며, 연령, K-MMSE 및 양측 청력에서 집단 간 차이가 유의하였다. 노년층과 청년층의 순음청력검사에 따른 평균 청력 역치를 Figure 1Table 2에 제시하였다.

Participants’ characteristics

Figure 1.

Hearing thresholds of young and elderly group.

Hearing thresholds (dB HL) by age group

연구 도구

본 연구에서는 청년층과 노년층의 감정발화에서 정서 이해 능력을 비교하기 위해 Test of Rating of Emotions in Speech(T-RES; Ben-David el al., 2016)의 개발 절차에 따라 감정발화 문장, 운율-의미 의존도 과제, 운율-의미 이해 과제를 개발하였다.

감정발화 문장

본 연구에서는 의미적으로 3가지의 정서(화남, 슬픔, 행복)를 표현하는 의미문장 30개(화남의미 문장 10개, 슬픔의미 문장 10개, 행복의미 문장 10개)와 중립 의미문장 8개를 사용하였다. 의미문장 30개를 운율 의미 의존도 과제에 12개, 운율 의미 이해 과제에 12개에 배치하였으며, 나머지 6개는 신뢰도 평가를 위해 사용하였다.

노년층의 청각적 기억력으로 인한 영향을 최소화하고자 본 연구에서는 문장의 길이를 3어절로 제한하였으며, 노년층의 인지 및 학습 능력의 영향을 최소화하고자 외래어와 한자어도 제외하였다. 또한, 문장에서 의미적으로 직접적인 감정을 표현하는 문장도 모두 제외하였다.

개발한 문장이 의미적으로 목표 감정을 적절하게 표현하고 있는지를 살펴보기 위해, 20~60대 일반 성인 40명(남 18명, 여 22명)을 대상으로 적절성 평가를 실시하였다. 문장 적절성 평가에서 대상자들이 문장을 읽은 후에 느껴지는 감정을 ‘화남’, ‘슬픔’, ‘행복’, ‘아무 감정 안 느껴짐’의 4가지 보기 중에서 선택하도록 하였다. 해당 절차를 통해서 대상자의 90% 이상이 공통적으로 선택한 문장으로만 구성된 문장 38개를 최종적으로 선정하였다. 그후 연구자는 전문 성우(여성)에게 문장을 운율의 변화를 통해서 목표 정서가 표현되도록 발화하도록 요청하여 방음 시설이 갖춰진 전문 스튜디오에서 정서적 운율(화남, 슬픔, 행복, 중립)로 표현되도록 발화하도록 하여 녹음하였다. 이렇게 완성된 감정발화 문장은 정서(화남, 슬픔, 행복)를 포함한 의미문장 12개와 정서를 포함하지 않은 중립 의미문장 4개, 신뢰도 평가를 위한 의미문장 6개로 한 세트를 구성하여 운율 의미 의존도 과제에 사용하였으며(Appendix 1), 같은 방법으로 나머지 한 세트를 구성하여 운율 의미 이해 과제에 사용하였다(Appendix 2). 그리고 본 연구에서 사용한 정서에 따른 감정발화의 대표 음성을 Figure 2에 제시하였다.

Figure 2.

Emotional speech spectrogram. (A) Anger. (B) Sad. (C) Happy.

운율 의미 의존도 과제

운율 의미 의존도 과제는 검사자가 Praat Experiment Multiple Forced Choice (Boersma & Weenink, 2020)를 통해 제작한 평가 프로그램을 사용하였으며 모든 문장의 순서는 Experiment MFC Library의 randomize 함수를 사용하여 자극 산출 순서가 대상자마다 무작위로 산출되게 설계하였다. 검사자는 대상자에게 ”현재 통화 중이라고 생각하시고 문장을 들어주세요”라고 지시하였으며(Figure 3A), 대상자는 감정발화 자극의 음성을 들은 뒤 의미와 운율을 종합하여 음성에서 느껴지는 감정을 3가지 목표 정서(화남, 슬픔, 행복)에 대해 평가하였다. 이때, 대상자는 헤드폰을 통하여 녹음된 음성을 들은 뒤 방금들은 말에서 느껴지는 정서의 정도를 5점 리커트 척도(1점: 전혀 그렇지 않다, 2점: 그렇지 않다, 3점: 보통이다, 4점: 그렇다, 5점: 매우 그렇다)로 평가하였다(Figure 3D). 대상자는 음성을 들은 뒤 화면에 나타난 점수 아이콘을 클릭하는 방식으로 목표 정서를 평가하였다. 컴퓨터나 마우스 사용이 익숙하지 않은 노년층의 경우, 화면을 보고 점수를 말하면 검사자가 대신 클릭해주는 방법으로 진행하였다. 다시 듣기를 원하는 대상자에게는 한 번 더 음성을 들려주었으며 모든 문항은 강제선택 후에 다음 문항으로 넘어가게 하였다.

Figure 3.

Experiment Multiple Forced Choice screen. (A) General rating task, (B) prosodic attention rating task, (C) semantic attention rating task, (D) expressing whether the subjects could understand the emotion and how much on a 5-point scale.

운율 의미 이해 과제

운율 이해 과제

검사자는 대상자에게 “현재 통화 중이라고 생각하시고 들어주세요. 상대방의 분위기, 말투, 억양에 집중해주세요. 뜻과 내용, 의미는 무시해 주세요.”라고 지시하였으며(Figure 3B), 대상자는 헤드폰을 통하여 녹음된 음성을 들은 뒤 방금 들은 말의 운율에서 목표 정서가 얼마나 느껴지는지를 5점 리커트 척도(1점: 전혀 그렇지 않다, 2점: 그렇지 않다, 3점: 보통이다, 4점: 그렇다, 5점: 매우 그렇다)로 평가하였다(Figure 3D). 운율 이해 과제는 운율 의미 의존도 과제와 마찬가지로 Praat Experiment MFC를 사용하였으며 검사 방법도 운율 의미 의존도 과제와 동일하게 실시하였다. 검사자는 연습문항을 통해 대상자가 과제를 충분히 이해하였다고 판단하면 과제를 시작하였다.

의미 이해 과제

검사자는 대상자에게 “현재 통화 중이라고 생각하시고 들어주세요. 상대방 대사의 뜻, 내용 의미에 집중해주세요. 분위기와 억양, 말투는 무시해주세요.”라고 지시하였으며(Figure 3C), 대상자는 헤드폰을 통하여 녹음된 음성을 들은 뒤 방금 들은 말의 의미에서 목표 정서가 얼마나 느껴지는지를 5점 리커트 척도(1점: 전혀 그렇지 않다, 2점: 그렇지 않다, 3점: 보통이다, 4점: 그렇다, 5점: 매우 그렇다)로 평가하였다(Figure 3D). 의미 이해 과제도 운율 의미 의존도 과제와 마찬가지로 Praat Experiment MFC를 사용하였으며 검사 방법도 운율 의미 의존도 과제와 동일하게 실시하였다. 검사자는 연습문항을 통해 대상자가 과제를 충분히 이해하였다고 판단하면 과제를 시작하였다. Table 3Figure 4에 과제 설계 및 구성을, Table 4에 목표 정서 평가 방법을 제시하였다.

General design of the stimuli

Figure 4.

General design of the stimuli: emotional speech stimulus. A. Consistent: says a sentence with a semantically angry emotion (e.g., what are you going to do with that life?) in an angry prosody. B. Inconsistent: says a sentence with a semantically angry emotion (e.g., don’t live like that) in a happy prosody. C. Neutral prosody: says a sentence with a semantically angry emotion (e.g., get out of my sight) in a neutral prosody. D. Neutral semantics: says a sentence with a semantically angry emotion (e.g., get out of my sight) in a neutral prosody.

Target emotion rating

연구 절차

실험에서 사용한 프로그램은 음성 분석 프로그램인 Praat software version 6.1.16 (Institute of Phonetic Sciences, University of Amsterdam, Amsterdam, the Netherlands)의 Experiment MFC를 이용하여 검사자가 제작하였다. 모든 대상자들은 편견을 갖게 하지 않게 위해 지시사항이 없는 운율 의미 의존도 과제를 가장 먼저 실시하였으며 다음으로 운율 의미 이해 과제를 실시하였다.

운율 의미 이해 과제에서 운율 이해 과제와 의미 이해 과제의 실시 순서는 순서효과를 배제하기 위해 교차균형과 하였으며 모든 실험에서 자극 음성이 나오는 순서는 Praat Experiment MFC Library의 Randomize 함수를 사용하여 무작위로 산출되게 하였다.

분석 방법

운율 의미 의존도 점수

운율 의미 의존도 과제에서는 운율과 의미 단서 제공 및 일치 여부에 따라서 4가지 맥락(운율 의미 일치, 운율 일치, 의미 일치, 운율 의미 불일치)의 점수를 산출하였다. 맥락에 따른 분석을 위해서, T-RES 분석 공식을 본 연구에 적용하였으며, 해당 공식은 아래와 같다(Ben-David et al., 2016; Ben-David et al., 2019).

• 운율 의미 일치 점수 =

• 운율 일치 점수 =

• 의미 일치 점수 =

• 운율 의미 불일치 점수 =

(a : all of the rated emotions, x: one of the three rated emotions, y, z: other two emotions)

맥락에 따른 점수의 해석은 다음과 같다. 운율 의미 일치 점수는 운율과 의미가 목표 정서와 일치하였을 때의 점수로, 대상자가 목표 정서에 동의하는 정도가 클수록 높은 점수로 산출된다. 운율 일치 점수는 운율에서만 목표정서가 일치하는 경우의 점수로, 상대방의 운율에 의존하여 정서를 파악하는 사람일수록 높은 점수로 산출된다. 반대로 의미 일치 점수는 목표정서가 의미와 일치하는 경우에 산출되는 점수로, 상대방의 말의 의미에 초점을 두어서 정서를 파악할수록 점수가 높게 산출된다. 마지막으로 운율 의미 불일치 점수는 목표정서가 의미와 운율 모두에서 나타나지 않을 때 산출되는 점수이다. 상대가 의도한 정서가 의미나 운율 모두에서 나타나지 않는다면 목표정서에 동의하지 않게 되므로, 대상자들은 낮은 점수(예: 1점-전혀 그렇지 않다, 2점-그렇지 않다)로 평정하게 된다. 이를 종합하여 보면 상대가 의도한 정서는 높은 점수로, 의도하지 않은 정서는 낮은 점수로 표현하게 되는데 본 연구에서는 분석을 위해 식을 반대로 환산하여 점수 산출에 이용하였다.

운율 및 의미 이해 점수

운율 의미 이해 과제에서는 운율 이해 점수와 의미 이해 점수를 산출하였다. 과제 유형에 따른 분석을 위해서 T-RES 분석 공식을 본 연구에 적용하였으며, 해당 공식은 아래와 같다(Ben-David et al., 2016; Ben-David et al., 2019).

• 운율 이해 점수 =

• 의미 이해 점수 =

(a : all of the rated emotions, x : one of the three rated emotions, y : other two emotions that are not x)

과제 유형에 따른 점수의 해석은 다음과 같다. 운율 의미 이해 점수는 운율 이해 점수와 의미 이해 점수로 구성된다. 연구자는 해당 과제에서 대상자들에게 의도적으로 한 가지 정보에 집중하기를 요청하였기 때문에 분석에서도 집중하여야 하는 정보만을 사용하였다. 문장의 의미에는 목표 정서가 없는 중립 의미 문장을 운율에서만 목표정서가 느껴지는 여러 정서적 운율로 발화한 것을 분석에 사용하였으며, 의미 이해 점수는 문장의 의미에 여러 목표 정서를 담고 있는 문장을 목표 정서가 없는 중립 운율로 발화한 것을 분석에 사용하였다. 즉, 운율 이해 점수는 의미가 중립적인 문장에 여러 정서적 운율이 포함된 발화를 제시할 때 대상자가 지각하는 정서를 점수로 산출한 것이며, 의미 이해 점수는 의미만으로 정서가 표현되는 문장에 중립적인 운율 발화를 제시할 때 대상자가 지각하는 정서를 점수로 산출한 것이다.

분석 공식을 살펴보면, 운율 이해 점수는 중립 의미 문장 중 목표 정서와 운율이 일치하는 항목 점수에서 목표정서와 운율이 일치하지 않는 항목의 점수를 뺀 값으로 구할 수 있다. 즉, 목표 정서의 운율에 대한 이해와 집중이 높을수록 큰 값에서 작은 값을 빼게 되어 결과적으로 큰 값이 산출되는 형식이다. 의미 이해 점수는 중립 운율로 발화된 문장에서 목표 정서와 문장의 의미가 일치하는 항목에서 목표 정서와 문장의 의미가 일치하지 않는 항목의 점수를 뺀 값으로 구할 수 있다. 즉, 목표 정서의 의미에 대한 이해와 집중이 높을수록 큰 값에서 작은 값을 빼게 되어 결과적으로 큰 값이 산출된다.

자료의 통계적 처리

본 연구의 모든 자료 분석은 IBM SPSS statistics version 25.0 (IBM Corp., Armonk, NY, USA)을 사용하였다. 첫째, 운율 의미 의존도 과제에서 맥락(운율 의미 일치, 운율 일치, 의미 일치, 운율 의미 불일치)에 따른 집단(청년층, 노년층) 간에 정서 이해 능력의 차이를 살펴보기 위해서 이원혼합분산분석(twoway mixed ANOVA)을 실시하였다. 둘째, 운율 의미 이해 과제에서 과제 유형(운율 이해 과제, 의미 이해 과제)에 따른 집단(청년층, 노년층) 간 정서 이해 능력의 차이를 살펴보기 위해 이원혼합분산분석(two-way mixed analysis of variance [ANOVA])을 실시하였다.

과제 참여의 신뢰도 평가

본 연구에서는 대상자가 과제에 집중하여 잘 참여하는지 판단하기 위해서 과제의 중간에 신뢰도 평가를 위한 문항을 삽입하였다. 평가 문항으로 사용된 문장은 총 6개(화남: 2문장, 행복: 2문장, 슬픔: 2문장)로, 의미와 운율이 모두 정서적으로 일치하는 운율 의미 일치 문장을 사용하였다. 예를 들어, 대상자가 실시하고 있는 과제가 ‘화남’에 대해 평가하고 있는 것이면, 화남 의미 문장을 화남 운율로 녹음한 음성을 과제 중간에 삽입하였다. 대상자가 과제에 집중하고 있다면 이 문장을 듣고 리커트 척도(4점: 그렇다, 5점: 매우 그렇다)로 평가하게 된다. 본 연구에 사용한 각 과제에 2개의 평가 문항을 포함시켰으며 평가 문항에서 3점 이하로 평가된 대상자의 데이터는 분석에서 제외하였다.

RESULTS

맥락과 집단에 따른 운율 의미 의존도 점수

맥락과 집단에 따른 운율 의미 의존도 점수는 Table 5Figure 5에 제시하였다. 이원혼합분산 분석 결과, 집단에 대한 주효과가 유의하였으며(F(1,62) = 13.568, p < 0.001), 청년층의 운율 의미 의존도 점수가 노년층보다 유의하게 높았다. 맥락에 따른 주효과도 유의하였다(F(3,186) = 167.813, p < 0.001). 이에 따라, 어느 맥락 조건에서 유의한 점수 차이가 나타났는지 살펴보기 위하여 Bonferroni 사후검정을 실시하였다. 그 결과, 모든 조건에서 점수 차이가 유의하게 나타났으며(all p < 0.001), 운율 의미 일치 점수, 운율 의미 불일치 점수, 의미 일치 점수, 운율 일치 점수 순으로 유의하게 높았다. 맥락과 집단 간의 이차 상호작용효과도 유의하여(F(3,186) = 30.795, p < 0.001), 이에 대해 MMATRIX와 LMATRIX 명령문을 사용하여 사후검정을 실시하였다. 그 결과, 운율 의미 일치 조건에서의 집단 간의 점수 차이가 운율 일치(p < 0.05)와 의미 일치(p < 0.001) 조건보다 유의하게 작았으며, 운율 일치(p < 0.001)와 운율 의미 불일치(p < 0.001) 조건에서의 집단 간 점수 차이가 의미 일치 조건보다 유의하게 작았다.

Descriptive statistics of general rating task

Figure 5.

Rating results in general rating task for young and elderly adults.

과제 유형과 집단에 따른 운율 의미 이해 점수

과제 유형과 집단에 따른 운율 의미 이해 점수는 Table 6Figure 6에 제시하였다. 이원혼합분산 분석 결과, 집단에 대한 주효과가 유의하여(F(1,62) = 166.455, p < 0.001), 청년층의 운율 의미 이해 점수가 노년층보다 유의하게 높았다. 과제 유형에 따른 주효과도 유의하여(F(1,62) = 4.029, p < 0.05), 의미 이해 점수가 운율 이해 점수보다 유의하게 높았다. 과제 유형과 집단 간의 이차 상호작용도 유의하였다(F(1,62) = 23.156, p < 0.001). 즉, 집단 간의 점수 차이가 의미 이해 과제보다 운율 이해 과제에서 유의하게 컸다.

Descriptive statistics of attention rating task

Figure 6.

Rating results in attention rating task for young and elderly adults.

DISCUSSIONS

본 연구에서는 노화로 인한 감정발화의 정서 이해 능력을 살펴보기 위해서, 청년층과 노년층이 감정발화 이해 시 언어적 요소인 의미와 준언어적 요소인 운율에 의존하는 정도와 이해 능력을 비교하였다. 그 결과, 맥락과 집단에 따른 운율 의미 의존도 점수에서 청년층의 운율 의미 의존도 점수가 노년층보다 유의하게 높은 것으로 나타났다. 맥락 조건에서는 운율 의미 일치 점수, 운율 의미 불일치 점수, 의미 일치 점수, 운율 일치 점수 순으로 유의하게 높은 것으로 나타났다. 다음으로 과제 유형과 집단에 따른 운율 의미 이해 점수에서 청년층의 운율 의미 이해 점수가 노년층보다 유의하게 높았으며 과제 유형에서는 의미 이해 점수가 운율 이해 점수보다 유의하게 높은 것으로 나타났다.

본 연구에서는 노년층이 감정발화의 정서를 받아들이는 정도가 청년층에 비해서 유의하게 낮았다. 이는 노년층이 감정발화의 정서를 받아들이는 정도가 청년층에 비해서 둔감한 것으로 해석될 수 있다. 이러한 결과는 청각과 시각의 복합적인 표현에서 노년층의 정서 이해 능력이 청년층보다 덜 민감하다는 선행 연구와 일치한다(Stanley & Isaacowitz, 2015). 노년층이 청년층보다 표정이나 몸짓 등의 신체적 맥락에 더 의존하는 것을 고려하였을 때(Noh & Isaacowitz, 2013; Ngo & Isaacowitz, 2015), 노년층은 시각 정보가 없는 본 과제 상황에서 상대의 정서를 이해하는 것이 청년층보다 더 어려웠을 것이다. 맥락에 따른 노년층과 청년층의 운율 의미 의존도 점수를 살펴보면, 청년층이 운율 의미 일치, 운율 일치, 운율 의미 불일치 조건에서 노년층보다 정서를 이해하고 받아들이는 정도가 높았다. 이러한 결과는 노년층이 상대가 의도하지 않은 정서에 대해서 잘못 받아들일 가능성이 청년층보다 더 높은 것으로 해석할 수 있다. 즉, 노년층 이 실제 의사소통 상황에서 상대가 의도한 감정을 잘못 받아들일 수 있음을 의미하며, 이러한 결과들은 노년층이 상대방의 발화에서 정서를 이해하는 능력이 청년층보다 낮다고 보고한 선행 연구 결과와도 일치한다(Kiss & Ennis, 2001; Orbelo et al., 2005). 여기서 주목할 점은 노년층의 점수가 의미 일치 맥락에서는 청년층보다 더 높게 나타났다는 것이다. 이러한 결과는 노년층이 감정발화의 정서를 이해할 때, 청년층에 비해서 의미 정보에 더 많이 의존하는 것으로 해석될 수 있다. 본 연구의 결과는 Raithel and Hielscher-Fastabend(2004)의 연구에서 노년층은 정서적 운율을 해석하는 데 어려움을 보였지만, 의미 정보를 이용하는 능력은 청년층과 비슷한 것으로 나타났던 결과와 흐름을 같이 한다. 더불어 노년층에서 운율과 의미 중 의미에서 정서를 더 높게 파악한다는 선행 연구(Ben-David et al., 2019)와도 일치하는 결과로 볼 수 있다.

본 연구에서는 노년층의 운율 의미 이해 점수가 청년층에 비해서 낮았다. 이는 노년층이 의미 혹은 운율 정보에 집중하여 타인의 정서를 이해하는 능력이 청년층보다 더 낮았다고 해석될 수 있다. 집단별로 과제 간 수행의 경향을 살펴보면, 청년층의 경우 의미 이해 과제보다 운율 이해 과제에서 점수가 높았던 반면, 노년층은 운율 이해 과제보다 의미 이해 과제에서 그 점수가 높은 것으로 나타나 노년층은 운율 이해보다 의미 이해에 더 그 수행이 뛰어난 것으로 나타났다. 이는 노년층이 의미에 집중하는 능력이 더 뛰어났다는 선행 연구와 일치하는 결과이다(Ben-David et al., 2019). Carton et al.(1999)은 노년기의 의사소통 장애의 결정적인 요인이 감각 기능의 저하(sensory aging)와 인지 저하(cognitive aging)라고 언급한 바 있다. 감각 기능의 저하 중 청각세포 노화는 중추신경계로 전달되는 정보의 질을 저하시켜 언어 이해 능력의 저하를 가져온다(Humes, 2007). 선행 연구(Humes & Christopherson, 1991; Obler & Albert, 1981)에서도 노년층이 운율 이해에 어려움을 겪는 이유로 청력 손실이 강력한 원인임을 언급한 바 있다.

본 연구에서 노년층 대상자의 평균 청력은 19.71 dB로 나타나 정상 청력에 속하였지만, 청년층의 평균 청력이 2.99 dB 이었음을 고려할 때 두 집단 간에 청력의 차이는 존재한다고 볼 수 있다. 이러한 청력 저하는 소리에 대한 예민도인 가청력(audibility)에 영향을 주며, 노년층의 가청력 저하는 온전히 청각 정보만으로 파악을 해야 하는 운율 정보에 대한 해석에 부정적인 영향을 미칠 수 있다(Mitchell, 2006). 노화로 인한 감각세포들의 약화는 2~4 KHz에서 점진적으로 발생하는데(Harris, 2013), 실제로 우리가 듣는 음성은 음원이 귀로 들어와 청각적 정보처리과정을 거친 후 인지된 결과임을 생각해 보았을 때, 노년층의 말초성 청력의 저하로 인한 취약성은 운율에서의 정보가 왜곡된 신호로 인지되었거나 소실된 상태로 인지되었을 가능성을 배제할 수 없다. 음도, 강도, 시간 등의 운율의 여러 특성 중 정서 이해에 가장 큰 영향을 주는 것은 음도인데(Hammerschmidt & Jürgens, 2007), 노년층은 음도를 변별하는 것에서 어려움을 겪고 있다(He et al., 2007). 즉, 음도 변별의 어려움이 운율을 통한 정서 이해의 어려움으로 이어졌을 가능성 또한 배제할 수 없으며 무엇보다 노화가 청력에 미치는 첫 번째 영향 중 하나가 바로 고주파수 소리에 대한 민감성의 상실인 것을 고려할 때(Frisina & Walton, 2006), 노년층 대상자의 고주파수 대역에서 청력 역치의 증가는 운율 정보를 받아들이는 것에 부정적인 영향을 주었을 수도 있다.

본 연구의 노년층의 경우에도 고주파수대에 청력 손실이 다른 주파수 영역에 비해 더 크게 나타났다. 따라서 노년층 대상자들은 다년간의 누적된 청각 정보의 결핍으로 인해 청각 단서와 관련 있는 운율에서 얻는 정보가 청년층에 비해 저하될 수 있으며, 이에 대한 보상 전략으로 의미 정보를 통해서 감정을 파악하려는 시도를 하였을 것으로 생각된다. 더불어 고주파수 대역의 청력 손실은 듣기 노력이 최소한으로 요구되는 상황에서도 노년층의 말 지각에 부정적인 영향을 미치는 것을 고려하였을 때(Humes, 1996), 운율에 집중하는 과제가 노년층 대상자들에게 굉장한 듣기 노력이 요구되는 과제로 받아들여졌을 가능성이 있다. 이는 Hess(2006)의 사회적 인지 인식에 관한 모델로도 설명할 수 있다. 사회적 인지 인식에 관한 모델에서 노년층은 청년층보다 인지 자원이 부족하기 때문에 자원을 어떻게 할당할 것인가에 더 민감하게 반응하며(Hess, 2014), 본인의 능력에 대한 결함을 보상하기 위해 광범위한 경험을 토대로 상대적으로 양호한 능력에 의존한다. 본 연구에서 노년층의 경우 운율보다 의미에 더 의존하여 정서를 이해하는 것으로 나타났는데, 이는 왜곡되거나 소실된 운율 정보 대신 더 온전히 보전되어 있는 의미 정보에 의존하여 정서를 파악하려는 노력으로 나타난 결과라고 생각된다.

본 연구를 통해서, 건강한 노년층의 감정발화 이해 능력이 청년층에 비해서 저하된 것을 확인하였으며, 노년층은 청년층에 비해서 운율보다는 의미 정보를 활용하여 발화의 감정을 이해하고 있음을 알 수 있었다. 이러한 결과는 건강한 노인이라고 하더라도 의사소통 과정에서 상대방의 감정을 이해하는 데 어려움을 겪을 수 있다는 것을 의미한다. 본 연구에서는 노년층과 청년층의 감정발화 이해 능력을 비교함으로써, 노화로 인한 의사소통 능력의 저하가 운율과 같은 준언어적 정보를 활용하는 능력의 감소와 관련이 있으며, 이에 대한 보완을 위해서 언어적 정보를 청년층에 비해서 적극적으로 활용하는 경향이 있다는 것을 확인하였다.

현재 노년층의 의사소통 능력은 언어 이해와 표현에 초점을 두고 의미론, 형태·구문론적 측면 및 읽기 쓰기 능력을 통해 노년층의 의사소통 능력을 살펴보고 있다. 즉, 문법판단, 문장 이해, 이름대기, 구문적 복잡성 등의 측면에서 평가를 진행하고 있기 때문에 대부분의 검사들이 언어의 문법적인 측면 및 기억력 측면에서의 분석만 가능한 상태이다. 이러한 검사 결과는 의사소통장애의 진단과 중재에 유용한 정보를 제공하고 있다는 것은 분명하지만, 해당 검사들을 통해서 노년층의 실제 일상대화에서 상대방이 제공하는 정보 중 필수적으로 이해해야 할 감정 및 정보를 어떻게 이해하고 있는지에 대해서는 파악할 수 없다. 대화에서 정서를 이해하거나 표현하는 능력의 저하는 삶의 질의 저하로 이어지기 때문에(Joukamaa et al., 1996), 노년층에게 있어서 대화에서 상대의 정서를 이해하는 것은 모두가 당면한 실제적인 문제이기도 하다. 그러나 노년층의 언어문제는 노화로 인한 자연스러운 현상으로 받아들여지고 있어 기초 연구가 매우 미비한 현실이다. 따라서 정상적인 노화과정에서 나타날 수 있는 여러 문제들을 파악하는 것은 앞으로의 노인 언어 연구 및 재활에 있어 기초적인 자료로서 그 역할을 할 수 있을 것이라 기대한다.

본 연구의 제한점을 살펴보면 대상자들의 말소리 지각 능력의 정상 여부를 평가하지 않았다는 것이다. 따라서 향후 연구에서는 말소리 지각 능력의 검사가 선행될 필요가 있겠다. 더불어 향후 연구에서는 다양한 의사소통장애와 청각장애를 지닌 노년층의 감정발화 이해 능력과 관련 변인에 대해서 탐색하는 연구를 실시할 필요가 있을 것이며, 일반적인 생활공간 혹은 외부에서는 소음이 존재하므로 노년층의 경우 소음상황에서 말지각의 어려움이 정서지각의 어려움으로 이어지는지 여부를 확인해 볼 필요가 있겠다.

Acknowledgements

This article is a revision of the first author’s master’s thesis.

Notes

Ethical Statement

This study was approved by the Institutional Review Board of Ewha Womans University (ewha-202010-0002-01).

Declaration of Conflicting Interests

There are no conflict of interests.

Funding

N/A

Author Contributions

Conceptualization: All authors. Data curation: Damee Kim. Investigation: All authors. Methodology: All authors. Validation: all authors. Writing-original draft: Damee Kim. Writing-review & editing: Hyun-Sub Sim, Youngmee Lee. Approval of final manuscript: All authors.

References

1. Arndt H., Janney R. W.. 1991;Verbal, prosodic, and kinesic emotive contrasts in speech. Journal of Pragmatics 15(6):521–549.
2. Baron-Cohen S. E., Tager-Flusberg H. E., Cohen D. J.. 2000. Understanding Other Minds: Perspectives from Developmental Cognitive Neuroscience 2nd ed.th ed. p. 1–555. Oxford. Oxford University Press:
3. Ben-David B. M., Gal-Rosenblum S., van Lieshout P., Shakuf V.. 2019;Age-related differences in the perception of emotion in spoken language: the relative roles of prosody and semantics. Journal of Speech, Language, and Hearing Research 62(4S):1188–1202.
4. Ben-David B. M., Multani N., Shakuf V., Rudzicz F., van Lieshout P. H.. 2016;Prosody and semantics are separate but not separable channels in the perception of emotional speech: test for rating of emotions in speech. Journal of Speech, Language, and Hearing Research 59(1):72–89.
5. Boersma P., Weenink D.. 2020. Praat: Doing Phonetics by Computer Praat. Retrieved from http://www.praat.org/.
6. Brosgole L., Weisman J.. 1995;Mood recognition across the ages. The International Journal of Neuroscience 82(3-4):169–189.
7. Carton J. S., Kessler E. A., Pape C. L.. 1999;Nonverbal decoding skills and relationship well-being in adults. Journal of Nonverbal Behavior 23(1):91–100.
8. Cho M. J., Bae J. N., Suh G. H., Hahm B. J., Kim J. K., Lee D. W., et al. 1999;Validation of geriatric depression scale, Korean version (GDS) in the assessment of DSM-III-R major depression. Journal of Korean Neuropsychiatric Association 38(1):48–63.
9. Christensen K. J., Multhaup K. S., Nordstrom S., Voss K.. 1991;A cognitive battery for dementia: development and measurement characteristics. Psychological Assessment: A Journal of Consulting and Clinical Psychology 3(2):168–174.
10. Dupuis K., Pichora-Fuller M. K.. 2010;Use of affective prosody by young and older adults. Psychology and Aging 25(1):16–29.
11. Dupuis K., Pichora-Fuller M. K.. 2015;Aging affects identification of vocal emotions in semantically neutral sentences. Journal of Speech, Language, and Hearing Research 58(3):1061–1076.
12. Fowler C., Gasiorek J., Giles H.. 2015;The role of communication in aging well: introducing the communicative ecology model of successful aging. Communication Monographs 82(4):431–457.
13. Frisina R. D., Walton J. P.. 2006;Age-related structural and functional changes in the cochlear nucleus. Hearing Research 216-217:216–223.
14. Gangamohan P., Kadiri S. R., Yegnanarayana B.. 2016. Analysis of Emotional Speech—A Review. In : Esposito A., Jain L., eds. 1st ed.th ed. Toward Robotic Socially Believable Behaving Systems - Volume I. Intelligent Systems Reference Library p. 205–238. Cham: Springer.
15. Gibbon F. E., Smyth H.. 2013;Preschool children’s performance on profiling elements of prosody in speech-communication (PEPS-C). Clinical Linguistics & Phonetics 27(6-7):428–434.
16. Hammerschmidt K., Jürgens U.. 2007;Acoustical correlates of affective prosody. Journal of Voice 21(5):531–540.
17. Harris P.. 2013. Does speaker age affect speech perception in noise in older adults? (Master’s thesis) Christchurch: University of Canterbury.
18. He N. J., Mills J. H., Dubno J. R.. 2007;Frequency modulation detection: effects of age, psychophysical method, and modulation waveform. The Journal of the Acoustical Society of America 122(1):467–477.
19. Hess T. M.. 2006;Adaptive aspects of social cognitive functioning in adulthood: age-related goal and knowledge influences. Social Cognition 24(3):279–309.
20. Hess T. M.. 2014;Selective engagement of cognitive resources: motivational influences on older adults’ cognitive functioning. Perspectives on Psychological Science 9(4):388–407.
21. Humes L. E.. 1996;Speech understanding in the elderly. Journal of the American Academy of Audiology 7(3):161–167.
22. Humes L. E.. 2007;The contributions of audibility and cognitive factors to the benefit provided by amplified speech to older adults. Journal of the American Academy of Audiology 18(7):590–603.
23. Humes L. E., Christopherson L.. 1991;Speech identification difficulties of hearing-impaired elderly persons: the contributions of auditory processing deficits. Journal of Speech and Hearing Research 34(3):686–693.
24. Joukamaa M., Saarijärvi S., Muuriaisniemi M. L., Salokangas R. K.. 1996;Alexithymia in a normal elderly population. Comprehensive Psychiatry 37(2):144–147.
25. Kang Y.. 2006;A normative study of the Korean Mini-Mental State Examination (K-MMSE) in the elderly. Korean Journal of Psychology : General 25:1–12.
26. Kang Y. W., Na D. L.. 2003. Seoul Neuropsychological Screening Battery (SNSB) Seoul: Human Brain Research & Consulting Co.
27. Kiss I., Ennis T.. 2001;Age-related decline in perception of prosodic affect. Applied Neuropsychology 8(4):251–254.
28. Lee M. S.. 2019;Factors affecting quality of communication life in older adults: focused on the relationship with quality of life, cognition, and psychoemotional aspects. Audiology and Speech Research 15(3):232–240.
29. Lee S. J., Kim H.. 2016;Speech perception difficulties and their associated cognitive functions in older adults. Phonetics and Speech Sciences 8(1):63–69.
30. Mitchell R. L.. 2006;Does incongruence of lexicosemantic and prosodic information cause discernible cognitive conflict? Cognitive, Affective & Behavioral Neuroscience 6(4):298–305.
31. Mitchell R. L., Kingston R. A.. 2014;Age-related decline in emotional prosody discrimination: acoustic correlates. Experimental Psychology 61(3):215–223.
32. Ngo N., Isaacowitz D. M.. 2015;Use of context in emotion perception: the role of top-down control, cue type, and perceiver’s age. Emotion (Washington, D.C.) 15(3):292–320.
33. Noh S. R., Isaacowitz D. M.. 2013;Emotional faces in context: age differences in recognition accuracy and scanning patterns. Emotion (Washington, D.C.) 13(2):238–249.
34. Obler L. K., Albert M. L.. 1981. Language and aging: a neurobehavioral analysis. Aging: Communication Processes and Disorders p. 107–121.
35. Orbelo D. M., Grim M. A., Talbott R. E., Ross E. D.. 2005;Impaired comprehension of affective prosody in elderly subjects is not predicted by age-related hearing loss or age-related cognitive decline. Journal of Geriatric Psychiatry and Neurology 18(1):25–32.
36. Raithel V., Hielscher-Fastabend M.. 2004;Emotional and linguistic perception of prosody. Reception of prosody. Folia Phoniatrica et Logopaedica 56(1):7–13.
37. Ryan M., Murray J., Ruffman T.. 2010;Aging and the perception of emotion: processing vocal expressions alone and with faces. Experimental Aging Research 36(1):1–22.
38. Setter J., Stojanovik V.. 2013;Prosody in typical and atypical populations. Clinical Linguistics and Phonetics 27(8):553–554.
39. Stanley J. T., Isaacowitz D. M.. 2015;Caring more and knowing more reduces age-related differences in emotion perception. Psychology and Aging 30(2):383–395.
40. Yager J. A., Ehmann T. S.. 2006;Untangling social function and social cognition: a review of concepts and measurement. Psychiatry 69(1):47–68.

Appendices

Appendix 1. Sentences for the general rating task

Appendix 2. Sentences for the attention rating task

Article information Continued

Figure 1.

Hearing thresholds of young and elderly group.

Figure 2.

Emotional speech spectrogram. (A) Anger. (B) Sad. (C) Happy.

Figure 3.

Experiment Multiple Forced Choice screen. (A) General rating task, (B) prosodic attention rating task, (C) semantic attention rating task, (D) expressing whether the subjects could understand the emotion and how much on a 5-point scale.

Figure 4.

General design of the stimuli: emotional speech stimulus. A. Consistent: says a sentence with a semantically angry emotion (e.g., what are you going to do with that life?) in an angry prosody. B. Inconsistent: says a sentence with a semantically angry emotion (e.g., don’t live like that) in a happy prosody. C. Neutral prosody: says a sentence with a semantically angry emotion (e.g., get out of my sight) in a neutral prosody. D. Neutral semantics: says a sentence with a semantically angry emotion (e.g., get out of my sight) in a neutral prosody.

Figure 5.

Rating results in general rating task for young and elderly adults.

Figure 6.

Rating results in attention rating task for young and elderly adults.

Table 1.

Participants’ characteristics

Elderly group Young group t
Gender, M:F 9:23 9:23
Age (yr) 69.16 ± 3.112 22.41 ± 3.573 55.815***
Education (yr) 13.06 ± 2.514 12.88 ± 1.737 0.347
Neuro psychological tests
 K-MMSE 28.63 ± 1.008 29.78 ± 0.491 -5.834***
 SVLT-IM 22.06 ± 3.850
 SVLT-D 7.10 ± 1.748
 SVLT-R 21.41 ± 1.542
 SGDS-K 1.69 ± 2.161

Values are presented as mean ± standard deviation unless otherwise indicated.

***

p < 0.001.

M: male; F: female, K-MMSE: Korean-Mini Mental State Examination (Kang, 2006), SVLT-IM: Seoul Verbal Learning Test-Immediate (Kang & Na, 2003), SVLT-D: Seoul Verbal Learning Test-Delay (Kang & Na, 2003), SVLT-R: Seoul Verbal Learning Test-Recognition (Kang & Na, 2003), SGDS-K: Korean version of the short form of Geriatric Depression Scale (Cho et al., 1999)

Table 2.

Hearing thresholds (dB HL) by age group

Frequency (KHz) Elderly group Young group t
0.5 17.2 ± 7.4 4.4 ± 4.7 8.264**
1 17.2 ± 5.4 3.6 ± 3.2 12.316*
2 18.1 ± 7.8 2.3 ± 2.8 10.753***
4 30.5 ± 18.6 1.7 ± 2.4 8.674***

Values are presented as mean ± standard deviation.

*

p < 0.05,

**

p < 0.01,

***

p < 0.001

Table 3.

General design of the stimuli

General rating task Attention rating task
Prosody attention rating task Semantics attention rating task
The subjects were asked to listen to the other person’s voice and rate the overall emotions they felt. The subjects were asked to ignore the semantics and attend to the prosody of the sentence. And then they rate only the emotions felt from the prosody.
The purpose of this task is to examine whether the subjects rely comparably more on prosody or semantic information to understand emotions as well as how well they understand emotions. The purpose of this task is to examine whether they have an ability to selectively focus on prosody or semantic information. The subjects were asked to ignore the prosody of the sentence and attend to the semantics of the sentence. And then they rate only the emotions felt from the semantics.

Table 4.

Target emotion rating

Instructions given to subjects
Angry rating Please listen while assuming that you’re on a phone call. Do you think the other person is angry right now?
Sad rating Please listen while assuming that you’re on a phone call. Do you think the other person is sad right now?
Happy rating Please listen while assuming that you’re on a phone call. Do you think the other person is happy right now?

Subjects rated the general rating task and the prosody semantic attention task on three target emotions (angry, sad, and happy)

Table 5.

Descriptive statistics of general rating task

Prosody-semantics-matched Prosody-matched Semantics-matched Prosody-semantics-absent
Elderly group (n=32) 4.53 ± 0.514 2.41 ± 0.467 3.99 ± 0.669 3.99 ± 0.501
Young group (n=32) 4.93 ± 0.164 3.16 ± 0.501 3.13 ± 0.728 4.56 ± 0.325

Values are presented as mean ± standard deviation

Table 6.

Descriptive statistics of attention rating task

Prosody Semantics
Elderly group (n=32) 1.46 ± 0.781 2.11 ± 0.727
Young group (n=32) 3.56 ± 0.431 3.29 ± 0.530

Values are presented as mean ± standard deviation

Prosody
Angry Sad Happy Neutral
Semantics Angry What are you going to do with your life like that? Why are you always late? Don’t live like that Get out of my sight
★Why the hell are you doing that?
★Never come into my sight at all
Sad My close friend left My child’s health checkup results aren’t good I broke up with my boyfriend/girlfriend today My dog has died
★I cried all day
★ The tears don’t stop falling
Happy I got a bonus pay today I won a lottery My daughter passed the exam I like you
★Congratulations, your disease has been cured
★I was told I am fully cured
Neutral There are many drawers in the office There’s a trash bin over there There are decorations on the hat I want to sharpen the pencil

★: Questions to determine and evaluate task conformity

Prosody
Angry Sad Happy Neutral
Semantics Angry Let’s not see each other ever I am so furious Get out of my room Go to hell
★Why the hell are you doing that?
★Never come into my sight at all
Sad I’m on my way to a funeral My mom is sick I heard my grandmother’s diagnosed with a cancer Life is so harsh
★I cried all day
★The tears don’t stop falling
Happy My grandson is born I ate delicious food I won a competition My salary has increased a lot
★Congratulations, your disease has been cured
★I was told I am fully cured
Neutral There’s a ladder over there Let’s buy a new pen There’s a bag in the room Wipe the glass cleanly

★: Questions to determine and evaluate task conformity