Development of Korean Music Rehabilitation Program for Persons with Hearing Loss

Article information

Audiol Speech Res. 2022;18(2):83-94
Publication date (electronic) : 2022 April 29
doi : https://doi.org/10.21848/asr.220056
1Department of Speech Pathology and Audiology, Graduate School, Hallym University, Chuncheon, Korea
2Department of Audiology and Speech-Language Pathology, Hallym University of Graduate Studies, Seoul, Korea
3Division of Speech Pathology and Audiology, Research Institute of Audiology and Speech Pathology, College of Natural Sciences, Hallym University, Chuncheon, Korea
Correspondence: Jinsook Kim, PhD Department of Speech Pathology and Audiology, Graduate School, Hallym University, 1 Hallymdaehakgil, Chuncheon 24252, Korea Tel: +82-33-248-2213 Fax: +82-33-256-3420 E-mail: jskim@hallym.ac.kr
Received 2022 March 16; Revised 2022 April 8; Accepted 2022 April 9.

Abstract

Purpose

The ability of music perception should be improved for the hearing impaired by music training. The music training should be systematically conducted from each musical element to overall music listening based on analytic and synthetic approaches. This study aimed to develop the music rehabilitation program (MRP) to improve the music perception of the hearing-impaired.

Methods

Fifteen cochlear implant (CI) users (34.5 ± 11.6 years) participated. The MRP consisted the musical elements such as pitch, melody, rhythm and timbre, and musical emotional training considering Korean culture. The MRP was conducted twice per week through self-directed home training for 2 months. The assessment of music perception (AMP) was tested before and after performing the MRP.

Results

The results of AMP subtests were significantly different between pre- and post-MRP with 61.1% and 83.8% for the pitch perception test, 72.8% and 87.8% for the timbre perception test with Korean musical instruments, 48.0% and 59.3% with Western musical instruments, and 55.9% and 71.1% in the harmony perception test. However, there was no significant differences in the melody, rhythm and emotional reaction tests. According to the MRP effectiveness questionnaire, 80% of participants have changed their interests after training for listening to music.

Conclusion

Although there were differences among elements of music training, the overall music perception ability was improved after conducting MRP (p < 0.001). In conclusion, providing a systematic music training program such as MRP could expand the range of music experience and improve the ability for music listening and for CI users.

INTRODUCTION

최근에는 청각장애인이 보장구 착용 후 의사소통 능력의 개선뿐 아니라 음악을 듣고 즐기는 영역의 개선 욕구도 부각되어 청각장애인의 음악지각 능력을 검사하고 그 능력을 제고시킬 수 있는 재활 방법의 필요성이 중요한 이슈가 되었다(Brockmeier et al., 2011). 그러나 와우의 손상은 주파수 선별과 시간분석 능력을 저하시키므로 음악지각 능력에 부정적 영향을 가져온다. 인공와우를 착용하는 경우 6~22개의 소수 전극만으로 정상 와우를 대신하기 때문에 주파수 대역 통과 필터가 넓어져서 소리의 미세한 스펙트럼 단서를 얻지 못하여 피치지각 능력이 떨어지게 된다(Gfeller et al., 2015; Looi et al., 2012). 또한 소리는 빠른 진동 정보인 미세구조(fine structure) 신호와 느린 진폭 정보인 시간적 포락선(temporal envelope) 정보가 종합되어 분석되는데, 인공와우를 통한 신호처리는 파형의 미세구조 신호를 제거하고 포락선 정보만을 전달하여 음악 신호의 미세 정보 지각이 어려울 수 있다(Fuller et al., 2018; Nimmons et al., 2008). 소리의 주파수 복합 정보인 멜로디와 음색 정보 전달을 용이하게 하기 위해 소리의 신호를 미세구조적으로 처리해야 하지만 인공와우 신호처리는 이 역량에 한계가 있어 음악지각 능력이 제한된다(Oh & Kim, 2014). 이러한 음악 기본 요소 중 하나인 피치, 멜로디와 음색의 제한된 지각은 음악 전체에 대한 느낌과 분위기를 읽는 능력에도 영향을 끼치게 된다. 그러나 청각장애인의 리듬지각은 다른 음악 요소와는 달리 정상인과 비슷한 수준을 보인다. 이러한 높은 리듬지각 능력은 리듬이 총체적인 시간 단서(gross temporal cue)로 전달될 수 있는 요소이고 음고의 차이가 아닌 음의 유무를 지각하는 것과 관련 있다(Choi, 2011; Looi et al., 2012). 또한 청각장애인의 리듬지각 수월성은 음악 신호를 분석할 때 보상 전략(compensatory strategy)으로 활용되어 부족한 주파수 선별 능력도 보완할 수 있다(Gfeller & Lansing, 1991).

청각장애인의 저조한 음악지각 능력 향상을 위해 여러 선행 연구들은 음악의 기본 구성 요소별 훈련을 분석적 접근법과 종합적 접근법을 적용하여 실시하였다. 분석적 접근법은 음향적 특성의 미세한 차이를 대조하도록 하는 상향식 기법으로 피치나 음색의 차이를 변별하는 과제 등이 해당되고, 변별 과제의 제시음 간격을 좁혀가며 유사한 신호음을 변별하는 기술을 훈련한다(Gfeller et al., 2015). 종합적 접근법은 음향 정보의 효율적인 인지처리를 촉진하는 것으로 신호음에서 사용 가능한 정보를 추출할 수 있도록 훈련시키는 하향식 기법이다(Fu & Galvin, 2007; Gfeller, 2001; Looi et al., 2012). 이 접근법은 좀 더 일상적이고 연속적인 신호음이 훈련음으로 사용되는데, 예를 들면 노래의 멜로디나 악기 소리를 확인하는 방법이다. 이러한 과제는 여러 청각 정보를 담은 복합적 신호가 빠르게 변화할 때 종합적으로 지각하는 능력을 요구하고, 전체 신호음에서 특정 요소를 집중하여 해석하는 과정도 훈련할 수 있다(Gfeller et al., 2015).

분석적 접근법에 따라 실시된 피치 훈련은 음의 높낮이를 ‘같다/다르다’로 변별하고, 음의 높낮이가 ‘높다/낮다’를 확인하는 방식으로 실시되었다(Chen et al., 2010; Yucel et al., 2009). 종합적 접근법의 훈련 방법으로는 연속적인 음계를 그림과 함께 제시하여 청각적인 피치 변화를 시각으로 매치하는 훈련을 진행하였다. 또한 훈련음 범위는 C4 (256 Hz)~B4 (495 Hz) (Chen et al., 2010), C3 (130 Hz)~C6 (1046 Hz) (Yucel et al., 2009) 등 연구마다 달랐으나 성공적인 피치 훈련을 위해서는 여러 주파수 특성을 다룰 수 있도록 다양한 주파수 범위의 음계가 훈련에 포함되어야 한다고 설명하였다(Vandali et al., 2015).

멜로디 훈련은 연속된 음계가 상승, 유지, 하강, 상승 후 유지, 유지 후 하강 등의 기본적인 형태를 변별하고 확인하는 훈련으로 분석적 접근법과 정형화된 멜로디 패턴이 아닌 실제 노래의 멜로디를 듣고 확인하는 종합적 접근법으로 구성되었다(Galvin et al., 2007; Gfeller et al., 2015). 특히 이 경우는 리듬 단서가 포함된 멜로디와 구성 음계들의 길이를 동일화시켜 리듬 단서를 제거한 멜로디를 활용하였다. 리듬 단서가 제거된 멜로디를 활용하는 방법은 주파수분석 능력 때문에 리듬 단서에 의존하여 멜로디를 지각하므로 멜로디 속 피치의 변화를 지각하는 작업에 좀 더 초점을 맞추도록 심화시킨 훈련 과정에 해당한다. 이러한 훈련은 피치와 멜로디 선율을 지각하는 능력이 기반되어, 멜로디가 친숙하지 않다면 기존의 경험과 기억을 회상해야 되는 또 다른 측면의 과제로 변질될 가능성이 있기 때문에 친숙도가 고려되어야 하는 요소이다. 그러나 친숙하지 않은 멜로디는 새로운 음악 경험으로 음악지각 능력을 확장하는 이점도 있다(Looi et al., 2012).

음색 훈련 방법도 분석적과 종합적 접근법을 적용하였는데, 음색을 변별하는 분석적 방법은 세 개의 악기 제시음 중 다른 악기로 연주된 제시음을 맞히는 방법이고, 종합적 접근법은 특정 멜로디를 연주한 악기 소리를 듣고 악기 이름을 맞히는 방법이다(Innes-Brown et al., 2013; Petersen et al., 2012).

이와 같이 분석적과 종합적 접근법을 이용한 훈련 범위는 음악의 기본 구성 요소인 피치, 멜로디, 리듬, 음색 훈련에 집중되어 있다. 그러나 청각장애인은 음악에 담긴 정서를 지각하는 능력에 도 어려움을 느낀다. 이는 정상 청력인의 경우 음악의 멜로디와 빠르기 등을 종합하여 음악 정서를 느끼는 반면 인공와우를 착용한 경우에는 음악의 빠르기만으로 정서를 이해하고자 하는 특성이 있기 때문으로 보인다(Hopyan et al., 2016). 음악 감정지각 능력은 음악을 총체적으로 이해하고 그 의미를 정서적 느낌으로 이입하는 과정을 통해 발달할 수 있는 가능성이 보고되었음에도 불구하고, 음악 감정지각 능력을 훈련하고 개선할 수 있는 방법을 제시한 선행 연구는 거의 없었다(Choi, 2012; Picou et al., 2018). 또한 음악에 반영된 문화적 특성과 친숙도가 음악의 감정적 표현을 인지하는 요인이 되므로 각 나라의 문화와 정서를 반영한 음악 훈련의 필요성이 제기되었다(Darrow, 2006).

국내에서 청각장애를 대상으로 시행된 음악 훈련은 리듬, 멜로디, 박자, 노래가사 기억하기, 악기 연주하기 등과 같이 음악의 요소를 부분적으로 포함한 훈련이거나(Choi et al., 2017), 음악 훈련이 어음인지의 향상에 영향을 미치는지 확인하기 위해 진행된 훈련(Tark et al., 2019)으로 체계적이고 종합적인 음악 훈련 프로그램은 아닌 것으로 확인하였다. 따라서 본 연구는 청각장애인의 음악지각 수준을 고려하여 음악의 기본 요소인 피치, 멜로디, 리듬, 음색, 음악 감정 훈련 등 5개의 훈련 등을 포함하고 민족 고유의 문화 특성을 반영하여 국내에 익숙한 음악과 전통적 악기를 포함한 종합적 음악 재활 프로그램(music rehabilitation program, MRP)을 개발하고자 한다. 개발된 MRP를 주 2회, 16회기에 걸쳐 2개월 동안 인공와우 착용자를 대상으로 실시한 후 재활 훈련의 효과를 평가하고 임상적 활용 가능성을 확인하고자 한다.

MATERIALS AND METHODS

연구 대상

MRP의 구성 전 20대 정상 청력 성인 15명(25.9 ± 1.87세)을 대상으로 예비검사를 실시하였다. MRP 구성 후 인공와우 착용 성인 15명(남성 5명, 여성 10명)을 대상으로 음악 재활 훈련을 실시하였다. 대상자의 평균 연령은 34.5세(± 11.6)였고, 인공와우 이식 귀는 우측 귀 10명, 좌측 귀 7명으로 이 중 인공와우 양이 착용자는 2명, 바이모달(cochlear implant + hearing aid) 착용자는 8명이었다(Table 1). 보장구 착용 후 순음 평균 역치는 우측 귀는 41.8 ± 18.8 dB HL, 좌측 귀는 44.4 ± 16.7 dB HL이었다. 순음 평균 역치 기준으로 30~40 dB SL의 강도에서 어음인지역치(speech recognition threshold)를 측정한 결과 우측 귀는 50.5 ± 10.1 dB HL, 좌측 귀는 62 ± 7.1 dB HL이었다. 대상자에게 가장 편안하게 들리는 강도에서 단어인지도(word recognition score)를 측정한 결과 우측 귀는 70.9% ± 25.1%, 좌측 귀는 67.7% ± 20.3%였다. 본 연구의 내용 및 절차는 한림대학교 생명윤리위원회로부터 승인받았다(IRB 승인번호: HIRB-2021-005).

Demographic data of the subjects included in this study

연구 방법

MRP의 구성

피치, 멜로디, 리듬, 음색, 음악 감정 훈련을 분석적 접근법과 종합적 접근법을 활용하여 구성하였다. 음악의 기본적 형태를 활용하여 음향적 특성을 분석하고 미세한 차이를 변별하거나 확인하는 능력을 향상시키기 위해 분석적 접근법을 적용한 훈련은 ‘피치 변별 및 확인하기’, ‘멜로디 패턴 변별 및 확인하기’, ‘음색 변별 및 확인하기’이다. ‘피치 변별 및 확인하기’는 두 개의 순음을 듣고 ‘같다/다르다’로 변별하고, 이 중 어떤 음이 더 높은지 확인하는 활동이다. ‘멜로디 패턴 변별 및 확인하기’는 두 멜로디 패턴을 듣고 ‘같다/다르다’로 변별하고, 어떤 패턴인지 확인하는 활동이다. ‘음색 변별 및 확인하기’는 두 개의 악기 소리를 듣고 ‘같다/다르다’를 변별하고, 악기 이름을 확인하는 활동이다.

종합적 접근법은 모든 훈련에 적용되었는데, 피치 훈련에서는 ‘피치의 순서 맞히기’, ‘피치의 개수 맞히기’, 멜로디 훈련에서는 ‘노래의 멜로디 확인하기’, 리듬 훈련에서는 ‘노래의 박자 맞추기’와 ‘노래의 리듬 모방하기’, 음색 훈련에서는 ‘악기의 개수 맞히기’, 음악 감정 훈련에서는 ‘노래의 느낌 맞히기’이다. ‘피치의 순서 맞히기’는 연속적으로 제시되는 음 중 저음과 고음의 순서를 맞히는 활동으로 상대적인 음의 높낮이를 비교하여 제시된 음의 순서를 맞히는 활동이다. ‘피치의 개수 맞히기’는 여러 개의 음이 동시에 제시되었을 때 구성된 음의 개수를 맞히는 활동으로 서로 다른 음의 높낮이를 확인하고 개수를 맞히도록 하였다. ‘노래의 멜로디 확인하기’는 리듬 단서가 포함된 멜로디와 제거된 노래의 일부를 듣고 노래 제목을 맞히는 활동으로 실제 노래의 멜로디를 사용하여 연속적인 피치 변화를 듣고 제목을 판단하도록 하였다. ‘노래의 박자 맞추기’는 악곡의 박자표가 나타내는 규칙적인 박자를 노래 소리에 맞추어 세는 활동이고, ‘노래의 리듬 모방하기’는 음표의 길이에 맞게 리듬을 모방하여 세는 활동이다. 이 활동은 재생되는 노래 속에서 시간적 정보를 추출하고 이를 표현하도록 하였다. ‘악기의 개수 맞히기’는 여러 악기가 동시에 연주될 때 악기 개수를 맞히는 활동으로 복합적으로 연주되는 음악을 듣고 서로 다른 음색을 확인하고 연주되는 악기의 개수를 맞히도록 하였다. ‘노래의 느낌 맞히기’는 실제 노래 중 일정 구간을 듣고 느껴지는 분위기를 맞히는 활동이다. 이 활동은 실제 음악과 유사한 형태이거나 통합된 형태에서 음향적 특성을 확인하여 음악에 담긴 정서를 지각하는 능력을 향상시키기 위해 구성하였는데 음악의 느낌을 네 가지 카테고리로 구분하여 선택할 수 있도록 하였다. 네 가지 카테고리는 긍정적이고 에너지가 많은 느낌, 긍정적이고 에너지가 적은 느낌, 부정적이고 에너지가 많은 느낌, 부정적이고 에너지가 적은 느낌으로 그 느낌에 맞는 적절한 형용사를 제시하였고, 훈련 후 본인의 언어나 형용사로 노래의 느낌을 표현하도록 하여 음악 감정 훈련을 개별적 정서폭에 따라 풍부하게 진행할 수 있도록 하였다.

이 외에 훈련의 효과를 늘리기 위해 특별 활동을 진행하였으며 음색 훈련으로 ‘악기 배우기’와 음악 감정 훈련으로 ‘노래의 느낌 표현하기’를 포함하였다. ‘악기 배우기’는 시청각 자료를 통해 악기의 형태를 익히고, 악기의 소리가 발생되는 원리, 악기의 음역대, 음색의 특징 등을 제시하여 악기에 대한 이해를 돕도록 구성된 활동이다. 악기의 특징들을 퀴즈의 형태로 제시하여 악기 이름을 맞추고, 실제 악기 연주 영상을 시청한 후, 보기로 주어진 형용사 목록을 참고하여 음색의 특성 및 느낌을 청자 스스로의 언어로 표현할 수 있도록 구성하였다. ‘노래의 느낌 표현하기’는 제시되는 음악에 더 집중하고 이해도를 높일 수 있도록 느껴지는 분위기를 주어지는 형용사 목록을 참고하여 청자의 느낌을 말로 간략하게 작성하는 활동이다. 주어진 네 가지 카테고리의 형용사는 총 12개였다. 긍정적이고 에너지가 많은 느낌의 형용사로 ‘행복한’, ‘기쁜’, ‘흥분되는’이 제시되었고, 긍정적이고 에너지가 적은 느낌의 형용사로 ‘평화로운’, ‘느긋한’, ‘차분한’이, 부정적이고 에너지가 많은 느낌의 형용사로 ‘화난’, ‘긴장된’, ‘짜증나는’이, 마지막으로 부정적이고 에너지가 적은 느낌의 형용사로 ‘슬픈’, ‘지루한’, ‘졸린’이 제시되었다.

이러한 활동들 중 적절한 훈련음을 선정하고 난이도, 적절도, 흥미도 등을 조절하기 위해 ‘피치의 순서 맞히기’과 ‘피치의 개수 맞히기’, ‘멜로디 패턴 변별 및 확인하기’, ‘악기의 개수 맞히기’, 음악 감정 훈련의 ‘노래의 느낌 맞히기’는 정상인을 대상으로 예비검사를 실시한 후 최종 MRP를 구성하였다.

MRP의 진행 절차

MRP는 총 16회기로 구성되어 2개월 동안 주 2회기씩 자기주도 재택 훈련(self-directed home training)으로 연구원이 제공하는 각 회기의 활동 자료를 대상자가 가정에서 수행하는 방식으로 진행하였다. 활동 자료는 온라인 파일로 제공하였으며 한 회기의 활동 자료는 ‘활동지’, ‘문제지’, ‘답지’의 3개 파일로 구성하였다. ‘활동지’ 파일에는 활동의 개요, 수행 방법, 활동음 듣기 연습 및 활동 문제가 제시되었다(Appendix 1). ‘문제지’ 파일에는 각 문제의 답을 표시할 수 있는 선택지가 제시되어 있어 대상자가 문제에 대한 답안이라 생각하는 선택을 표시하도록 하였다. ‘답지’ 파일에는 문제의 정답이 적혀 있어 대상자가 활동을 수행한 후 정답을 확인할 수 있도록 하였다. Driscoll(2012)이 오답의 유무를 알려주는 훈련 방식과 답안에 악기 소리의 특성 정보를 제공하며 피드백을 제시하는 훈련 방식에 효과가 있다한 보고를 바탕으로 본 연구에서는 대상자가 문제를 푼 후 답안을 제공하여 스스로 오답 정리를 하도록 하였다. 대상자는 ‘활동지’ 파일에서 활동 방법과 활동음을 연습한 후 활동 문제의 제시음을 듣도록 하였다. 그후 문제의 답안을 ‘문제지’ 파일에 표시하여 연구원에게 제출하였다. 연구원은 대상자가 제출한 수행 자료를 수거한 후 ‘답지’를 제공하여 대상자가 자가 채점 및 오답 정리를 하도록 하였다. 활동 자료는 일주일 주기로 제공하여 대상자가 매주 2회기 분량의 활동 자료를 스스로 수행하도록 하였다.

MRP의 평가

MRP가 인공와우 착용자의 음악지각 능력 향상에 미치는 효과를 분석하기 위해 훈련 전후 검사로 Shin et al.(2021)이 개발한 음악지각 능력의 주관적 평가인 음악지각검사(assessment of music perception, AMP)를 실시하였다. 검사는 방음실에서 진행하였고, 노트북(NT730QCR, Samsung, Seoul, Korea)에 내장된 Super Lab 5.0 (Cedrus, New York, NY, USA) 프로그램을 통해 진행하였다. 음장 조건에서 스피커를 통해 제시되는 검사음을 듣고 노트북 화면상의 선택지를 선택하도록 하여 대상자의 반응을 수집하였다. 검사음은 인공와우 착용자가 충분히 들을 수 있는 크기인 90 dB HL로 제시하였다. AMP검사는 피치지각검사, 멜로디지각검사, 리듬지각검사, 음색지각검사, 감정반응검사, 화음지각검사로 구성되었다.

또한 MRP 진행 후 음악 듣기에 대한 태도 변화를 확인하기 위한 MRP의 효과 평가를 실시하였다. 평가의 범위는 피치 훈련, 멜로디 훈련, 리듬 훈련, 음색 훈련 결과이며, 음악 듣기 태도에 대한 변화를 묻는 문항을 다섯 개 선택문항인 ‘매우 흥미로워졌다’, ‘조금 흥미로워졌다’, ‘변화가 없다’, ‘조금 흥미가 떨어졌다’, ‘매우 흥미가 떨어졌다’ 중 선택하도록 하였고, 훈련 내용 중 좋았던 점과 개선할 점을 기술하는 문항으로 구성하였다.

통계 분석

자료 분석을 위해 SPSS 프로그램(version 25; IBM Corporation, Armonk, NY, USA)을 이용하였다. 훈련 전과 후의 AMP 검사, 피치, 멜로디, 리듬, 음색, 화음지각, 감정반응검사 등의 결과 차이를 비교하기 위해 대응 표본 t 검정(matched pair t test)을 실시하였다. 통계적 유의수준은 p < 0.05에서 검정하였다.

RESULTS

MRP의 개발

최종적인 MRP의 훈련 내용과 훈련음 구성은 Table 2에 요약 정리하였다.

Contents of MRP according to training components: pitch training, melody training, rhythm training, timbre training, musical emotion training

피치 훈련

‘피치의 순서 맞히기’의 예비검사에서 순서의 구성음이 두 개와 세 개일 때의 정답률을 확인한 결과, 구성음이 두 개일 때는 94.8%, 세 개일 때는 93.3%로 두 구성에서 모두 높은 정답률을 보였다. 설문조사 결과 난이도는 2.5점, 적절도는 1.5점, 흥미도는 2.0점으로 이는 3점 ‘보통이다’보다 높은 점수였다. 또한 구성음이 두 개일 때의 활동 내용이 두 개의 피치를 변별하는 활동인 ‘피치 변별 및 확인하기’와 중복된다고 판단되어 구성음은 세 개로만 선정하였다. 따라서 최종 MRP의 순서는 저음이 하나이고 고음이 두 개인 저음-고음-고음/고음-저음-고음/고음-고음-저음의 구성과 저음이 두 개이고 고음이 하나인 고음-저음-저음/저음-고음-저음/저음-저음-고음으로 구성하였다. 훈련음은 4분음표의 길이와 80 bpm의 빠르기로 제작하였다.

‘피치의 개수 맞히기’의 예비검사에서 음의 개수를 1개부터 4개로 구성하여 정상 청력인이 맞힐 수 있는 최대 개수를 확인한 결과, 1개일 때 100%, 2개일 때 77.9%, 3개일 때 44.2%, 4개일 때 23.3%의 정답률을 보여 3개 이상이 될 때 정답률이 50%에도 미치지 못한 것을 확인하였다. 설문조사 결과 난이도는 4.1점, 적절도는 2.5점, 흥미도는 3.2점으로 적절도와 흥미도에 비해 난이도가 어려운 것으로 나타났다. 따라서 정답률이 낮아 어려운 것으로 보이는 3개와 4개를 제외하고 음의 개수를 1개와 2개로만 최종 MRP를 구성하였다. 결과적으로 1개 음은 해당 회기에서 훈련하는 훈련음들을 하나씩 제시하였고, 2개 음은 변별 및 확인을 목표로 두 개의 순음 쌍을 동시에 제시하였다. 훈련음은 2분음표의 길이와 100 bpm의 빠르기로 제작하였다.

다양한 음역대를 훈련하기 위해 훈련음의 시작음을 C3으로 하고 끝음을 C3에서 4옥타브 떨어진 C7으로 선정하였다. C3~C7 범위 중 낮은 두 옥타브 대역인 C3~C5을 저주파수 대역으로, 그 다음 두 옥타브 대역인 C5~C7을 고주파수 대역으로 설정하였다. 훈련음은 피아노 건반 중 흰 건반인 C(도), D(레), E(미), F(파), G(솔), A(라), B(시) 중 저, 고주파수 대역 내 최대 간격인 24반음 차이부터 시작해서 점점 음의 간격을 좁히며 최종적으로 1반음 차이까지 훈련을 할 수 있도록 구성하였다. ‘피치 변별 및 확인하기’의 훈련음은 악보 작성 프로그램인 Finale 프로그램(MakeMusic, Denver, USA)을 통해 2분음표의 길이와 100 bpm의 빠르기로 제작하였다. 또한 재활 훈련의 난이도를 낮추고 효과를 높이기 위해 ‘피치 변별 및 확인하기’의 훈련음을 ‘피치의 순서 맞히기’와 ‘피치의 개수 맞히기’의 훈련음과 동일하게 구성하였다.

멜로디 훈련

‘멜로디 패턴 변별 및 확인하기’의 예비검사에서 모든 아홉 가지 멜로디 패턴, ‘상승’, ‘유지’, ‘하강’, ‘상승 후 유지’, ‘상승 후 하강’, ‘유지 후 상승’, ‘유지 후 하강’, ‘하강 후 상승, ‘하강 후 유지’ 중 맞히기 어려운 멜로디 패턴을 확인하고 적절한 훈련음을 선정하고자 하였다. 검사 결과 ‘상승’, ‘유지’, ‘유지 후 상승’일 때 100%, ‘상승 후 하강’, ‘유지 후 하강’ 96.7%, ‘하강’, ‘상승 후 유지’, ‘하강 후 상승’, ‘하강 후 유지’일 때 93.3%로 모든 멜로디 패턴에서 높은 정답률을 보였다. 설문조사 결과도 난이도는 평균 1.9점, 적절도는 평균 1.7점, 흥미도는 평균 1.7점으로 높게 나타나 아홉 가지 멜로디 패턴 모두를 최종 MRP 훈련음으로 구성하였다.

멜로디 패턴은 저주파수와 고주파수 대역에서 7개의 4분음표로 된 9개 멜로디 패턴으로 구성하였다. 또한 모든 음들은 다장조(C major) 기준 피아노의 흰 건반에 해당하는 음만을 사용하였다. 통일된 멜로디 패턴을 구성하기 위해 저주파수 대역 중 가장 낮은 음은 C3로, 고주파수 대역은 C5로 설정하였다. 훈련은 멜로디 패턴을 듣고 closed-set로 주어지는 2개의 보기(2-alternative forced-choice, 2AFC)에서 해당 패턴을 변별 및 확인하도록 하였다.

‘노래의 멜로디 확인하기’로 ‘작은 별’, ‘섬집아기’, ‘나비야’. ‘산토끼’, ‘바둑이 방울’, ‘퐁당퐁당’ ‘옹달샘’, ‘생일 축하합니다’, ‘아리랑’, ‘사과같은 내 얼굴’, ‘고향의 봄’, ‘설날’, ‘아기염소’, ‘루돌프 사슴코’의 총 14곡을 훈련곡으로 활용하였다. 훈련 멜로디는 한 곡당 두 개의 멜로디 일부를 추출하여 사용하였는데, 리듬의 단서가 포함된 멜로디로 먼저 제시한 후 리듬의 단서를 제거한 멜로디로 확장하여 훈련을 구성하였다. 리듬의 단서가 있는 멜로디는 대부분 4분음표로 구성되어 있어 4분음표 기준 80 bpm의 빠르기로 제작하였고, 리듬의 단서를 제외한 멜로디는 8분음표로 구성하여 8분음표 기준 80 bpm의 빠르기로 설정하였다. 훈련은 멜로디를 듣고 closed-set 상황에서 2AFC로 해당 멜로디의 곡 제목을 선택하도록 하였다.

리듬 훈련

멜로디 훈련의 ‘노래의 멜로디 확인하기’에서 훈련한 곡을 ‘노래의 박자 맞추기’와 ‘노래의 리듬 모방하기’에서 사용하였다. 리듬 훈련으로 곡의 일부분이 아닌 전체 부분에 대하여 박자 및 리듬을 맞추도록 하였다. 곡의 박자는 4분의 2박자, 4분의 3박자, 4분의 4박자로 구성되어 다양한 박자에 맞추어 훈련할 수 있도록 하였고, 회기가 지날수록 박자의 차수를 높이고, 단순한 리듬에서 복잡한 리듬의 곡으로 점차 난이도를 상향시켰다. 곡의 빠르기는 4분음표 기준 80 bpm이 되도록 제작하였다.

음색 훈련

‘악기의 개수 맞히기’의 예비검사에서 여러 악기가 동시에 연주될 때 정상인이 구분할 수 있는 개수를 확인하고, 훈련에 적용가능한 훈련음을 확인하고자 하였다. 예비검사에서 활용된 악기는 Shin et al.(2021)의 음악지각검사(AMP) 결과를 바탕으로 각 악기군에서 지각 점수가 높고 친숙도가 높은 기준으로 선정하였다. 따라서 국악기는 목관악기의 대금과 향피리, 현악기의 가야금과 해금, 타악기의 장구를, 서양악기는 금관악기의 트롬본, 목관악기의 클라리넷, 현악기의 바이올린, 타악기의 실로폰, 일상에서 접하기 쉬운 악기인 피아노를 포함하였다. 국악기를 검사할 때는 악기 개수를 1개부터 3개까지, 서양악기를 검사할 때는 1개부터 5개까지로 구성하였다. 그 결과 국악기에서는 악기 개수가 1개일 때 97.3%, 2개일 때 97.3%, 3개일 때 58.3%의 정답률을 보였고, 서양악기검사에서는 악기 개수가 1개일 때 98.7%, 2개일 때 60%, 3개일 때 25%, 4개일 때 14.7%, 5개일 때 10.7%의 정답률을 보였다. 국악기와 서양악기 모두 악기 개수가 3개 이상이 될 때 정답률이 낮아졌다. 또한 설문조사 결과 난이도는 국악기에서 3.1점, 적절도는 2.7점, 흥미도는 3.2점이었고, 서양악기에서 4.5점, 적절도는 3.7점, 흥미도는 4.0점이었다. 따라서 난이도가 ‘보통’에서 ‘매우 어렵다’였고 적절도와 흥미도 점수도 다른 검사에 비해 떨어졌다. 따라서 정답률이 높았던 1개와 2개 악기 개수를 최종 MRP 훈련음으로 선정하였다. 훈련음은 악기가 1개인 경우는 C4-A4-F4-G4-C5 음표를 단독적으로 연주하는 악기 소리를 제시하였고, 악기가 2개인 경우는 동일한 음표를 동시에 연주해 합쳐진 두 악기 소리를 제시하였다.

훈련 악기로 국악기와 서양악기가 포함되었는데, 국악기로 현악기의 가야금, 아쟁, 해금, 타악기의 꽹과리, 장구, 징, 목관악기의 단소, 대금, 향피리, 서양악기로 현악기의 기타, 바이올린, 비올라, 첼로, 타악기의 드럼, 실로폰, 팀파니, 피아노, 목관악기의 리코더, 오보애, 클라리넷, 플룻, 금관악기의 트럼펫, 트롬본, 호른이 활용되었다. 서양악기는 Finale 프로그램을 이용하여 음원을 제작하였으며 국악기는 Finale 프로그램과 서울대학교 예술과학센터 국악 가상악기 음원 라이브러리(http://www.catsnu.com/Main/Main.aspx)를 이용하여 음원을 제작하였다.

‘악기 배우기’에 포함된 악기에 대한 정보 및 퀴즈는 위키백과(https://ko.wikipedia.org/wiki), 나무위키(https://namu.wiki/w/나무위키:대문), 네이버 지식백과(https://terms.naver.com)에서 참고하였다. 세 개 사이트 중 공통적인 정보를 추출하여 내용을 구성하였다. 악기 연주 영상은 유튜브 영상을 활용하였고 훈련 악기 소리만을 단독으로 들을 수 있도록 독주 영상 또는 반주 소리가 적은 영상으로 선정하였다. 또한 악기 소리를 듣고 음색에 대해 표현하는 활동은 악기음색의 언어적 표현을 분석한 선행 연구를 참조하여(Cho & Kim, 2013) 악기의 음색 특성을 표현하는 형용사 30개를 추출하여 제시하였다.

‘음색 변별 및 확인하기’는 두 가지의 악기 소리를 듣고 같다/다르다로 변별하도록 하였고, C4-A4-F4-G4-C5 음표를 연주한 악기 소리를 듣고 closed-set로 2AFC의 조건에서 해당 악기를 확인하도록 하였다.

음악 감정 훈련

‘노래의 느낌 맞히기’의 예비검사에서는 국악 20곡과 서양 클래식 20곡 중 훈련 곡을 선정하고 해당 곡의 느낌을 확인하고자 하였다. 노래의 느낌은 우선 밝은 느낌/어두운 느낌 중 하나를 선택한 후, 두 번째로 음악 감정의 종류를 네 가지 그룹(A그룹: 행복한, 기쁜, 흥분되는; B그룹: 평화로운, 느긋한, 차분한; C그룹: 화난, 긴장되는, 짜증나는; D그룹: 슬픈, 졸린, 지루한) 중 선택하게 하였다. 이러한 방법은 Thayer’s model (Thayer, 1990)을 근거로 구성하였다. 그 결과 일관된 느낌을 확인하기 어려웠던 국악과 서양 클래식 4곡이 제외되어 최종 MRP로 16곡씩 선정되었다. 설문조사 결과 난이도는 평균 2.7점, 적절도는 평균 1.9점, 흥미도는 평균 1.4점으로 적절한 활동으로 나타났다.

국악과 클래식 16곡이 ‘노래의 느낌 맞히기’ 훈련으로 활용되었으며 예비검사에서 활용한 느낌 카테고리를 동일하게 사용하여 해당 곡의 느낌을 확인하도록 하였다. 또한 ‘노래의 느낌 표현하기’로 해당 곡의 느낌을 자신의 말로 작성하는 활동도 병행하였다.

훈련 전과 후의 음악지각 능력 비교

AMP의 훈련 전후 검사 결과를 비교 분석하였을 때(Table 3) 훈련 전후의 정답률은 64.5% ± 28.3%와 75.7% ± 26.2%로 통계적으로 유의미한 차이를 보였다(t[104] = -5.470, p < 0.001).

The comparison of percent correct answer between pre- and post-tests according to the AMP subtests

AMP의 각 하위검사별 훈련 전후의 정답률은 피치지각검사는 61.1% ± 26.6%와 83.8% ± 9.3%로 22.7%가 증가하였고 통계적으로 유의미한 차이가 있었다(t[14] = -3.430, p < 0.01). 멜로디지각검사는 29.0% ± 27.1%와 36.0% ± 34.1%로 7%가 증가하였으나 통계적으로 유의미한 차이는 없었다(t[14] = -1.098, p > 0.05). 리듬지각검사에서는 95.0% ± 9.1%와 98.0% ± 3.2%로 3%가 증가하였으나 유의미한 차이는 없었다(t[14] = -1.382, p > 0.05). 국악기의 음색지각검사는 72.8% ± 13.2%와 87.8% ± 10.9%로 15%가 증가하였고 통계적으로 유의미한 차이를 보였다(t[14] = -3.535, p < 0.01). 서양악기의 음색지각검사는 48.0% ± 14.0%와 59.3% ± 12.8%로 11.3%가 증가하였고 통계적으로 유의미한 차이가 있었다(t[14] = -3.795, p < 0.01). 감정반응검사는 85.8% ± 14.8%와 88.3% ± 3.9%였고 2.5%가 증가하였으나 통계적으로 유의미한 차이는 없었다(t[14] = -0.468, p > 0.05). 화음지각검사는 55.9% ± 18.8%와 71.1% ± 17.8%로 15.2%가 증가하였고 통계적으로 유의미한 차이가 있었다(t[14] = -2.423, p < 0.05) (Table 3).

MRP 시행 후 음악 듣기 태도의 변화

본 연구 참여 대상자가 MRP를 시행한 후 음악 듣기 태도의 변화에 대해 평가지에 ‘매우 흥미로워졌다’, ‘조금 흥미로워졌다’, ‘변화가 없다’, ‘조금 흥미가 떨어졌다’, ‘매우 흥미가 떨어졌다’ 중한 가지를 선택하여 응답한 결과를 백분율로 환산하여 확인하였다. 음의 높낮이 훈련을 실시하였을 때, 음악 듣기는 33.3%가 ‘매우 흥미로워졌다’, 60.0%가 ‘조금 흥미로워졌다’, 6.7%가 ‘변화가 없다’고 응답하였다. 멜로디 훈련을 실시하였을 때, 음악 듣기는 40.0%가 ‘매우 흥미로워졌다’, 33.3%가 ‘흥미로워졌다’, 26.7% 가 ‘변함이 없다’고 응답하였다. 리듬 훈련을 실시하였을 때, 음악 듣기는 40.0%가 ‘매우 흥미로워졌다’, 53.3%가 ‘조금 흥미로워졌다’, 6.7%가 ‘변함이 없다’고 응답하였다. 악기 소리 훈련을 실시한 결과 음악 듣기는 60.0%가 ‘매우 흥미로워졌다’, 33.3%가 ‘조금 흥미로워졌다’, 6.7%가 ‘조금 흥미가 떨어졌다’고 응답하였다. 음악 감정 훈련을 실시하였을 때, 음악 듣기는 40.0%가 ‘매우 흥미로워졌다’, 20.0%가 ‘흥미로워졌다’, 33.3%가 ‘변함이 없다’, 6.7%가 ‘매우 흥미가 떨어졌다’고 응답하였다. 종합적으로 MRP 훈련을 실시하였을 때, 음악 듣기는 46.7%가 ‘매우 흥미로 워졌다’, 33.3%가 ‘조금 흥미로워졌다’, 20.0%가 ‘변함이 없다’고 응답하였다(Table 4).

The percentages of interest in Likert scale in MRP effectiveness questionnaire

MRP에 대한 평가를 기술하도록 하였을 때, ‘다양한 악기 소리를 접할 수 있었고, 악기 소리를 구분하는 법을 배울 수 있어 좋았다’라고 6명이, ‘멜로디 훈련으로 새로운 곡을 알 수 있어 좋았다’라고 5명이, ‘프로그램 구성이 다양하고 체계적이어서 여러 방법으로 소리 구분 연습을 할 수 있었다’라고 2명이 응답하였다. 또한 ‘앞으로 더 다양한 음악을 듣고 싶다’와 ‘음악을 들을 때 어떤 악기 소리인지 생각하는 습관이 생겼다’라고 1명이 응답하였고 음악 듣기에 대한 긍정적인 태도 변화가 있었다고 하였다. 반면 ‘악기 소리를 구분하는 데에 어려움이 있었다’라고 2명이, ‘모르는 노래의 멜로디는 듣는 데에 제한이 있었고, 멜로디를 기억하기에 어려웠다’라고 2명이, ‘리듬 단서가 제거된 멜로디를 듣는 것에는 실력 향상이 되지 않았다’라고 1명이 개선점을 제시하였다.

DISCUSSIONS

본 연구는 청각장애인을 위한 음악 훈련 도구로 MRP를 개발하고 이를 인공와우 착용자에게 적용한 후 재활 훈련의 효과를 적용 전후로 비교 분석하여 MRP의 임상적 활용 가능성을 확인하고자 하였다.

최종 구성된 MRP 프로그램을 요약하자면 피치 훈련에는 ‘피치 변별 및 확인하기’, ‘피치의 순서 맞히기’와 ‘피치의 개수 맞히기’, 멜로디 훈련에는 ‘멜로디 패턴 변별 및 확인하기’와 ‘노래의 멜로디 확인하기’, 리듬 훈련에는 ‘노래의 박자 맞추기’와 ‘노래의 리듬 모방하기’, 음색 훈련에는 ‘악기의 개수 맞히기’, ‘악기 배우기’와 ‘음색 변별 및 확인하기’, 마지막으로 음악 감정 훈련에는 ‘노래의 느낌 맞히기’와 ‘노래의 느낌 표현하기’가 포함되었다.

MRP 시행 후 음악 요소별 지각 능력 향상 정도를 음악지각검사(AMP)로 검사한 결과, 훈련 전후 유의미한 차이가 있었으며 음악지각검사의 정답률도 유의미하게 향상되었다(p < 0.001).

피치지각검사 결과를 비교하였을 때 훈련 후의 결과가 훈련 전의 결과보다 22.7%의 높은 정답률을 보여 피치의 구분 능력이 향상된 것으로 나타나서 여러 선행 연구 결과와 일치하였다(Chen et al., 2010; Di Nardo et al., 2015; Yucel et al., 2009). 10명의 인공와우 착용 아동들을 대상으로 음의 높낮이 변별 훈련을 실시한 연구에서는 훈련 전 검사에서 음의 높낮이 차이를 평균 9반음까지 구분하였으나 훈련 후 검사에서는 평균 2.3반음까지 구분할 수 있을 정도로 피치 구분 능력이 향상하였다(Di Nardo et al., 2015). 이러한 현상의 원인으로는 음악적 수행에 기여하는 구체적 신경 경로가 아직 명확하게 밝혀지지 않았지만, 연구자들은 음의 높낮이를 구분하는 훈련이 중추 청각 시스템의 음계 체계를 재구성하였기 때문이라고 주장하였다(Di Nardo et al., 2015; Jiam & Limb, 2020). 또한 피치지각 능력의 향상은 인공와우를 통해 전달되는 다양한 신호와 음의 높낮이 구분 능력도 향상시켜, 이러한 경험 축적이 청각 시스템의 신경 가소성을 활성화시키고 음악 감상과 의사소통 능력의 향상에도 영향을 미친다고 하였다. 그러나 간격이 좁아질수록 훈련을 통한 향상이 어려운 것으로 나타났다. 본 연구의 피치지각검사에서 2옥타브인 24반음 이상 간격에 해당할 경우나 4나 7반음 차이에서는 유의미한 향상을 보였으나 3반음 차이에서는 유의미한 차이를 보이지 않아 능력이 향상되지 않은 것으로 나타났다. 그 이유 중 하나로 인공와우의 어음처리기는 중심 주파수가 고정된 넓은 대역 통과 필터를 가지고 주파수를 분석하기 때문에(Gfeller et al., 2015; Looi et al., 2012) 음의 높낮이의 미세한 차이를 구분하는 작업에 한계가 있기 때문인 것으로 생각한다. 또한 인공와우의 인접한 전극이 동시에 자극될 때 와우 전극 내 전기장이 중첩(overlapping)되어 주파수 정보를 왜곡하고 명료도를 떨어뜨려 두 음의 간격이 좁아질 때 주파수 분석이 어려워지는 것이 원인일 수도 있다고 생각한다(Jin, 2006).

멜로디지각검사의 훈련 전 정답률은 29%로 다른 하위검사의 결과 중 가장 낮은 정답률을 보였고, 훈련 후에도 36%로 7%의 미미한 폭을 보였고 유의미한 차이가 없었다. 이는 선행 연구에서도 유사하게 나타났는데, Gfeller et al.(2000)은 피아노 소리를 이용하여 연주된 단선율의 멜로디로 훈련하였을 때 10.9%의 미미한 상승폭을 보고하였다. 멜로디지각 훈련의 효과가 적은 다른 이유로 친숙도도 생각할 수 있다고 하였는데 아마도 새로운 피치와 리듬 구성을 갖는 멜로디를 학습하기에는 인공와우 신호 처리 전략에 한계가 있기 때문이라고 설명하였다(Gfeller et al., 2000). 본 연구에서는 한 곡을 가지고 두 개의 회기에 걸쳐 멜로디 훈련을 실시하였고, 리듬 훈련에서도 동일한 곡들을 사용해 친숙하지 않은 멜로디를 익힐 수 있도록 반복 제시하였다. 그러나 멜로디지각 능력에서 유의미한 차이가 나타나지 않았는데 여전히 친숙하지 않은 곡은 반복으로도 멜로디 학습이 어려운 것으로 생각된다. 그럼에도 불구하고 본 연구의 최종 효과를 질문하였을 때 훈련의 난이도와 별개로 인공와우 착용자가 새로운 멜로디를 익히는 것에 흥미를 느끼고 있는 것으로 나타났다. 따라서 적극적으로 음악 듣기를 하고자 하는 경우 지속적인 듣기 경험과 훈련은 멜로디의 지각 능력을 향상시킬 수 있을 것으로 생각한다.

리듬 훈련 전과 후 검사 결과 95%와 98%의 정답률을 보여 유의미한 차이는 없었지만, 이는 이미 훈련 전 정답률이 95%로 높은 수행력을 보였기 때문에 천장효과(ceiling effect)에 도달하여 나타난 현상으로 생각한다. 실제로 동일한 검사를 15명의 정상 성인에게 실시한 선행 연구 결과에서도 정답률이 99.3%로 비슷한 수행력을 보였다(Shin et al., 2021). 본 연구는 인공와우 착용자의 리듬지각 능력이 정상인과 비슷하거나 조금 낮은 수준이지만, 복잡한 리듬지각에 있어서는 어려움을 보인다는 선행 연구 결과(Hidalgo et al., 2021; Jiam & Limb, 2020)를 반영하여 심화된 리듬 과제로 리듬 훈련을 구성하여 실시하였다. 그러나 훈련의 효과를 살펴보기 위해 실시한 리듬지각검사는 단순한 리듬 패턴의 변별 능력을 확인한 검사로 심화된 리듬지각 능력의 향상을 확인하기에 부족하였다. 따라서 추후 연구에는 복잡한 리듬 신호를 변별 및 확인하는 능력이나 실제 음악 속의 리듬 정보를 분석하는 능력 등을 평가하여 훈련의 효과를 확인해야 할 것으로 생각한다.

여러 선행 연구에서 악기 소리 훈련에서 음악지각 능력이 향상되었듯이(Driscoll, 2012; Gfeller et al., 2002; Petersen et al., 2012), 본 연구의 악기 소리 훈련 전과 후의 검사 결과도 국악기와 서양악기에서 모두 유의미한 차이를 보였다. 이러한 결과는 인공와우 시스템이 악기의 고유한 소리 특성을 구분하는 능력을 배울 수 있도록 충분한 주파수 정보를 제공해줄 수 있기 때문인 것으로 나타났다(Petersen et al., 2012). 더욱이 악기 소리의 형성 원리와 소리의 특성을 연관짓는 훈련이 음색지각 능력을 향상시킬 수 있다는 선행 연구(Gfeller et al., 2002)에 따라서 본 연구는 악기의 형태, 소리가 생성되는 원리, 소리 특성 정보 등을 제공하고 시각 자료도 제공하여 악기 소리에 대한 단서를 습득할 수 있도록 하였다. 그 결과 ‘다양한 악기에 대해 배우고 소리를 경험할 수 있어 좋았다’고 6명이 응답하는 결과를 얻었다. 그러나 음색의 학습 능력은 악기별로 다른 것으로 나타났는데, 이는 악기의 음향학적 특성보다 음색의 특성과 더 연관이 있을 것으로 생각한다. 왜냐하면 유의미한 향상을 보인 악기는 대금, 향피리, 해금, 클라리넷, 플룻, 실로폰, 기타로 음색이 독특한 악기들인 것으로 나타났기 때문이다. 반면에 유의미한 향상을 보이지 않은 악기는 가야금, 트롬본, 호른, 바이올린, 첼로, 피아노였는데 트롬본과 호른, 바이올린과 첼로는 같은 악기군에 속하고, 서로 비슷한 음색을 가진 악기들로 구별이 어려웠기 때문이었던 것으로 생각한다.

음악 감정반응검사에서 훈련 전후의 정답률은 85.8%와 88.3%로 통계적으로 유의미한 차이가 없었는데 훈련 전 85.8%의 높은 정답률이 향상의 정도에 제한이 있었을 것으로 생각한다. 그러나 훈련에 사용된 음악을 듣고 그 음악에서 느끼는 감정을 훈련 후 그 느낌을 구체적으로 자신의 말로 표현하도록 하였을 때 음악에서 주는 느낌을 ‘경쾌하고 리듬이 빨라 신이 나는 느낌이다’, ‘차분하고 잔잔하다’, ‘긴장감이 느껴지고 파도가 치는 것처럼 화나고 무서운 느낌이다’, ‘애절하고 슬픈 느낌이다’ 등의 표현으로 기술하였다. 따라서 MRP는 음악 감상 및 표현의 활동으로 음악에 실린 감정을 이해하고 좀 더 깊게 느끼도록 유도하는 효과가 있었던 것으로 생각한다. 더욱이 음악의 감정적 의미는 그 문화만의 장단과 조성 체계가 반영되고 이를 기반으로 학습되는 것인데(Choi, 2012; Darrow, 2006), 본 연구에서는 한국 전통 음악인 국악 16곡을 포함하여 문화적 특성을 반영한 점에서 의의가 있었던 것으로 나타났다.

화음지각검사 결과를 훈련 전과 후로 비교하였을 때 55.9%에서 71.1%로 15.2% 정답률이 상승되었고 통계적으로 유의미하게 나타났다. 이러한 결과는 음악 경험이 화음지각에 긍정적 영향을 끼치는 선행 연구의 결과와 일치하였다(Bidelman & Grall, 2014). 화음과 불협화음은 해당 음에 대해 유쾌하거나 불괘한 주관적 느낌과 연결되는 음악적 요소인데(Brattico et al., 2009; Zentner & Kagan, 1998), 선행 연구에 의하면 정상 청력 그룹은 불협화음 정도가 커질수록 불쾌 점수가 크다고 표현한 반면, 청각장애 그룹은 화음 종류와 상관없이 모든 음들이 유쾌하다고 표현하여 청각장애가 있는 경우, 화성음의 조화를 정확히 지각하지는 못하는 것으로 나타났다(Caldwell et al., 2016).

본 연구에서는 2개월 동안 주 2회 음악 훈련을 실시하였을 때 훈련 후 전체 AMP의 정답률이 훈련 전보다 유의미하게 높아져 음악지각 능력의 향상을 확인할 수 있었다. 그러나 음악 훈련의 기간과 횟수는 음악 훈련의 효과와 연관이 있는 요소여서 좀 더 나은 음악 훈련의 효과를 위해 오랜 기간 다수의 훈련이 필요한 것으로 생각한다(Chen et al., 2010; Gfeller, 2016; Shukor et al., 2021). 따라서 후속 연구에서는 2개월 이상 음악 훈련을 실시하고 음악 재활이 뇌발달과 음악 감상 태도에 미치는 영향도 mismatch negativity와 태도 조사 내용 등으로 분석하여 음악 훈련 프로그램의 완성도를 향상시킬 수 있기를 기대한다.

Acknowledgements

N/A

Notes

Ethical Statement

This study was approved by the Institutional Review Board of Hallym University (HIRB-2021-005).

Declaration of Conflicting Interests

There is no conflict of interests.

Funding

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2020S1A5A2A01044374).

Author Contributions

Conceptualization: Jinsook Kim, Jeong-Sug Kyong. Data curation: Yerim Shin, Sungmin Jo. Formal analysis: Yerim Shin, Sungmin Jo. Funding acquisition: Jinsook Kim. Investigation: Jinsook Kim. Methodology: Jinsook Kim, Yerim Shin, Sungmin Jo, Jeong-Sug Kyong. Project administration: Jinsook Kim, Sungmin Jo. Resources: Jinsook Kim, Jeong-Sug Kyong. Software: Yerim Shin, Sungmin Jo. Supervision: Jinsook Kim, Jeong-Sug Kyong. Validation: Jinsook Kim, Sungmin Jo. Visualization: Jinsook Kim, Jeong-Sug Kyong, Sungmin Jo. Writing—original draft: Jinsook Kim, Yerim Shin. Writing—review & editing: Jinsook Kim, Yerim Shin, Sungmin Jo. Approval of final manuscript: All authors.

References

1. Bidelman G. M., Grall J.. 2014;Functional organization for musical consonance and tonal pitch hierarchy in human auditory cortex. NeuroImage 101:204–214.
2. Brattico E., Brattico P., Jacobsen T.. 2009;The origins of the aesthetic enjoyment of music—a review of the literature. Musicae Scientiae 13(2_suppl):15–39.
3. Brockmeier S. J., Fitzgerald D., Searle O., Fitzgerald H., Grasmeder M., Hilbig S., et al. 2011;The MuSIC perception test: a novel battery for testing music perception of cochlear implant users. Cochlear Implants International 12(1):10–20.
4. Caldwell M. T., Jiradejvong P., Limb C. J.. 2016;Impaired perception of sensory consonance and dissonance in cochlear implant users. Otology and Neurotology 37(3):229–234.
5. Chen J. K., Chuang A. Y., McMahon C., Hsieh J. C., Tung T. H., Li L. P.. 2010;Music training improves pitch perception in prelingually deafened children with cochlear implants. Pediatrics 125(4):e793–e800.
6. Cho W. J., Kim J.. 2013;Analysis of verbal expression for haegum and violin timbre. Journal of the Science and Practice of Music 30:101–116.
7. Choi S. K.. 2011;A comparative study on the perception of interval and rhythm by hearing impaired children who use cochlear implants and hearing aids. Journal of Speech-Language and Hearing Disorders 20(2):125–148.
8. Choi S. K.. 2012;A study on the relationship between emotional intelligence and musical affect perception of normal hearing students and hearing impaired students. Korean Journal of Special Education 46(4):195–218.
9. Choi W. J., Oh S. H., Bahng J.. 2017;Efficacy of music training on speech recognition and working memory in children wearing cochlear implants. Audiology and Speech Research 13(1):70–77.
10. Darrow A. A.. 2006;The role of music in deaf culture: deaf students’ perception of emotion in music. Journal of Music Therapy 43(1):2–15.
11. Di Nardo W., Schinaia L., Anzivino R., De Corso E., Ciacciarelli A., Paludetti G.. 2015;Musical training software for children with cochlear implants. Acta Otorhinolaryngologica Italica 35(4):249–257.
12. Driscoll V. D.. 2012;The effects of training on recognition of musical instruments by adults with cochlear implants. Seminars in Hearing 33(4):410–418.
13. Fu Q. J., Galvin J. J. 3rd. 2007;Perceptual learning and auditory training in cochlear implant recipients. Trends in Amplification 11(3):193–205.
14. Fuller C. D., Galvin J. J. 3rd, Maat B., Başkent D., Free R. H.. 2018;Comparison of two music training approaches on music and speech perception in cochlear implant users. Trends in Hearing 22:2331216518765379.
15. Galvin J. J. 3rd, Fu Q. J., Nogaki G.. 2007;Melodic contour identification by cochlear implant listeners. Ear and Hearing 28(3):302–319.
16. Gfeller K.. 2001;Aural rehabilitation of music listening for adult cochlear implant recipients: addressing learner characteristics. Music Therapy Perspectives 19(2):88–95.
17. Gfeller K.. 2016;Music-based training for pediatric CI recipients: a systematic analysis of published studies. European Annals of Otorhinolaryngology, Head and Neck Diseases 133Suppl 1(Suppl 1):S50–S56.
18. Gfeller K., Guthe E., Driscoll V., Brown C. J.. 2015;A preliminary report of music-based training for adult cochlear implant users: rationales and development. Cochlear Implants International 16(Suppl 3(0 3)):S22–S31.
19. Gfeller K., Lansing C. R.. 1991;Melodic, rhythmic, and timbral perception of adult cochlear implant users. Journal of Speech and Hearing Research 34(4):916–920.
20. Gfeller K., Witt S., Adamek M., Mehr M., Rogers J., Stordahl J., et al. 2002;Effects of training on timbre recognition and appraisal by postlingually deafened cochlear implant recipients. Journal of the American Academy of Audiology 13(3):132–145.
21. Gfeller K., Witt S., Stordahl J., Mehr M., Woodworth G.. 2000;The effects of training on melody recognition and appraisal by adult cochlear implant recipients. Journal of the Academy of Rehabilitative Audiology 33:115–138.
22. Hidalgo C., Zécri A., Pesnot-Lerousseau J., Truy E., Roman S., Falk S., et al. 2021;Rhythmic abilities of children with hearing loss. Ear and Hearing 42(2):364–372.
23. Hopyan T., Manno F. A., 3rd, Papsin B. C., Gordon K. A.. 2016;Sad and happy emotion discrimination in music by children with cochlear implants. Child Neuropsychology 22(3):366–380.
24. Innes-Brown H., Marozeau J. P., Storey C. M., Blamey P. J.. 2013;Tone, rhythm, and timbre perception in school-age children using cochlear implants and hearing aids. Journal of the American Academy of Audiology 24(9):789–806.
25. Jiam N. T., Limb C.. 2020;Music perception and training for pediatric cochlear implant users. Expert Review of Medical Devices 17(11):1193–1206.
26. Jin I. S.. 2006;Recent technology in MED-EL cochlear implant system. Audiology 2(2):119–125.
27. Looi V., Gfeller K., Driscoll V.. 2012;Music appreciation and training for cochlear implant recipients: a review. Seminars in Hearing 33(4):307–334.
28. Nimmons G. L., Kang R. S., Drennan W. R., Longnion J., Ruffin C., Worman T., et al. 2008;Clinical assessment of music perception in cochlear implant listeners. Otology and Neurotology 29(2):149–155.
29. Oh S. H., Kim J. S.. 2014;Speech perception and benefits from the contralateral device of cochlear implant users: a review of recent literature. Audiology 10(2):87–98.
30. Petersen B., Mortensen M. V., Hansen M., Vuust P.. 2012;Singing in the key of life: a study on effects of musical ear training after cochlear implantation. Psychomusicology: Music, Mind, and Brain 22(2):134–151.
31. Picou E. M., Singh G., Goy H., Russo F., Hickson L., Oxenham A. J., et al. 2018;Hearing, emotion, amplification, research, and training workshop: current understanding of hearing loss and emotion perception and priorities for future research. Trends in Hearing 22:2331216518803215.
32. Shin Y., Yun J., Kyong J. S., Jo S., Kim J.. 2021;Development of assessment of music perception for the hearing-impaired. Audiology and Speech Research 17(4):331–343.
33. Shukor N., Lee J., Seo Y. J., Han W.. 2021;Efficacy of music training in hearing aid and cochlear implant users: a systematic review and meta-analysis. Clinical and Experimental Otorhinolaryngology 14(1):15–28.
34. Tark P. K., Kim S. H., Park S. I., Lee S. B., Bae H. W., Park J. H.. 2019;Effect of auditory training with music for hearing aid users. Audiology and Speech Research 15(3):205–213.
35. Thayer R. E.. 1990. The Biopsychology of Mood and Arousal New York: Oxford University Press.
36. Vandali A., Sly D., Cowan R., Van Hoesel R.. 2015;Training of cochlear implant users to improve pitch perception in the presence of competing place cues. Ear and Hearing 36(2):e1–e13.
37. Yucel E., Sennaroglu G., Belgin E.. 2009;The family oriented musical training for children with cochlear implants: speech and musical perception results of two year follow-up. International Journal of Pediatric Otorhinolaryngology 73(7):1043–1052.
38. Zentner M. R., Kagan J.. 1998;Infants’ perception of consonance and dissonance in music. Infant Behavior and Development 21(3):483–492.

Appendices

Appendix 1.

The examples of the pitch training exercise sheet provided to participants

Article information Continued

Table 1.

Demographic data of the subjects included in this study

Subject Gender Age (yr) Onset of HL Duration of HL Aided type
Duration of device use
CI speech processor
Rt Lt Rt Lt Rt Lt
C1 F 19 2 17 CI - 17 - Nucleus 7 -
C2 M 21 8 13 CI HA 14 14 Nucleus 7 -
C3 M 46 10 36 CI HA 14 29 Kanso 1 -
C4 F 37 13 24 CI HA 15 22 Nucleus 6 -
C5 F 49 38 11 HA CI 11 3 - Nucleus 7
C6 M 48 5 43 CI HA 15 43 Nucleus 6 -
C7 F 25 2 23 HA CI 24 15 - NaidaQ90
C8 F 40 2 38 - CI 39 - Kanso 1
C9 F 48 22 26 HA CI 25 6 - Kanso 1
C10 F 46 2 44 CI CI 2 2 Kanso 1 Kanso 1
C11 F 19 1 18 CI CI 10 1 Harmony Kanso 1
C12 F 28 3 25 CI HA 4 2 Nucleus 7 -
C13 M 21 0 21 CI - 9 - Nucleus 5 -
C14 M 37 19 18 CI - 5 - Kanso 1 -
C15 F 35 7 28 - CI - 5 - Kanso 1

HL: hearing loss, Rt: right ear, Lt: left ear, CI: cochlear implant, F: female, M: male

Table 2.

Contents of MRP according to training components: pitch training, melody training, rhythm training, timbre training, musical emotion training

Activity Training approach Training stimuli & utilized materials
Pitch training
Discrimination and identification of pitch A Low frequency range: C3~C5; high frequency range: C5~C7; interval changes of 1 to 24 semitones
Sequencing the high and low-pitched tones S Sequence of three tones; combinations of two low-pitched and one high-pitched tone or one low pitched tone and two high pitched tone
Counting the number of different tones in one S Compositions of one or two tones
Melody training
Discrimination and identification of melodic pattern A Nine melodic patterns
Identification of familiar song S Fourteen familiar songs; two excerpts per song
Rhythm training
Following the beat of the song S Fourteen familiar songs in melody training; entire song
Imitating the rhythm of the song S Fourteen familiar songs in melody training; entire song
Timbre training
Introduction of instruments and timbre appraisal - Written instructions and quizzes; audiovisual materials; ajective lists for timbre appreciation
Discrimination and identification of timbre A Nine Korean musical instruments; Fifteen Western musical instruments; C4-A4-F4-G4-C5 played instrument sounds
Counting the number of instruments in one presentation of stimuli S Compositions of one or two instrument sound; C4-A4-F4-G4-C5 played instrument sounds
Musical emotion training
Music appraisal - Adjective lists for music appraisal
Identification of music emotion S Sixteen Korean traditional music; sixteen classical music

MRP: music rehabilitation program, A: analytic approach, S: synthetic approach

Table 3.

The comparison of percent correct answer between pre- and post-tests according to the AMP subtests

Subtest Pre-test Post-test p-value
Pitch 61.1 ± 26.6 83.8 ± 9.3 0.004**
Melody 29.0 ± 27.1 36.0 ± 34.1 0.291
Rhythm 95.0 ± 9.1 98.0 ± 3.2 0.189
Timbre, Korean instrument 72.8 ± 13.2 87.8 ± 10.9 0.003**
Timbre, Western instrument 48.0 ± 14.0 59.3 ± 12.8 0.002**
Emotion reaction 85.8 ± 14.8 88.3 ± 3.9 0.647
Harmony 55.9 ± 18.8 71.1 ± 17.8 0.030*
Total 64.5 ± 28.3 75.7 ± 26.2 0.000***

Values are presented as mean ± standard deviation.

*

p < 0.05.

**

p < 0.01.

***

p < 0.001.

AMP: assessment of music perception

Table 4.

The percentages of interest in Likert scale in MRP effectiveness questionnaire

Kinds of training Answer (%)
1 2 3 4 5
Pitch training 33.3 60.0 6.7 0.0 0.0
Melody training 40.0 33.3 26.7 0.0 0.0
Rhythm training 40.0 53.3 6.7 0.0 0.0
Timbre training 60.0 33.3 0.0 6.7 0.0
Musical emotion training 40.0 20.0 33.3 0.0 6.7
MRP 46.7 33.3 20.0 0.0 0.0

Answer: 1, music listening has changed to be very interesting; 2, it has changed to be interesting; 3, there was no change; 4, it has not as interesting as before; 5, it is not interesting.

The most frequent answer.

MRP: music rehabilitation program