Center for Intelligent & Interactive Robotics, Korea institute of Science and Technology, Seoul, Korea
Correspondence: HyunJung An, PhD Center for Intelligent & Interactive Robotics, Korea Institutions of Science and Technology, 5 Hwarang-ro 14-gil, Seongbuk-gu, Seoul 02792, Korea Tel: +82-2-985-8401 Fax: +82-2-985-8401 E-mail: hyunjung.an@kist.re.kr
Received September 15, 2023 Revised January 25, 2024 Accepted January 26, 2024
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
The ability to automatically detect signal changes is essential to the survival for any organism. For example, an animal living in the forest can distinguish a relatively constant sound background, such as leaves blowing in the wind, from a sudden novel sound, such as a cracking branch, which might indicate the presence of a nearby predator. Distinct brain responses to novel sounds (as opposed to expected sounds) are known as mismatch negativity (MMN) in humans or stimulus-specific adaptation in animal. It is found that the neural response was attenuated by the repetitive stimulation of sound sequences, while the presentation of an unexpected stimulus enhances the neural responses. Three main hypotheses have been proposed concerning the this neural mechanisms: the model adjustment hypothesis, the neural adaptation hypothesis and predictive coding theory. The purpose of this study is to introduce theoretical perspectives within a fundamental scientific approach in order to elucidate MMN mechanisms. Additionally, we will review the literature that explains MMN from an audiological perspective through these theories.
성공적인 청취를 하기 위해서는 음성신호를 주의 깊게 듣는 것뿐만 아니라 예상치 못한 신호 변화도 빠르게 감지해야 한다. 특히 청각인지 기능의 신경생리적 지표로 널리 사용되고 있 는 mismatch negativity (MMN)는 소리의 변칙적 자극과 반복 자극에 의해 유발된 뇌파 전위의 차이로서, 불수의적 주의력이나 청각인지 처리를 반영하는 것으로 밝혀졌다. 뇌의 신경 활동 파형은 새로운 입력이 제시될 때 일반적으로 익숙하거나 예상된 자극에 대한 반응에 대해 억제 혹은 감소되는 반면, 증가된 신경 파형은 새롭거나 예상치 못한 자극으로 인해 나타난다. 이러한 반응 패턴은 지역 전위(local field potential)나 뇌 전도(encephalogram, EEG) 신호에서 관찰되며 반복 자극에 대한 반응을 변이나 변칙적인 자극에 대한 반응에서 뺀 청각 유발전위(auditory evoked response potential, ERP)로 계산한다. MMN은 뇌 활동의 대량 측정인 뇌 전도(EEG)와 같은 대량 측정치로부터 유래된 이상 현상 감지의 거시적인 특징이다. 변칙적인 자극(deviant)에 대한 반응은 반복적인 자극(standard)뿐만 아니라 예측 가능하지만 반복되지 않는 통제 자극보다 증가된 반응 진폭을 나타낸다(Malmierca et al., 2009). 이러한 특정 형태는 stimulus-specific adaptation (SSA)으로 알려져 있으며, 반복된 자극과 비교하여 변칙적인 자극에 대한 신경 발화율의 변화를 측정한다. SSA는 청각 피질의 기본 및 보조 영역에서 모두 관찰될 수 있으며(Malmierca et al., 2009; Parras et al., 2017; Ulanovsky et al., 2003; von der Behrens, et al., 2009), SSA 반응은 미시적 수준에서의 이상 현상 감지 메커니즘을 반영한다고 여겨진다. 또한 MMN과 관련하여 변칙적인 자극에 대한 뇌파 변화는 공간 분포, 지연 시간 및 자극 특성에 대한 민감도와 관련한 연구가 진행되었다(Escera & Malmierca, 2014; Ulanovsky et al., 2003). 본 연구의 목적은 이러한 메커니즘을 규명하기 위해 기초과학적인 관점의 이론들을 소개하고 관련 연구 문헌을 청각학적 관점에서 고찰하고자 한다.
모델 조정 이론(memory based model)
모델 조정 이론(memory based model; Winkler & Czigler, 1998)에 의하면, MMN은 이전 경험을 기반으로 한 이전 지각 모델의 온라인 업데이트를 반영하며 실제 청각 입력과 비교한다. 이후 업데이트 결과로 인한 변칙적 자극에 대한 뉴런 반응과 반복적인 자극에 대한 뉴런 반응을 비교하고 이를 바탕으로 유발전위의 차이를 설명한다. 본 이론을 뒷받침하는 연구(Sussman & Winkler, 2001)는 청각처리에서 감각 입력의 변칙 탐지 업데이트 모델을 통해 입증하였다. 이 연구는 변칙의 패러다임에 따라 MMN의 차이를 관찰한 연구로, 총 두 가지의 방법으로 진행하였다. 단일 음조의 음향(단일 변칙)과 두 개의 연속적인 음조(이중 변칙)를 통해 표준보다 높은 음조를 사용하였다. 이전 연구 결과에 따르면 유의미한 뇌파의 변화는 이중 변칙 소리 시퀀스 내에서 일어났다. 이중 변칙의 첫 번째 변칙은 세그먼트의 시작과 끝에서 모두 MMN을 나타냈지만, 두 번째 변칙의 경우에는 세그먼트의 끝에서만 MMN이 나타났다. 이 결과는 청각 시스템이 이중 변칙의 처음에 주목하고(integration), 충분한 정보를 획득한 후에는 다른 스트림이 지각에서 나타날 수 있다는 것을 나타냈다(segregation). 이전 연구(Sussman & Winkler, 2001)는 감각 입력의 동적인 업데이트 프로세스가 청각 시스템 내에서 계속적으로 일어난다는 것을 보고하였다. 또한 MMN의 해부학적 요소를 설명하기 위한 이전 연구(Doeller et al., 2003; Opitz et al., 2002)에 따르면 약 90-120 ms에서 우측 상측 후회(superior temporal gyrus)와 140-170 ms에서 양반구의 대전회(inferior frontal gyrus)의 활성화가 됨을 관찰되었다. 이 결과는 측두엽은 시간에 따라 신호의 물리적 특성을 처리하는 데 관여할 수 있으며, 전두엽 영역은 신호 처리의 지각적인 입력을 반영할 수 있다는 것을 시사한다.
마지막으로 MMN은 모델 조정 관점에서 뇌가 변칙적인 입력을 감지하고 상향식 메커니즘을 통해 auditory processing의 조절하는 방식을 연구하는 데 사용될 수 있다. 이전 연구(Sussman et al., 2003)는 변칙 탐지 시스템의 상향식 조절에 대한 증거를 제공하여 이 가설을 지지하였다. 행동 및 전기생리학적 분석 결과는 관련 없는 소리 변화의 예측 가능성이 자발적인 주의 전환과 관련이 있다는 것을 시사하였으며, 관련 없는 소리 변화가 예측할 수 없게 발생할 때 반응 시간이 더 길어지고 주의와 관련된 ERP 구성 요소(P3 peak)가 관찰되었다고 보고하였다. 그러나 소리 변화가 예측 가능한 패턴으로 발생할 때는 자발적 주의 전환과 관련된 뇌파의 변화가 관찰되지 않았다. 이러한 결과는 자극 주도 주의 전환에 대한 상향식 통제가 관련되었다고 볼 수 있다.
적응 가설(adaptation hypothesis)
모델 조정 가설과는 달리 적응 가설(adaptation hypothesis)은 반복된 반복적인 자극으로 인해 뉴런이 신경적 적응으로 인한 반응 약화로 나타나고, 변칙적 자극으로 인한 전위 유발의 차이로 인해 MMN이 나타나는 것을 설명하는 이론이다. 이전 연구(May & Tiitinen, 2010)에 의하면 반복된 자극으로 인한 뉴런의 적응 반응을 시냅스 감소와 억제 메커니즘을 통해 설명하였다. 적응 가설에 따르면, 반복된 자극은 칼륨 채널의 활성화를 지연시키거나 억제하고 이로 인해 N1의 반응이 느린 과분극을 유발하여 신경세포의 발화 속도를 감소시킨다. 이로 인해 신경 적응이 시냅스 전후의 차이 변화로 나타나는 현상이라고 밝혔다(Faber & Sah, 2003). SSA는 적응 가설을 잘 나타내는 현상이다. 이는 자극 특이적 적응이라는 의미로, 신경계가 특정 자극에 대해 반응을 조절하거나 억제하는 현상을 말한다. 예를 들어, 어떤 음악을 들을 때 특정 음이 반복해서 등장한다면, 초기에는 그 음에 대한 신경세포의 반응이 강하지만, 시간이 지남에 따라 해당 음에 대한 반응이 감소하게 된다. 이는 뇌가 이미 경험한 정보나 자극에 덜 반응하여 새로운 정보나 자극에 더 집중하려는 효과이다. SSA는 주로 청각 및 시각적 자극에서 관찰되며, 뇌의 신경회로에서 정보 처리 및 지각 변화에 관련된 중요한 메커니즘 중 하나이다(Ulanovsky et al., 2004). 반복되는 소리에 대한 반응이 점차 감소하고 새로운 소리에 노출되면 뉴런이 반응하게 된다. 변칙적인 자극과 반복되는 자극 사이의 뉴런 반응 발화율 변화는 Common SSA Index (CSI) 지표를 사용하여 계산하며 계산식은 다음과 같다.
마지막으로 예측 코딩(predictive coding) 이론은 모델 조정과 적응 가설을 통합하여 MMN의 신경생물학적 기전을 설명하기 위해 제안된 가설이다. 예측 코딩 가설은 뇌과학 분야에서 뇌가 외부 자극을 인식하는 방식을 설명하는 가장 포괄적인 신경 기능 이론 중 하나이다(Heilbron & Chait, 2018). 입력 자극은 과거 사건에서 유추된 정보와 내부 모델을 통해 비교되며, 이에 따른 오차는 지속적으로 모델을 업데이트함으로써 오류 예측 값을 줄여갈 수 있다. 변칙적인 자극을 인지한다는 면에서 모델 조정 가설과 어느 정도 일치하지만 oddball paradigm을 기반으로 한 연구 결과에서 신경 적응 반응과 예측 반응을 나누어 설명하기가 어렵기 때문에 한계에 부딪힌다(Ruhnau et al., 2012). Oddball paradigm에서 반복되는 음향 톤에 의해 유발되는 적응 효과로 인해 청각 N1이 감소하는 것으로 알려져 있다. 대체로 반복적인 자극음의 반응은 100 ms에서 N1으로 확인할 수 있으며 변칙적 자극음의 반응은 약 100~200 ms에서 나타난다. MMN은 N1의 영향을 받아 원래 반응보다 크게 나타날 수 있다.
그러나 적당한 control sequence는 반복적인 자극 반응과 변칙적 자극 반응을 각각 계산하는 데 도움을 줄 수 있다. 예를 들어, 다양한 반복적인 자극 sequence에서 목표 톤은 다른 임의의 톤들의 시퀀스 내에 포함되어 있다. 이러한 시퀀스는 목표 톤에 대한 반복 억제(repetition suppression)를 생성하지 않으며, 청각 시스템의 불응 상태(state of refractoriness)를 통제한다(Schröger & Wolff, 1996). Control sequence는 목표 톤에 대한 반응과 반복적인 자극에 의해 유발된 반응을 비교함으로써 반복 억제를 설명하며, 변칙적인 자극의 유발 반응과 목표 톤에 대한 반응 사이의 차이는 예측 오류로 분류할 수 있다(Figure 1). 따라서 예측 코딩은 베이지안 추론 시스템을 통해 신경 활동의 계산 모델을 수립하고(Friston, 2005), 이는 사전 확률 분포에 기반하여 사후 확률을 추정하는 것을 포함하여 계산된다. 이러한 관점에서 MMN은 외부로부터 오는 자극 정보와 내부 모델에 기반으로 예측한 불일치를 반영하여 설명할 수 있다(Auksztulewicz & Friston, 2016).
DISCUSSIONS
본 연구는 기초과학적인 관점에서 MMN을 설명하는 이론들을 소개하였다. 현재 이러한 접근법을 통해 MMN의 해부학적 기전과 신경 메커니즘을 규명하기 위한 많은 연구들이 진행 중이다. 먼저 모델 조정 가설(Näätänen et al., 2005)에 따르면 변칙적인 자극음(deviant)과 반복적인 자극음(standard)의 특성 간의 불일치에 따른 소리 변화를 감지하여 이를 신경 반응 비교를 통해 나타낼 수 있다. 반면 신경 적응 가설에서 MMN의 단순 반복되는 소리 자극이 시냅스 감소와 억제로 인해 청각 피질에서 신경 반응을 약화시키게 되고(May & Tiitinen, 2010), 이로 인해 신경 적응이 발생하여 변칙적인 자극음에 대한 반응이 상대적으로 크게 나타나 MMN이 발생한다고 설명한다. 하지만 두 가설 모두 음향 환경에서 더 복잡한 변화를 예측하기에는 역부족이며, 인지를 비롯한 상위 처리 능력의 적용성에 대한 해석에 한계점을 두고 있다.
이러한 한계점을 설명하고자 예측 코딩(Friston, 2005)이 제시되었다. 이는 가장 널리 인정받는 통합적 뇌 기능 이론 중 하나로, 뇌가 들어오는 입력과 모델 간의 오차를 최소화하기 위해 내부 모델을 지속적으로 업데이트한다고 가정한다. 이 관점에서 뇌의 각 수준은 하향식의 감각 입력과 상향식의 예측 시스템 사이를 계층적으로 조직화하여 외부 자극을 인지하고, 이 프레임 워크에서 MMN은 일반적으로 상향식과 하향식 프로세싱 사이의 불일치가 반영되어 나타난다. 예측 코딩을 통한 MMN의 해석은 상대적으로 최근에 이루어진 것이지만, 이전 여러 연구들을 통해 MMN의 다양한 자극에 따라 그 특성이 다르게 나타난다고 보고되었다(음의 높낮이, 음의 지속시간, 음원의 위치 등; Auksztulewicz & Friston, 2016). 그러나 EEG 기술을 사용한 인간의 비침습적 기록은 공간 해상도가 제한되어 있기 때문에 청각 경로에 의한 불일치 감지 메커니즘에 대한 해부학적 접근이 어렵다.
따라서 많은 연구자들은 쥐와 같은 동물 모델을 이용하여 신경 메커니즘을 연구하였다. 동물 모델에서 MMN은 50~150 ms에서 큰 진폭을 나타내며, 이는 임상실험에 비해 짧은 잠복기를 보여준다(Malmierca et al., 2009; Reches & Gutfreund, 2008). 이러한 차이는 이전 연구들을 통해 뇌의 크기와 복잡성 때문이라고 보고되고 있으며(Zhao et al., 2011), 음절 패턴(Macdonald & Campbell, 2011) 지속 시간 및 주파수(Duque et al., 2012)와 같은 다양한 음향 자극의 특성에 따라 반응이 나타나는 것을 확인하였다. 예측 모델을 설명할 때 주로 언급되는 domain-specific learning 이론은 대뇌 신경 활동의 네트워크와 메커니즘을 통해 서로 다른 정보 유형을 다르게 감지한다고 설명한다(Cosmides & Tooby, 2013). 대뇌 기능적 영상 연구를 통해 pure tone과 같은 단일화된 음원 자극에 대한 신경 반응이 일차 청각 피질에서 나타나는 반면, 복잡한 자극음이나 소음 자극음의 신경 반응은 상위 인지 활동에 관여하는 대뇌 영역에서 나타난다는 사실을 확인하였다(Wacongne et al., 2011). 이러한 연구 결과는 자극음의 처리에 따라 해부학적으로 청각피질의 영역을 구별할 수 있으며, 청각피질의 계층적 구조가 서로 다른 자극 특성의 독립적인 처리 시스템과 관련이 있음을 나타낸다. 최근 신경들 사이의 메커니즘과 관련한 다양한 자극 특성에 따라 MMN을 예측할 수 있는 결과와 예측 오류 패턴이 나타나고 있다는 임상 연구가 보고되면서 예측 모델을 이용한 MMN이 신경 활동 메커니즘을 설명할 수 있는 근거로 제시되고 있다(An et al., 2021; Auksztulewicz & Friston, 2016). 향후 예측 코딩을 활용한 연구는 청각학 분야에서 예측적 모델링을 통해 청각인지 과정을 해석하는 데 사용될 수 있으며, 다양한 음향 특성을 반영한 처리 메커니즘의 해석을 통해 신경 네트워크와 인지 메커니즘을 이해하는 데 중점을 둔 연구가 이루어진다면 신경 질환 치료에 응용 및 활용할 수 있을 것으로 사료된다.
Notes
Ethical Statement
N/A
Declaration of Conflicting Interests
There is no conflict of interests.
Funding
N/A
Acknowledgments
N/A
Figure 1.
Based on the predictive coding theory, repetition suppression occurs when the control-standard comparison has a positive value, and the prediction error is observed when the deviant-control comparison has a positive value. Deviance detection indicates a more general concept that is equivalent to the deviant-standard comparison. Adapted from Carbajal & Malmierca, 2018. SSA: stimulus-specific adaptation, MMN: mismatch negativity.
REFERENCES
An, H., Auksztulewicz, R., Kang, H., & Schnupp, J. W. H. (2021). Cortical mapping of mismatch responses to independent acoustic features. Hearing Research, 399, 107894.
Anderson, L. A., Christianson, G. B., & Linden, J. F. (2009). Stimulusspecific adaptation occurs in the auditory thalamus. Journal of Neuroscience, 29(22), 7359-7363.
Antunes, F. M., Nelken, I., Covey, E., & Malmierca, M. S. (2010). Stimulus-specific adaptation in the auditory thalamus of the anesthetized rat. PLoS One, 5(11), e14071.
Auksztulewicz, R. & Friston, K. (2016). Repetition suppression and its contextual determinants in predictive coding. Cortex, 80, 125-140.
Carbajal, G. V. & Malmierca, M. S. (2018). The neuronal basis of predictive coding along the auditory pathway: From the subcortical roots to cortical deviance detection. Trends in Hearing, 22, 2331216518784822.
Cosmides, L. & Tooby, J. (2013). Evolutionary psychology: New perspectives on cognition and motivation. Annual Review of Psychology, 64, 201-229.
Doeller, C. F., Opitz, B., Mecklinger, A., Krick, C., Reith, W., & Schröger, E. (2003). Prefrontal cortex involvement in preattentive auditory deviance detection: Neuroimaging and electrophysiological evidence. NeuroImage, 20(2), 1270-1282.
Duque, D., Pérez-González, D., Ayala, Y. A., Palmer, A. R., & Malmierca, M. S. (2012). Topographic distribution, frequency, and intensity dependence of stimulus-specific adaptation in the inferior colliculus of the rat. Journal of Neuroscience, 32(49), 17762-17774.
Edwards, E., Soltani, M., Deouell, L. Y., Berger, M. S., & Knight, R. T. (2005). High gamma activity in response to deviant auditory stimuli recorded directly from human cortex. Journal of Neurophysiology, 94(6), 4269-4280.
Escera, C. & Malmierca, M. S. (2014). The auditory novelty system: An attempt to integrate human and animal research. Psychophysiology, 51(2), 111-123.
Faber, E. S. & Sah, P. (2003). Calcium-activated potassium channels: Multiple contributions to neuronal function. The Neuroscientist, 9(3), 181-194.
Fishman, Y. I. & Steinschneider, M. (2012). Searching for the mismatch negativity in primary auditory cortex of the awake monkey: Deviance detection or stimulus specific adaptation? Journal of Neuroscience, 32(45), 15747-15758.
Friston, K. (2005). A theory of cortical responses. Philosophical Transactions of the Royal Society of London, 360(1456), 815-836.
Heilbron, M. & Chait, M. (2018). Great expectations: Is there evidence for predictive coding in auditory cortex? Neuroscience, 389, 54-73.
Hughes, H. C., Darcey, T. M., Barkan, H. I., Williamson, P. D., Roberts, D. W., & Aslin, C. H. (2001). Responses of human auditory association cortex to the omission of an expected acoustic event. Neuroimage, 13(6 Pt 1), 1073-1089.
Lamas, V., Estévez, S., Pernía, M., Plaza, I., & Merchán, M. A. (2017). Stereotactically-guided ablation of the rat auditory cortex, and localization of the lesion in the brain. Journal of Visualized Experiments, (128), 56429.
Macdonald, M. & Campbell, K. (2011). Effects of a violation of an expected increase or decrease in intensity on detection of change within an auditory pattern. Brain and Cognition, 77(3), 438-445.
Malmierca, M. S., Cristaudo, S., Pérez-González, D., & Covey, E. (2009). Stimulus-specific adaptation in the inferior colliculus of the anesthetized rat. Journal of Neuroscience, 29(17), 5483-5493.
May, P. J. & Tiitinen, H. (2010). Mismatch negativity (MMN), the deviance-elicited auditory deflection, explained. Psychophysiology, 47(1), 66-122.
Näätänen, R., Jacobsen, T., & Winkler, I. (2005). Memory-based or afferent processes in mismatch negativity (MMN): A review of the evidence. Psychophysiology, 42(1), 25-32.
Opitz, B., Rinne, T., Mecklinger, A., von Cramon, D. Y., & Schröger, E. (2002). Differential contribution of frontal and temporal cortices to auditory change detection: fMRI and ERP results. Neuroimage, 15(1), 167-174.
Parras, G. G., Nieto-Diego, J., Carbajal, G. V., Valdés-Baizabal, C., Escera, C., & Malmierca, M. S. (2017). Neurons along the auditory pathway exhibit a hierarchical organization of prediction error. Nature Communications, 8(1), 2148.
Pérez-González, D., Malmierca, M. S., & Covey, E. (2005). Novelty detector neurons in the mammalian auditory midbrain. European Journal of Neuroscience, 22(11), 2879-2885.
Reches, A. & Gutfreund, Y. (2008). Stimulus-specific adaptations in the gaze control system of the barn owl. Journal of Neuroscience, 28(6), 1523-1533.
Ruhnau, P., Herrmann, B., & Schröger, E. (2012). Finding the right control: The mismatch negativity under investigation. Clinical Neurophysiology, 123(3), 507-512.
Salisbury, D. F. (2012). Finding the missing stimulus mismatch negativity (MMN): Emitted MMN to violations of an auditory gestalt. Psychophysiology, 49(4), 544-548.
Schröger, E. & Wolff, C. (1996). Mismatch response of the human brain to changes in sound location. Neuroreport, 7(18), 3005-3008.
Sussman, E. & Winkler, I. (2001). Dynamic sensory updating in the auditory system. Cognitive Brain Research, 12(3), 431-439.
Sussman, E., Winkler, I., & Schroger, E. (2003). Top-down control over involuntary attention switching in the auditory modality. Psychonomic Bulletin and Review, 10(3), 630-637.
Sussman, E. S. & Gumenyuk, V. (2005). Organization of sequential sounds in auditory memory. Neuroreport, 16(13), 1519-1523.
Taaseh, N., Yaron, A., & Nelken, I. (2011). Stimulus-specific adaptation and deviance detection in the rat auditory cortex. PLoS One, 6(8), e23369.
Ulanovsky, N., Las, L., Farkas, D., & Nelken, I. (2004). Multiple time scales of adaptation in auditory cortex neurons. Journal of Neuroscience, 24(46), 10440-10453.
Ulanovsky, N., Las, L., & Nelken, I. (2003). Processing of low-probability sounds by cortical neurons. Nature Neuroscience, 6(4), 391-398.
von der Behrens, W., Bäuerle, P., Kössl, M., & Gaese, B. H. (2009). Correlating stimulus-specific adaptation of cortical neurons and local field potentials in the awake rat. Journal of Neuroscience, 29(44), 13837-13849.
Wacongne, C., Labyt, E., van Wassenhove, V., Bekinschtein, T., Naccache, L., & Dehaene, S. (2011). Evidence for a hierarchy of predictions and prediction errors in human cortex. Proceedings of the National Academy of Sciences of the United States of America, 108(51), 20754-20759.
Winkler, I. & Czigler, I. (1998). Mismatch negativity: Deviance detection or the maintenance of the ‘standard’. Neuroreport, 9(17), 3809-3813.
Zhao, L., Liu, Y., Shen, L., Feng, L., & Hong, B. (2011). Stimulus-specific adaptation and its dynamics in the inferior colliculus of rat. Neuroscience, 181, 163-174.