Использование метода записи
движений глаз при изучении двуязычия
STUDYING
BILINGUALISM USING EYE-TRACKING
Ирина А. Секерина (sekerina@mail.csi.cuny.edu )
Городской университет Нью-Йорка, Нью-Йорк, США
В статье описаны два эксперимента с русско-английскими билингвами, проведенных с помощью методики записи движений глаз, посвященных (1) лексической конкуренции между двумя языками при устном распознавания слова и (2) взаимодействию синтаксической и дискурсивной информации при анализе временно многозначных предложений с предложной группой.
Введение
Исследования в области двуязычия всегда представляли большой интерес для таких разных лингвистических дисциплин, как психолингвистика, усвоение второго языка и лингводидактика. Этот интерес вызван в первую очередь практической необходимостью: половина населения земного шара говорит на двух и более языках. Арсенал методик, используемых при изучении двуязычия, довольно обширен - от традиционных опросников, дневников, наблюдений и тестов до новейших методов вызванных потенциалов мозга и магнитоэнцефалографии. Совсем недавно стало возможным изучать двуязычие и с помощью новой для экспериментальной психолингвистики методики записи движений глаз.
Внедрение методики записи движений глаз в конце 1970-х гг. оказало большое влияние на развитие экспериментальной психолигвистики. Первые исследования с использованием этой методики были привязаны к письменному тексту и показали, что в процессе чтения можно выделить два главных компонента: фиксации глаза и саккадические скачки между фиксациями. Используя эти два компонента, психолингвистам удалось исследовать значительный круг вопросов, связанных с пониманием письменного языка. Сейчас мы становимся свидетелями новой фазы в развитии методики записи движений глаз, которая наступила с момента появления более совершенного класса аппаратов. Этот класс позволяет записывать движения глаз, не ограничивая движений головы и тела испытуемого. Он получил название методики записи свободных движений глаз (free-viewing eye-tracking). При использовании этой методики испытуемые рассматривают или даже взаимодействуют с реальными или виртуальными предметами и компьютерными представлениями реального мира. Самый первый эксперимент с использованием записи свободных движений глаз был проведен в 1995 году [1]. Главное преимущество этой методики заключается в том, что отпала необходимость зависеть от письменного текста и стало возможным исследовать самую естественную языковую среду – устную речь. Методика получила быстрое распространение. За те десять лет, что она используется, круг исследованных вопросов стремительно расширяется. Далеко не полный перечень включает в себя устное распознавание слова, производство речи, синтаксический анализ предложения в процессе понимания предложения и влияние внеязыковой прагматики.
Очевидны те преимущества, которые дает методика записи свободных движений глаз при изучении двуязычия – хорошо известна распространенная асимметрия между разговорным двуязычием и двуязчной грамотностью. При использовании этой методики можно успешно исследовать устную речь, что значительно расширяет круг двуязычных испытуемых, включая детей, и создает уникальную возможность исследовать наиболее интригующие вопросы двуязычия, как, например, центральный вопрос о характере двуязычного процесса понимания речи. Так, например, особый интерес вызывают две конкретные проблемы. Во-первых, ограничивается ли лексический доступ к слову кругом только того языка, на котором в данный момемт происходит общение, или же слова из второго языка составляют ему конкуренцию, тем самым снижая эффективнось лексического доступа? Во-вторых, пользуются ли двуязычные люди в процессе понимания речи синтаксическими процедурами, специфичными для каждого из двух языков, или же существует некий общий механизм, который основывается на едином наборе универсальных синтаксических принципов? Данная статья описывает два экспериментальных исследования на материале русско-английского двуязычия, посвященных поиску ответов на эти два вопроса. В разделе 2 кратко изложены результаты эксперимента по лексической конкуренции между русским и английским языком в процессе устного распознавания слова двуязычными испытуемыми [2]. Раздел 3 описывает эксперимент автора данной статьи, посвященный синтаксическому анализу временно многозначных предложений в процессе понимания.
2. Лексическая конкуренция в процессе устного опознания слова при двуязычии
Как осуществляется лексический доступ к слову в процессе восприятия устной речи, когда человек владеет двумя языками, и, соответственно, хранит в своей памяти два ментальных лексикона? Что именно происходит, когда двуязычный испытуемый, говорящий на русском и английском языках, слышит слово, начинающееся на ша...? Происходит ли в такой ситуации не только ожидаемая активизация слов русского языка типа шарик и шапка, но и похожих английских слов, как, например, shark 'акула'?
Авторы первых исследований, посвященных вопросу конкуренции между словами из двух языков, на которых говорят двуязычные испытуемые, выдвинули гипотезу, согласно которой при двуязычии люди выбирают и настраиваются только на один конкретный язык [3]. При этом ментальный лексикон второго языка недоступен, и, соответственно, конкуренции между словами из двух языков, даже похожих по фонетико-фонологическому составу, не возникает. Надо отметить, что эти результаты были получены при использовании таких сравнительно простых методик, как прайминг при повторении слова (repetition priming) и заполнение пропущенных букв в словах-фрагментах (word-fragment completion). Однако другие исследования показали [4], что паралелльная активизация слов из двух языков при чтении возможна, причем не только в языках с похожей орфографией, таких, как французский и английский, но и в языках, использующих разные орфографические системы, таких, как китайский и английский.
Мариан и Спайви (2003) [2] первыми применили методику записи свободных движений глаз для исследования вопроса лексической конкуренции между русским и английским языками в процессе устного понимания речи. Поскольку при записи свободных движений глаз используются устные инструкции, их можно сочетать с одновременным визуальным представлением реальных предметов или их изображений. Таким образом, появляется возможность составить представление о том, как быстро испытуемые могут зафиксировать глазами предмет или картинку, когда они слышат слово, обозначающее этот предмет. Если речь идет о каком-то конкретном предмете, скажем, шарике, то глаз слушающего непременно остановится на шарике, если таковой имеется в поле зрения. Мариан и Спайви провели серию экспериментов с русско-англоговорящими испытуемыми, студентами Корнельского универси-тета в США. В экспериментах приняло участие 28 человек (средний возраст – 21 год, средний возраст на момент прибытия в США – 14 лет, употребление русского языка – в среднем семь часов в неделю). Традиционно первым языком таких двуязычных испытуемых считается русский, а вторым – английский. В качестве экспериментальных материалов использовались реальные мелкие предметы и игрушки. В каждом испытании на стол, разделенный на девять клеток, выставлялось по четыре предмета, один из которых всегда был предмет-референт шарик, а остальные варьировались: или русский предмет-конкурент шапка, или английский предмет-конкурент shark 'акула' и отвлекаюший предмет карандаш. Дизайн эксперимента включал в себя четыре условия по 10 испытаний в каждом: (1) котрольные испытания (референт и три отвлекающих предмета, чьи названия фонологически не пересекались с названием предмета-референта); (2) испытания с референтом (шарик) и лексическим конкурентом из того же языка (шапка), что и референт, и два отвлекающих предмета; (3) испытания с референтом (шарик) и лексическим конкурентом из второго языка (shark), и, наконец, (4) испытания с референтом и обоими лексическими конкурентами. Инструкции состояли из четырех предложений, второе из которых требовало, чтобы испытуемый нашел и поднял со стола предмет-референт, т.е. 'Возьмите шарик'. В качестве зависимой переменной был подсчитан процент испытаний, в которых испытуемые зафиксировали глазами лексический конкурент по сравнению с отвлекающим предметом.
Итак, каковы же были результаты данных экспериментов? В зависимости от экспериментальных условий испытуемые по-разному фиксировали глазами лексический конкурент и отвлекающий предмет. В контрольных испытаниях испытуемые смотрели на отвлекающий предмет только в 7% испытаний. В испытаниях с референтом и лексическим конкурентом из того же языка (шарик – шапка) они фиксировали глазами лексический конкурент в значительно большем количeстве испытаний (18%). Подобных результатов и следовало ожидать, если следовать Когортной модели лексического доступа [5-7]. Что более существенно, различие такого же порядка было найдено и в испытаниях, в которых присутствовал лексический конкурент из второго языка (шарик – shark) (18%), хотя второй язык никак не фигурировал во время проведения эксперимента. Таким образом, Мариан и Спайви пришли к заключению, что двуязычные люди, слушая речь на одном из двух языков, не «выключают» второй язык. Слова второго языка, чье фонологическое представление частично совпадает со словами первого, тоже активизируются в процессе устного распознавания слова и пассивно конкурируют с ними. Эти результаты, по мнению авторов, представляют собой веский аргумент в пользу теории параллельной активизации обоих языков в процессе понимания речи при двуязычии.
3. Синтаксический анализ временно многозначных предложений при двуязычии
Моделирование процесса синтаксического анализа предложения в процессе понимания в современной психолингвистике обычно основывается на активном использовании специального класса предложений, которые называются структурно многозначными. Эти предложения бывают двух типов: глобально многозначные (Ассистенту надо было многое объяснять) и временно многозначные (Положите лошадку на зеркальце в коробку) [7]. Разрешение временной многозначности представляет собой особый интерес для выявления принципов, используемых при синтаксическом анализе предложения в процессе понимания. Исследование именно временно многозначных предложений в разных языках позволяет выбрать ту теоретическую психолингвистическую модель, которая наиболее удачно объясняет, как люди разрешают структурную многозначность, а наличие таковой в естественных языках не вызывает никаких сомнений. Две наиболее влиятельные модели на настоящий момент - это модель Заблуждения (или Садовой дорожки) (Garden-Path model) и модель Ограничений (Constraint-Based model). В модели Заблуждения [7-8] главный упор делается на построение структуры непосредственных составляющих, в то время как семантический и дискурсивный анализ предложения представляют собой отдельные этапы, осуществляющиеся позднее. Модель Ограничений [9] не разделяет эти процессы: синтаксический анализ предложения происходит не только параллельно семантическому и дискурсивному, но и напрямую зависит от них. Важно отметить, что принципиальное различие между двумя этими моделями заключается именно в том, есть ли разница во времени между синтаксическим и семантическим/дискурсивным этапами анализа предложения в процессе понимания. Естественно, что эта разница измеряется миллисекундами и поэтому трудноуловима при использовании традиционных методик типа чтения с саморегуляцией скорости. С появлением записи свободных движений глаз стало возможным взглянуть по-новому на проблему взаимодействия разных источников лингвистической информации во время разрешения временнóй многозначности. Движения глаз стремительны: саккада — движение глаз из одной точки визуального пространства в другую — в среднем занимают 30-50 миллисекунд. Кода речь идет о конкретном предмете, а таких предметов вдруг оказывается несколько, то можно предположить, что поиск необходимого предмета среди многих будет обусловлен дополнительной информацией, позволяющей определить референта высказывания, что и будет ярко представлено серией движений глаз. Таким образом, методика записи свободных движений глаз идеально подходит для исследования процесса взаимодействия структурной и дискурсивной информации в процессе понимания.
|
|
|
|
1А. Омонимия падежа |
1Б. Однозначный падеж |
|
Рис. 1. Визуальный контекст |
|
Первые эксперименты при помощи записи свободных движений глаз были проведены на материале временно многозначных предложений с предложными группами (далее ПГ) типа Put the horse on the mirror in the box 'Положите лошадку на зеркальце в коробку' (см. Рис. 1А). Напомним, что начальный фрагмент этого предложения Положите лошадку на зеркальце... обычно воспринимается слушателем как инструкция взять лошадку и положить ее на зеркальце. Однако появление второй ПГ в коробку вынуждает переосмыслить эту первоначальную интерпретацию: первая ПГ на зеркальце оказывается не обстоятельством места (куда положить лошадку) а определением (лошадка, которая сидит на зеркальце). Речь, таким образом, идет о месте правильного присоединения ПГ1 в дереве непосредственных составляющих этого предложения: [VP положите [NP лошадку] [PP на зеркальце]] необходимо изменить на [VP положите [NP [N лошадку] [PP на зеркальце]]], отсюда и соответствую-щее название — многозначность, связанная с присоединением ПГ (PP-attachment ambiguity).
Основываясь на одном из первых экспериментов, который был проведен с использованием этой методики [10] с англоговорящими испытуемыми, мы провели серию экспериментов с 24 двуязычными русско-англоговорящими участниками для исследования влияния двуязычия на разрешение временнóй многозначности на материале русского и английского языков в режиме реального времени. За неимением возможности в деталях описать это комплексное исследование в рамках короткой статьи, кратко изложим результаты русского варианта.
Экспериментальное манипулирование было представлено двумя факторами – присутствие временной синтаксической многозначности (пример 1) и падеж ПГ1. Экспериментальная инструкция (1а) является русским вариантом английского предложения с ПГ Put the horse on the mirror in the box, в то время как в (1б) наличие союза и явно указывает на то, что ПГ1 является обстоятельством места, снимая тем самым эту многозначность.
(1) а. Положите лошадку на зеркальце в
коробку.
б. Положите
лошадку на зеркальце и в коробку.
в. Положите
лошадку на тарелке в коробку.
г. Положите лошадку на тарелку и в
коробку.
Наличие богатой падежной системы в русском языке позволило нам также ввести в качестве второй экспериментальной манипуляции падеж ПГ1, позволяющий разрешить интересующую нас временную многозначность не только синтаксическим способом, как в английском языке, но и при помощи морфологии. А именно, в эксперименте было использованы восемь предметов, на которые было удобно сажать референта и его отвлекающую пару (лошадок). Четыре из них назывались именами существительными первого склонения типа тарелка (см. Рис. 1Б). В этом случае предложный падеж ПГ1 (1в) однозначно указывал на то, что ПГ1 на тарелке является определением, в то время как винительный падеж на тарелку предполагал, что ПГ1 является обстоятельством места. Остальные четыре предмета были представлены существительными среднего рода типа зеркальце, у которых совпадают формы предложного и винительного падежей (1а, б), создавая тем самым многозначность, аналогичную английскому языку.
Полученные в результате эксперимента данные состоят из (1) выполненных действий и (2) протокола записи движений глаз с разрешающей временнóй способностью в 30 миллисекунд. Что следовало ожидать в действиях и в движениях глаз? Все зависит от роли морфологической информации в процессе синтаксического анализа предложения. Русскоговорящие испытуемые должны, естественно, уделять особое внимание падежным окончаниям, и поэтому при отсутствии падежной омонимии мы не должны увидеть движений глаз на пустую тарелку до момента появления окончания –у в (1г). Если модель управления глагола положить всегда предполагает наличие обстоятельства места, то возможно движение глаз на пустую тарелку, но, опять же, только до момента появления окончаний –е и –у и далее союза и. При падежной омонимии (1а, б) падеж не помогает, и только наличие союза и позволяет разрешить многозначность. При наличии же двух лошадок возникает необходимость в дополнительном определении для ПГ1 и, предположительно, это должно снимать необходимость в движении глаз на пустую тарелку/ зеркальце.
Контрольная группа русскоговорящих студентов МГУ[1] (36 человек) продемонстрировала высокий процент правильных действий — в среднем 92%, при этом все немногочисленные ошибки в действиях, как и ожидалось, оказались в испытаниях с омонимией падежа. Однако движения глаз контрольных испытуемых показали, что несмотря на наличие в визуальном контексте двух лошадок, во временно многозначных испытаний (1а, в) испытуемые все равно смотрели на пустое зеркальце (25%) или на тарелку (17%), тем самым демонстрируя, что на начальном этапе прослушивания инструкций они все-таки не смогли подавить неправильную интерпретацию ПГ1 в качестве обстоятельства места, и омонимия падежа только усилила этот эффект. Действия же двуязычных испытуемых оказались правильными только в 82% испытаний, а дисперсионный анализ показал, что неожиданно труднее всего было условие (1б) — в предложениях с омонимией падежа, но при наличии союза и испытуемые сумели правильно выполнить инструкции только в 57% случаев. Движения же глаз показали, что двуязычные испытуемые значительно меньше обращают внимание на падеж: они смотрели на пустое зеркальце или салфетку в примерно одинаковом количестве случаев (15%).
Итак, можно сделать несколько выводов о характере процесса понимания двуязычными испытуемыми русского языка, который считается их родным, но который уступил место доминирующему английскому, и выводы эти неутешительные. Понимание даже относительно простых предложений оказывается затрудненным в связи с целым рядом «узких мест» в русском языке русско-англоговорящих двуязычных испытуемых. В контексте вышеописанного эксперимента было выявлено два таких «узких места»: (1) ущербное восприятие редуцированных гласных в русском языке (отсутствие различения безударного окончания –е и следующего за ним союза и) и (2) ослабление влияния падежной системы при понимании. При этом взаимодействие между синтаксической и дискурсивной информацией в режиме реального времени у двуязычных испытуемых вполне соотносится с данными, полученными при работе с контрольной группой русскоговорящих испытуемых, и, соответственно, позволяет сделать вывод, что принципы модели Ограничений одинаково удачно объясняют синтаксический анализ предложения в процессе понимания его как носителями одного конкретного языка, так и двуязычными людьми.
Список литературы:
[1] Tanenhaus, M. K. & Trueswell,
J.C. Sentence Comprehension. // In Miller, J. & Eimas, P. (Eds.), Handbook of Perception & Cognition, Vol.
11: Speech, Language & Communication. 1995.
[2] Marian, V., & Spivey, M. Competing
activation in bilingual language processing: Within- & between-language
competition. // Bilingualism: Language & Cognition, 6(2). 2003. C. 97-115.
[3] Gerard, L.D. & Scarborough,
D.L. Language-specific lexical access of homographs by bilinguals. // Journal
of Experimental Psychology: Learning, Memory, & Cognition, 15. 1989. C.
305-313.
[4]
[5] Allopenna, P.D., Magnuson, J. S., & Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. // Journal of Memory & Language, 38(4). 1998. C. 419-439.
[6] Marslen-Wilson, W. D. Functional
Parallelism in Spoken Word-Recognition. // Cognition, 25. 1987. C. 71-102.
[7] Секерина, И.А.
Глава 7. Психолингвистика. // Кибрик, А.А., Кобозева, И.М. и Секерина И.А.
(Ред.) Современная американская лингвистика: Фундаментальные направления. 2 изд. 2001. Москва, Изд-во
УРСС. С. 231-260.
[8] Frazier, L. & J. D. Fodor. The Sausage Machine: A New Two-Stage Parsing Model. // Cognition, 6. 1978. C. 291-325.
[9] Tanenhaus, M. K., Spivey-Knowlton, M. J.,
Eberhard, K. M., & Sedivy, J. C. Integration of visual & linguistic
information in spoken language comprehension. // Science, 268(5217). 1995. C.
1632-1634.
[10] Trueswell, J.C., Sekerina, I.A.,
Hill, N. & Logrip, M. The Kindergarten-Path Effect: Studying On-Line
Sentence Processing in Young Children. // Cognition, 73. 1998. С. 89-134.