ИНСТРУМЕНТЫ ПОЛУАВТОМАТИЧЕСКОЙ РАЗМЕТКИ
ДЛЯ МУЛЬТИМЕДИЙНОГО РУССКОГО КОРПУСА (МУРКО)[1]

SEMIAUTOMATIC MARKING TOOLS FOR THE RUSSIAN MULTIMEDIA CORPUS (MURCO)

Кудинов М.С. (peshka1@mail.ru), Филологический факультет МГУ

Гришина Е.А. (rudi2007@yandex.ru), Институт русского языка РАН, Москва

В статье описываются рабочие места разметчика речевых действий и жестов для Мультимедийного русского корпуса (МУРКО), которые позволяют быстро и единообразно аннотировать такой исключительно разнообразный материал, как русская жестикуляция и различные речевые акты, используемые в устной русской речи.

1. Введение

Приступая к созданию того или иного корпуса, его конструктор, среди прочих, должен ответить для себя на следующие два важных вопроса: 1) какие типы аннотаций (разметки) предполагается использовать в данном корпусе, 2) какова предполагаемая методика аннотирования. Для Мультимедийного русского корпуса (МУРКО) предварительные ответы на первый вопрос уже даны: помимо стандартных (для устного подкорпуса Национального корпуса русского языка) типов аннотации (морфологической, семантической, акцентологической, социологической) предполагаются дополнительные типы – орфоэпическая, жестовая, разметка речевых действий (см. [Гришина 2009а], [Гришина 2009б]). В настоящей статье мы предложим ответ на второй вопрос – какая именно методика аннотирования предполагается для МУРКО.

Говоря в целом, здесь у нас есть возможность выбора из трех вариантов: 1) автоматическая, 2) полуавтоматическая, 3) ручная разметка. Так, например, морфологическая и семантическая разметка в НКРЯ осуществляются полностью в автоматическом режиме[2]. Социологическая разметка предполагает предварительную ручную обработку материалов с последующим автоматическим приписываем тем или иным фрагментам текстов социологических параметров (имя, пол, возраст, профессия говорящего). Акцентологическая разметка, напротив, предполагает первоначальную обработку текста полностью автоматическим акцентуатором с последующей ручной коррекцией ударений в соответствии с реальным произнесением. Таким образом, и социологическая, и акцентологическая разметки осуществляются в полуавтоматическом режиме. Что касается орфоэпической разметки в МУРКО, то она будет осуществляться автоматически с опорой не на звуковой/фонематический состав слова, а на буквенный состав в сочетании с ориентацией на место постановки ударения[3].

Что касается разметки речевых действий и жестовой разметки, то здесь говорить об автоматическом аннотировании не приходится. Для разметки речевых действий в автоматическом режиме потребовались бы сведения об интонационной, фонетической, пунктуационной, синтаксической, семантической, морфологической характеристике того или иного речевого действия, а для получения таких сведений как раз и создаются корпуса. Что касается жестовой разметки, то и здесь проблема аналогична – для того, чтобы научить машину автоматически отделять один жест от другого, ее нужно «натренировать» на достаточно больших корпусах, не говоря уже о потребности в солидной теоретической базе. Кроме того, в МУРКО корпусной материал будет представлен фрагментами фильмов, а не специально подготовленными (с использованием 4-6 камер) видеозаписями, так что подобная задача неразрешима технически (в связи с необходимостью программного отслеживания положения частей человеческого тела в течение всей сцены).

Таким образом, при аннотировании речевых действий и жестов в МУРКО мы обречены на выбор между полностью ручной аннотацией и аннотацией в полуавтоматическом режиме. Были принято решение достичь полуавтоматического режима работы. При этом за человеком в паре «человек–машина» остается самое важное – принятие содержательного решения по тому или иному жесту, тому или иному речевому действию; программа же «принимает обязательства» а) предлагать одинаковые аннотационные формулировки для одинаковых содержательных решений, б) размещать принятые человеком содержательные решения (в единообразных формулировках) в единой базе в соответствии с единообразной матрицей.

Именно по таким принципам были созданы два рабочих места разметчика (РМР) – РМР речевых действий Marker и РМР жестов GesturesMarker. Таким образом, работа РМР представляет собой последовательное заполнение описательной таблицы (на форме – компонент DataGridView .NET Framework) для каждого клипа. Работа разметчика заключается в правильном выборе из ряда параметров, заранее заданных ему в диалоговом окне.

2. Пользовательский интерфейс РМР Marker

Главное окно РМР Marker выглядит следующим образом (см. рис. 1). Как видим, левый (серый) столбец содержит строки, каждая из которых соответствует тому параметру, по которому описывается как целый клип (имя файла, пол говорящих, язык, на котором говорят, социальная ситуация, отраженная в клипе), так и каждое речевое действие в данном клипе (типы речевых действий, полнота речевого действия, манера говорения, типы повторов, типы вокальных жестов, зафиксированные в клипе, – последние 4 параметра не видны на рисунке и проявляются при скроллинге главного окна).

Рис. 1. Главное окно РМР Marker

Работу логично начать с нажатия кнопки «Следующий шаг». Нажатие генерирует вывод диалоговой формы, соответствующей той или иной стадии заполнения. Так, например, на втором шаге (см. рис. 2) после нажатия перед пользователем открывается окно, в котором он может выбрать 1) количество говорящих, 2) пол говорящих, 3) язык, на котором говорят в клипе, 4) тип социальной ситуации, отраженной в клипе (если не выбрана никакая социальная ситуация, то она считается неспецифичной).

Рис. 2. Второй шаг

Как видим, разметка на рис. 2 утверждает, что в клипе отражен фрагмент лекции, которую на русском языке читает лектор-мужчина.

После нажатия кнопки «Завершить» перед разметчиком открывается следующее окно (рис. 3), в котором он может выбрать тип (вопрос, согласие, отрицание, этикетные высказывания и т.д.) и конкретную разновидность речевого действия, которое совершает в данном клипе говорящий[4].

Рис. 3. Третий шаг

Аналогичным образом построены окна и на всех последующих шагах (разметка полноты речевого действия, указание на наличие и тип повторов, указание на манеру говорения, на наличие и тип вокальных жестов в высказывании). Когда разметка данного клипа проходит весь предназначенный путь, разметчику предоставляется возможность проверить результат и внести изменения, после чего сохраненные данные записываются в таблицу Microsoft Excel. Результирующая Excel-таблица содержит следующие столбцы:

1. Имя файла

2. Количество говорящих

3. Пол говорящих

4. Язык, на котором говорят

5. Социальная ситуация, отраженная в клипе

6. Типы речевых действий, отраженные в клипе

7. Конкретное речевое действие, отраженное в клипе

8. Полнота речевого действия

9. Наличие и типы повторов

10. Манера говорения

11. Типы вокальных жестов и междометий

Каждый из этих столбцов (кроме первого) задает параметр, по которому можно производить отбор клипов из базы данных корпуса. Так, можно найти клипы, содержащие отрывки из диалога двух женщин на русском языке (с акцентом или без оного), который включает общие и частные вопросы, содержит однословные неоднократные повторы и вокальные жесты удивления. В сочетании со стандартной для НКРЯ лексической, морфологической, семантической, акцентологической и социологической информацией, а также с орфоэпической разметкой, характерной для МУРКО, это предоставит пользователю корпуса значительные исследовательские возможности.

3. Пользовательский интерфейс РМР GesturesMarker

На аналогичных принципах строится работа РМР GesturesMarker. Главное окно программы выглядит следующим образом (см. рис. 4).

Рис. 4. Главное окно РМР GesturesMarker

После заполнения поля ввода для имени клипа активируется кнопка «Далее», которая приводит пользователя к следующему этапу описания жеста (см. рис. 5). Одновременно начинается заполнение основной таблицы – введенная информация сохраняется в полях «Имя файла», «Имя говорящего», «Пол говорящего», «Пол персонажа», «Возраст говорящего», «Возраст персонажа», «Социальная ситуация»[5] (см. рис. 5).

Рис. 5. Второй шаг разметки жестов

Как видим, на втором этапе описания жеста пользователю предлагается ввести имя актера, его пол, пол персонажа, возраст актера и персонажа, а также типовую социальную ситуацию, в которой происходит действие (в данном случае, актриса Вера Алентова, женского полу, играет взрослую женщину в неспецифичной ситуации). После нажатия кнопки «Далее» соответствующие строки в столбце на рис. 4 заполняются, а пользователь переходит к следующему шагу, где производится описание собственно жеста (см. рис. 6).

Рис. 6. Третий шаг разметки жестов

Последовательным выбором значений в окошках «Кратность жеста» → «Основной орган» → «Активный орган» → «Направление движения» разметчик приходит к списку однократных жестов, для которых основным органом[6] является голова, активным органом – брови, движущиеся снизу вверх. Выбирая строчку 5, пользователь тем самым выбирает жест поднять брови от удивления, который является жестом внутреннего состояния. Таким образом, на данном этапе, нажав кнопку «Далее», пользователь заполнит строчки «Кратность жеста», «Основной орган», «Активный орган», «Направление движения», «Значение движения», «Название жеста», «Тип жеста», «Пассивный орган» и некоторые другие, которые на рис. 6 не видны. После чего пользователь перейдет к следующему шагу.

Проделав последовательно все действия, предусмотренные РМР, пользователь перейдет к следующему жесту в данном клипе или к следующему клипу, а заполненная им таблица, как и в случае РМР Marker, трансформируется в очередную строку результирующей таблицы Excel.

Результирующая таблица содержит следующие столбцы:

1. Имя файла

2. Имя говорящего

3. Пол говорящего

4. Пол персонажа

5. Возраст говорящего

6. Возраст персонажа

7. Социальная ситуация

8. Основной орган

9. Ориентация ладони

10. Ориентация кисти

11. Активный орган

12. Пассивный орган

13. Адаптор

14. Направление движения

15. Кратность жеста

16. Название жеста

17. Тип жеста

18. Значение жеста

19. Наличие удлинителя

20. Наличие спойлера

21. Эмоции

22. Полнота жеста

23. Аутентичность жеста

24. Аксессуары

Эти столбцы, как и в случае РМР Marker, задают параметры поиска в будущем корпусе. Некоторые из этих позиций требуют краткого пояснения. Адаптор – это необходимый участник жеста (человек или предмет), например, объект указания для дейктического жеста, собеседник для этикетного жеста, галстук для декоративного жеста поправить галстук и т.д. Удлинитель – предмет, который выступает заместителем того или иного органа человеческого тела при осуществлении жеста, например, ручка или карандаш при указании вместо указательного пальца (см. [Крейдлин 2002]). Спойлер – предмет, который мешает полноценному исполнению данного жеста, например, сумка в руке, которая мешает в полном объеме исполнить жест развести руками). Аксессуары – это предметы, так или иначе вовлеченные в осуществление жеста. Аксессуары могут быть адапторами, удлинителями и спойлерами. Под эмоциями в данном случае понимаются явные проявления эмоций (улыбка, смех, плач), которые сопровождают данную жестикуляцию. При описании полноты жеста учитываются ситуации, которые ведут к прерыванию жестикуляции (добровольному или принудительному). Аутентичностью жеста мы называем параметр, который учитывает, с одной стороны, искренность жеста (различаются аутентичные и притворные жесты), а с другой стороны, – степень принадлежности жеста жестикулирующему (например, говорящий может показывать на себе чужие жесты, отражать зеркально жестовое поведение собеседника).

Как видим из приведенного списка параметров, часть их имеет технический, объективный характер (пп. 2–15, 19–24), в чрезвычайно высокой степени не зависящий от разметчика, а следовательно, и от пользователя будущего корпуса. Первоначально у создателей МУРКО был соблазн ограничиться только этими объективными показателями, чтобы элиминировать субъективный момент в разметке. Однако в дальнейшем было принято решение ввести в разметку содержательные пункты 16–18, которые бы давали истолкование (хотя бы приблизительное) жеста и тем самым расширяли бы возможности поиска информации в МУРКО.

Истолкование жеста строится по трем зонам. Во-первых, жесту приписывается некоторое значение (п. 18), которое становится ясным разметчику из контекста данного конкретного клипа. Набор значений очень велик, но, по-видимому, все-таки не бесконечен. Значения жестов группируются в типы. На данный момент предлагается выделить следующие типы жестов:

1. Дейктические – жесты, которые выражают указание

2. Декоративные – жесты, которыми говорящий улучшает свой внешний вид

3. Речевые действия – жесты, которые обозначают тип речевого действия, осуществляемого говорящим

4. Жесты внутреннего состояния – жесты, демонстрирующие внутреннее состояние говорящего

5. Изобразительные – жесты, изображающие некоторый предмет или событие

6. Корпоративные – условные жесты, характерные для некоторой относительно узкой социальной группы

7. Пейоративные – жесты, выражающие критику в чей-либо адрес

8. Поисковые – жест, сопровождающие поиск или получение какой-либо информации

9. Регулирующие – жесты, регулирующие поведение собеседника (или претендующие на осуществление такой регуляции)

10. Риторические – жесты, не имеющие самостоятельного значения и просто сопровождающие речь в целях повышения ее воздействия

11. Условные – жесты с утерянной или сомнительной этимологией, свойственные носителям данного языка и культуры

12. Физиологические – жесты, употребление которых определяется физиологией человека

13. Этикетные – жесты, связанные с речевым и поведенческим этикетом, характерным для носителя данного языка и культуры

14. Заимствованные – жесты, использование которых позволяет говорящему имитировать свою принадлежность к чужой культуре

Очевидно, что этот набор типов весьма условен и ни в коей мере не претендует на то, чтобы быть логически выверенной классификацией, – это всего лишь набор содержательных меток, который позволяет быстрее ориентироваться во множестве зафиксированных жестов.

Кроме того, каждый жест (кроме большей части изобразительных жестов) имеет некоторое название. В большинстве случаев это название, уже устоявшееся в языке[7], однако для некоторых жестов (например, для значительного числа риторических жестов, которые ввиду своего «служебного», «подчеркивающего» употребления очень часто не отрефлектированы в языке) приходилось изобретать свои названия, часто весьма условные и стилистически ущербные. Приложение 2 содержит предварительный список жестов, упорядоченный по типам – значениям – названиям, так, как он сложился на начало 2009 г.

4. Редактирование РМР

Значительным удобством при работе с обоими РМР является тот факт, что оба рабочих места задумывались и действительно сделаны как гибкие, лабильные, т.е. пользователю предоставлена возможность дополнить или поправить некоторые параметры и группы параметров в ходе работы.

Например, очевидным представляется, что отраженный на рис. 2 список типичных социальных ситуаций не полон. Именно поэтому последней строкой в этом списке идет пустая ячейка, которую разметчик может заполнить самостоятельно (например, добавить «Разговор с представителем власти», которого в данном списке отчетливо недостает). В этом случае добавленное значение данного параметра будет направленно в соответствующий столбец результирующей таблицы Excel (столбец «Социальная ситуация»), однако само значение параметра («Разговор с представителем власти») будет в результирующей таблице помечено специальным знаком ($), чтобы супервайзер разметки мог проверить, какое именно значение, не предусмотренное первоначальным планом, было введено разметчиком.

В случае, если дополнение признается существенным, оно может быть внесено в данный список окончательно с помощью окошка редактирования (см. рис. 7).

Рис. 7. Окно редактирования параметров РМР Marker

Похожим образом устроено редактирование параметров в РМР GesturesMarker. Так, например, в случае, если мы хотим пополнить список удлинителей при описании жестов, мы вносим название удлинителя в список, который можно видеть на рис. 8:

Рис. 8. Окно редактирования параметров РМР GesturesMarker (списки)

Поскольку характеристика жестов содержит гораздо большее число параметров, чем описание речевых действий (и некоторые из них никогда не фиксируются вместе), описание жестов формирует нечто похожее на «дерево заполнения», терминальными вершинами которого являются таблицы-списки, в которые можно вписывать недостающие варианты:

Рис. 9. Окно редактирования параметров РМР GesturesMarker (таблицы)

5. Заключение

Итак, положительными моментами в описанных рабочих местах разметчика (РМР) являются следующие:

1) удобный и интуитивно понятный интерфейс, который позволяет быстро освоить РМР

2) быстрота обработки больших массивов клипов

3) единообразие описания чрезвычайно разнородного материала

4) возможность трансформировать РМР в зависимости от вновь полученных данных

Разработка этих программных оболочек, тем самым, позволяет в максимальной степени оптимизировать сроки и трудозатраты, необходимые для создания МУРКО и, возможно, других мультимедийных корпусов.

Приложение 1. Список речевых действий, используемых для разметки с помощью РМР Marker

Тип речевых действий	Речевые действия
Вопрос	общий, частный, косвенный, контактный, обратной связи, нечленораздельный, переспрос
Согласие	подтверждение, понимание, признание, разрешение, согласие, подчинение
Отрицание	возражение, дистанцирование, запрет, недоверие, недовольство, незнание, непонимание, опровержение, отказ, отрицание, поправка, сомнение, спор, удивление
Этикетные высказывания	благодарность, извинение, пожалуйста, пожелание, поздравление, предложить помощь, представиться, приветствие, приглашение, проводы, прощание, соболезнование
Утверждения	аналогия, аргумент, вспомнить, вывод, догадаться, заявление, комментарий, констатация, объявление, объяснение, перечисление, подсказка, предположение, предсказание, предупреждение, рапорт, рассказ, сентенция, совет, сообщение, указание на кого/что, уговор, утверждение, уточнение
Императивы	баюканье, заказ, инструкция, команда, настаивать, поучение, предложение, предостережение, приказ, распоряжение, стоп!, торопить, требование, уговоры, успокаивать, утешение
Модальные высказывания	беспокойство, ввод информации, восклицание, горе, жалоба, клятва, молитва, намерение, напоминание, ничего!, обвинение, обещание, просьба, раскаяние, сочувствие, уверенность
Шутливые/ насмешливые высказывания	ирония, намек, насмешка, шутка
Чужая речь	пересказ, повтор подсказки, цитирование
Торговля	реклама, торг
Пейоративные высказывания	брань, оскорбление, критические замечания, порицание, проклятье, стыдить, угроза, упрек
Похвала	похвала, похвальба, тост, удовлетворение
Апеллятивы	зов, обращение, обращение к животному, отклик на обращение, отклик на пароль, пароль, привлечение внимания, призыв, призыв к порядку

Приложение 2. Список жестов, используемых для разметки с помощью РМР GesturesMarker[8]

значение жеста	Название жеста	Тип жеста
идентификация собеседника	ткнуть пальцем	дейктические жесты
общеуказательный	двинуть бровями, демонстрация, касаться чего-л., кивнуть, коснуться кого-л., коснуться чего-л., обвести рукой собеседников, подбросить что-л., показать глазами, показать на себя, показать пальцами, показать пальцем, показать подбородком, показать руками, показать рукой, показывать на себя, показывать пальцем, показывать руками, положить руку на что-л., постукивать пальцем по чему-л., похлопывать по чему-л., предъявить что-л., предъявлять что-л., пристукнуть по чему-л., провести рукой над чем-л., ткнуть пальцем, трясти чем-л., шлепнуть кого-л. по какой-л. части тела
самоидентификация	показать пальцем на себя, показывать на себя
фиксация объекта	двинуть кисть к кому-л., двинуть ладони к собеседнику, коснуться чего-л., подбросить что-л., поднять брови, поднять палец, показать пальцем, постукивать пальцем по чему-л., пристукнуть по чему-л., ткнуть пальцем, ткнуть рукой
общедекоративный	откинуть голову, погладить шею, подтянуть брюки, поправить галстук, поправить одежду, поправить прическу, поправлять галстук, поправлять одежду, поправлять прическу	декоративные жесты
возражение	качнуть головой	жесты – речевое действие
договор	трясти чью-л. руку
клятва	бить себя в грудь, вскинуть руки, прижать руку к груди, прижимать руки к груди, сплести пальцы
назидание	двинуть головой вперед, повести подбородком вбок, поднять брови, поднять палец, ткнуть пальцем, ткнуть рукой
намек	кивнуть, поднять брови, поднять бровь
насмешка	двинуть головой вперед, запрокинуть голову, мотать головой, натянуть головной убор на глаза собеседника, отвернуться, повести подбородком вбок, подмигнуть, поднять брови, поднять бровь, потереть лицо, смерить глазами, широко раскрыть глаза
одобрение	выдвинуть подбородок, двинуть головой вперед, качать головой, кивать, кивнуть, махать рукой, похлопывать кого-л. по корпусу, трепать кого-л. по голове
отказ	двинуть кисть к кому-л., заслониться рукой, качать головой, качать пальцем, качнуть головой, коснуться кого-л., махать рукой, отвернуться, отмахнуться, отрезать рукой, оттолкнуть кого-л., оттолкнуть что-л., показать кукиш, положить руку на чью-л. руку, прикрыть посуду рукой, стоп!, шлепнуть кого-л. по губам
отрицание	двинуть кисть к кому-л., качать головой, качнуть головой, махать рукой, отрезать рукой, повести подбородком вбок, показать кукиш, стоп!
подтверждение	закрыть глаза, кивать, кивнуть, толкнуть кого-л.
подчинение	кивнуть, поклониться
поздравление	аплодировать
понимание	выдвинуть подбородок, закрыть глаза, запрокинуть голову, кивать, кивнуть, откинуть голову
похвала	аплодировать, показать большой палец
предложение	протянуть руки к кому-л., раскинуть руки
просьба	броситься к кому-л. на грудь, взять чью-л. руку, гладить кого-л. по голове, качнуть головой, положить руку на плечо, поцеловать в щеку, прижать руку к груди, притянуть к себе кого-л., протянуть руку к кому-л., сплести пальцы
секретничать	взять под локоть, наклониться к собеседнику, прикрыть рукой телефонную трубку
согласие	кивать, кивнуть, махнуть рукой
требование	махнуть рукой, стукнуть по чему-л., стучать кулаками, топать ногами
угроза	грозить кулаком, грозить пальцем, замахнуться, качать головой, лицо дернулось, погрозить кулаком, прищуриться
упрек	двинуть головой вперед, качнуть головой, повести подбородком вбок
я так думаю	коснуться пальцем виска
беспокойство	прижать руку ко рту	жесты внутреннего состояния
благоговение	прижать к груди что-л.
вожделение	коснуться кого-л., обводить руками контуры чьего-л. тела
возмущение	всплеснуть руками, встать, качать головой, оттолкнуть что-л., поднимать глаза к небу, посмотреть в сторону, потрясать руками, потрясать рукой, прижать руки к груди, развести руками, стучать кистями друг о друга, схватиться за сердце, топнуть ногой, широко раскрыть глаза
вызов	засунуть руки в карманы, опереться спиной на что-л., положить руки на бедра
высокая оценка	вдохнуть, вскинуть руки, вскинуть руку, закрыть глаза, качнуть головой, коснуться кого-л., мотать головой, отвернуться, откинуть голову, отодвинуться от собеседника, повести подбородком вбок, поднять руку к небу, посмотреть отодвинувшись, прижать к груди что-л., прижать руку к груди, раскинуть руки, стоп!, схватиться за голову
горе	закрыть лицо руками, закусить губу, схватиться за голову
готовность	заложить руку за спину, засучить рукава, лизнуть палец, надвинуть головной убор, натянуть перчатку, опереться руками на что-л., поправить галстук, поправить одежду, поправлять одежду, сплести пальцы, стукнуть себя по бедру
дистанцирование	барабанить пальцами по чему-л., засунуть руки в карманы, качнуть головой, мерить глазами, надвинуть головной убор, обводить глазами собеседника, опереться головой на руку, отвернуться, отвести руку в сторону, отряхивать руки, поднимать глаза к небу, поднять брови, поднять бровь, поднять глаза к небу, пожать плечами, пожать плечом, поигрывать чем-л., развести руками, сжать губы, склонить голову, скрестить ноги, сложить руки за спиной, сложить руки на груди, смерить глазами, соединить пальцы домиком
догадаться	махнуть рукой, прикрыть рот рукой, стукнуть себя по голове, схватиться за голову
дружелюбие	положить руку на плечо, хлопнуть кого-л. по колену
задуматься	барабанить пальцами по чему-л., взяться за подбородок, закусить губу, облизнуть губы, поглаживать мочку уха, поднести руку ко рту, поправлять одежду, посмотреть вдаль, потереть лицо, потереть подбородок, потирать голову, потирать лицо, почесывать голову, проводить взглядом, сдвинуть головной убор назад, сжать губы, сложить руки за спиной, теребить что-л., тереть лицо, тереть подбородок, чесать за ухом
игривость	погладить кого-л. по лицу, поигрывать чем-л., поцеловать кого-л., щелкнуть по носу
интерес	коснуться чьего-л. подбородка, оглянуться, положить руки на бедра, посмотреть поверх очков, склонить голову набок
испуг	зажмуриться, закрыть лицо рукой, заслониться, отпрянуть, отступить, подпрыгнуть, прикрыть рот рукой, смерить глазами, схватиться за голову, схватиться за сердце, улыбка сбежала с лица, широко раскрыть глаза
кокетство	воздушный поцелуй, вытянуть руки, задрать ногу назад, запрокинуть голову, отвести голову, повернуться к собеседнику, повести подбородком вбок, подмигнуть, поднять брови, покоситься, склонить голову набок, сморщить нос, щелкнуть по носу
лукавство	брови домиком, качать головой, поднимать брови, посмотреть искоса
манерность	оттопырить мизинец
недоверие	двинуть головой вперед, зажмуриться, мотать головой, смерить глазами
недовольство	выпятить губу, закусить губу, качать головой, махнуть рукой, нахмуриться, отвернуться, повести подбородком вбок, поднять бровь, поморщиться, потупиться, прищуриться, сбросить чью-л. руку, сжать губы, скривиться, смерить глазами, улыбка сбежала с лица
недоумение	выпятить губу, закусить губу, коснуться чего-л., моргать, открыть рот, повести подбородком вбок, поднять брови, поднять бровь, пожать плечами, прикрыть рот рукой, развести руками
неожиданность	вздрогнуть, оглянуться, отпрянуть
нервозность	барабанить пальцами по чему-л., вытереть пот, ломать пальцы, облизнуть губы, опереться головой на руку, поигрывать чем-л., потирать руки, похлопывать по чему-л., похлопывать чем-л., почесываться, прижать руку к груди, теребить что-л.
нетерпение	поправить ремешок часов, притоптывать
облегчение	закрыть глаза, поднять глаза к небу, положить голову на чье-л. плечо
огорчение	качать головой, опереться головой на руку, посмотреть вдаль, стукнуть по чему-л.
ожидание	барабанить пальцами по чему-л., положить руки на бедра, проводить взглядом, сложить руки за спиной, сложить руки на груди, упереться рукой в бок
озабоченность	качать головой, покоситься, улыбка сбежала с лица
опасение	взяться за подбородок, оглянуться
осторожность	взяться за подбородок, закусить губу, заслониться, надвинуть головной убор, оглядываться, оглянуться, отвернуться
отвращение	поморщиться
отчаяние	закрыть глаза, запрокинуть голову, махнуть рукой, прижать руку ко рту, сплести пальцы, стукнуть кулаками по чему-л., стукнуть по чему-л., схватиться за голову
печаль	склонить голову
подобострастие	присесть
потрясение	обводить глазами окружающих, смотреть по сторонам
предвкушение	облизнуть губы, потирать руки
пренебрежение	дергать уголком рта, качать головой, качнуть головой, махнуть рукой, отшвырнуть что-л., повести подбородком вбок, поводить рукой, пожать плечом, предъявить что-л., сжать губы, скривиться
привязанность	гладить кого-л. по голове, гладить кого-л. по плечу, коснуться чьего-л. лица, обнять кого-л., погладить по голове, положить голову на чье-л. плечо, положить руку на плечо, поправить чужую одежду, поправлять кому-л. волосы, поправлять чужую одежду, притянуть к себе чью-л. голову, трепать кого-л. по щеке
радость	встать на цыпочки, расправить плечи, склонить голову набок, сплести пальцы, широко раскрыть глаза
раздражение	двинуть кисть к кому-л., дернуть уголком рта, закатить глаза, отвернуться, подбросить что-л., поднимать глаза к небу, поднять глаза к небу, поставить что-л. с размахом
разочарование	закрыть глаза, отодвинуться от собеседника, поднять брови, сжать губы, улыбка сбежала с лица, шлепнуть себя по бедру
расслабленность	опереться спиной на что-л., поигрывать чем-л., похлопывать чем-л., скрестить ноги
растерянность	обводить глазами окружающих, осматривать себя, ощупывать себя, потирать голову, потирать грудь, потирать шею
решимость	выдохнуть, заложить руку за спину, засучить рукава, надвинуть головной убор, опереться руками на что-л., поправить галстук, рубануть воздух кулаком, сдуть волосы со лба, сплести пальцы, стукнуть себя по бедру, упереться рукой в бок
скука	барабанить пальцами по чему-л., зевнуть, опереться головой на руку
смущение	втянуть голову в плечи, отвернуться, отвести взгляд, пожать плечами, пожать плечом, поигрывать чем-л., покоситься, потупиться, прикрыть рот рукой, склонить голову набок, сплести пальцы, сплетать пальцы, теребить что-л., чертить что-л.
солидарность	взять за руку, оглянуться, подмигнуть
сосредоточенность	наклонить голову, нахмуриться, прищуриться, сжать губы
сочувствие	качнуть головой, притянуть к себе чью-л. голову, трепать кого-л. по голове
спохватиться	вскинуть руки, махнуть рукой, поднять брови, подпрыгнуть, прикрыть рот рукой, схватиться за голову
стыд	закрыть глаза, закрыть лицо руками, отвернуться, потупиться
уверенность	потирать руки, сплести пальцы
удивление	вскинуть руки, всплеснуть руками, двинуть головой вперед, кивнуть, коснуться чего-л., мерить глазами, наклониться к собеседнику, остановиться, откинуть голову, открыть рот, отодвинуться от собеседника, отпрянуть, переглядываться, переглянуться, повести подбородком вбок, поднять брови, поднять бровь, пожать плечами, покоситься, посмотреть пристально, посмотреть пристально, прищуриться, проводить взглядом, развести руками, смерить глазами, сплести пальцы, широко раскрыть глаза
удовлетворение	отодвинуться от собеседника, отряхивать руки, повести подбородком вбок, подбочениться, положить руки на бедра, потирать нос, потирать руки, похлопывать по чему-л., расправлять усы, склонить голову набок, стоп!, упереться рукой в бок, хлопнуть кого-л. по плечу
что тут поделаешь!	качнуть головой, махнуть рукой, опереться спиной на что-л., отвести руку в сторону, повести подбородком вбок, пожать плечами, положить руки на бедра, развести руками
ясно без слов	отвести руку в сторону, развести руками
действие (бить)	взмахнуть рукой	изобразительные жесты[9]
действие (встать)	поднять руку вверх
действие (задуматься)	поднять палец
действие (закрыть)	махнуть рукой
действие (играть на музыкальном инструменте)	перебирать пальцами
действие (отменить)	отрезать руками
действие (отодвинуться друг от друга)	разводить руками
действие (писать)	рисовать в воздухе
действие (смерть)	высунуть язык, закатить глаза
действие (смерть)	провести пальцем у горла
действие (схватить)	сжать кулаки
действие (трепетать)	перебирать пальцами
качество (красота)	показать руками
качество (крепко)	взмахнуть рукой, нахмуриться, сжать кулак
качество (отсутствие чего-л.)	вывернуть карманы, отрезать рукой
качество (размер)	показать уровень, провести рукой по горлу, развести руки в сторону
качество (точность)	двигать рукой, соединив кончики пальцев, соединить кончики пальцев
качество (уродство)	скорчить рожу
количество (много)	показать уровень
количество (пять)	растопырить пальцы
направление (прочь)	махнуть рукой
объект (вода)	перебирать пальцами
объект (парта)	расставить руки
топология (пространство)	отвести руку в сторону
молитва	поклониться, стоя на коленях	корпоративные жесты
пароль	показать три пальца
пионерское приветствие	салютовать
воинское подчинение	отдать честь
дразнить	показать язык	пейоративные жесты
дурак!	крутить пальцем у виска, постукивать пальцем по виску, сплюнуть, стучать кулаком по голове
критические замечания	взмахнуть рукой, грозить пальцем, качать головой, махнуть рукой, поморщиться, прижать руку к груди, протянуть руку к кому-л.
передразнивание	мотать головой
подумаешь!	вскинуть руку
пошел вон!	раскинуть руки
сумасшедший!	крутить пальцем у виска, постукивать пальцем по виску
искать что-л.	оглядываться, оглянуться, тереть лицо, шарить по карманам	поисковые жесты
обратить внимание	мерить глазами, оглянуться, переглядываться, переглянуться, придвинуться к чему-л., проводить взглядом
оценивать обстановку	оглядываться
оценка веса	подбрасывать в руке что-л., подбросить в руке что-л.
оценка внешнего вида	смерить глазами
оценка времени	посмотреть на часы
оценка температуры	ощупывать что-л., пощупать что-л.
поиск слова	трясти рукой
узнавание	выдвинуть подбородок
достаточно!	остановить жест собеседника	регулирующие жесты
задавать ритм	барабанить пальцами по чему-л., дирижировать
замолчи!	прикрыть кому-л. рот
запрет	грозить пальцем, заслонить руками что-л., качнуть головой, стоп!
иди!	вскинуть руку, выдвинуть подбородок, качнуть головой, кивнуть, манить пальцем, махать рукой, махнуть рукой, повести кого-л. за собой, поманить, толкнуть кого-л., хлопнуть кого-л. по плечу
начали!	кивнуть, коснуться кого-л., махать рукой, махнуть рукой
не трогай!	придержать что-л. рукой
остановить кого-л.	дернуть кого-л. за какую-л. часть тела, придержать кого-л., развернуть кого-л. лицом к себе
остановить машину	голосовать
подбодрить	коснуться кого-л., похлопывать по плечу, шлепнуть кого-л. по спине
прекрати!	грозить пальцем, дать кому-л. подзатыльник, натянуть головной убор на глаза собеседника, остановить жест собеседника, оттолкнуть кого-л., придержать кого-л., скрестить руки, стоп!, толкнуть кого-л., хлопнуть кого-л. по плечу, шлепнуть кого-л. по руке
привлекать/привлечь внимание	дергать кого-л. за одежду, махать руками, подталкивать кого-л., постукивать кого-л. по какой-л. части тела, постукивать пальцем по какой-л. части тела, протягивать руки к кому-л., стучать по спине, трясти кого-л., указывать пальцем, хлопать в ладоши, выдвинуть подбородок, дать пощечину кому-л., дернуть кого-л. за какую-л. часть тела, дернуть кого-л. за одежду, коснуться кого-л., махнуть рукой, обвести рукой собеседников, подмигнуть, поднять палец, поднять руки, положить руки на плечи кому-л., положить руку на плечо, привстать, протянуть руку к кому-л., стоп!, ткнуть пальцем, толкнуть кого-л., толкнуть кого-л. локтем, хлопнуть в ладоши, хлопнуть кого-л. по плечу
призыв к порядку	дернуть кого-л. за какую-л. часть тела, качать пальцем, коснуться кого-л., поднять палец, посмотреть строго, стукнуть по чему-л., стучать по чему-л., ткнуть пальцем, толкнуть кого-л. локтем
самоуспокоение	схватиться за сердце
торопить	похлопывать по спине, стучать по часам
успокаивать	коснуться кого-л., махнуть рукой, поглаживать кого-л., положить руки на плечи кому-л., положить руку на плечо, похлопывать по плечу, поцеловать кого-л., протянуть руку к кому-л., стоп!, хлопнуть кого-л. по колену
утешение	положить руку на плечо
интенсификация действия	отдать что-л., размахнувшись	риторические жесты
материализация речи: аргумент	двинуть кисть к кому-л., двинуть кистью на себя, ткнуть пальцем
материализация речи: брань	бодать собеседника, боднуть собеседника, двинуть кулаками, ритмические биение, ткнуть пальцем
материализация речи: возражение	боднуть собеседника, двинуть кистью от себя, махнуть руками, махнуть рукой, развести руками, ритмическое биение
материализация речи: вопрос	вскинуть руку, выдвинуть подбородок, двинуть головой вперед, двинуть кисть к кому-л., двинуть ладони к собеседнику, кивнуть, коснуться кого-л., наклониться к собеседнику, отвести руку в сторону, развести руками, ритмическое биение
материализация речи: отрицание	мотать головой
материализация речи: перечисление	загибать пальцы при счете, кивнуть, пристукивать по чему-л., ритмическое биение, рубить воздух ладонями
материализация речи: побуждение	выдвинуть подбородок, двинуть кисть к кому-л., махнуть рукой, постукивать пальцем по чему-л., похлопывать по спине
материализация речи: предложение	двинуть ладони к собеседнику
материализация речи: просьба	выдвинуть подбородок, двинуть кисть к кому-л., двинуть кистью на себя, двинуть ладони к собеседнику, повести подбородком вбок, ритмическое биение
материализация речи: требование	ритмические биение, ритмическое биение, рубануть воздух руками
материализация речи: убеждение	двинуть головой вперед, коснуться кого-л., махать рукой, наклониться к собеседнику, присесть, ритмические биение, ритмическое биение, рубить воздух ладонью
материализация речи: утверждение	выдвинуть подбородок, двигать головой вперед, двинуть головой вперед, двинуть кисть к кому-л., кивать, кивнуть, махнуть рукой, наклониться к собеседнику, отрезать рукой, пристукнуть по чему-л., разрубить воздух руками, ритмические биение, ритмическое биение, рубануть воздух рукой, рубить воздух ладонью, стукнуть кулаками по чему-л., стукнуть по чему-л.
материализация речи: финал	вскинуть руку, двинуть кисть к кому-л., кивнуть, пожать чью-л. руку, пристукнуть пальцем по чему-л., пристукнуть по чему-л., рубануть воздух руками, рубануть воздух рукой, стукнуть кулаками по чему-л., факел
материализация речи: чужая речь	двигать кистью на себя, двинуть кистью на себя
новая тема	запрокинуть голову
потребность в поддержке	смена собеседника
предвосхищение отрицания	мотать головой
предвосхищение согласия	кивать, кивнуть
пьяный	щелкнуть пальцем по горлу	условные жесты
сдаваться	руки вверх
тост	чокнуться
больно	вздрогнуть, держаться за больное место, дунуть на больное место, потереть больное место, сморщиться, схватиться за больное место, тереть больное место, трясти рукой	физиологические жесты
горько	выдохнуть, помахивать рукой у рта, сморщиться
делать что-л. с усилием	поднять брови
душно	ослабить ворот, ослабить галстук
жажда	облизнуть губы
кричать	двинуть головой вперед, оттянуть локти назад, приставить руку ко рту
не видно	вытянуть шею
не слышно	двинуть головой вперед, нахмуриться, придвинуть ухо
неприятно	сморщиться
нервно	руки дрожат
стереть чужое прикосновение	потереть рукой
ударить	замахнуться
усталость	вытереть пот, закрыть глаза, опереться головой на руку, тереть лицо
холодно	вздрогнуть
чешется	почесываться
чисто	вытереть нос, утереть рот
благодарность	аплодировать, выдвинуть подбородок, двукратный поцелуй, кивать, кивнуть, коснуться кого-л., поклониться, положить руку на чью-л. руку, поцеловать руку, прижать руку к груди, рукопожатие, тряхнуть кого-л. за плечи	этикетные жесты
вы правы!	стоп!
зевать	похлопывать рукой по рту
извинение	кивнуть, повести подбородком вбок, прижать к груди руку собеседника, прижать руку к груди
не стоит благодарности	качнуть головой, кивнуть, отмахнуться
помощь	поддержать кого-л.
при кашле	прикрыть рот рукой
при смехе	закрыть лицо рукой, прикрыть рот рукой
приветствие	вскинуть руку, вскинуть руку, вскинуть руку к голове, вскинуть руку к голове, вскинуть руку к голове, встать, кивнуть, коснуться кого-л., махать рукой, махать рукой, махнуть рукой, обнять кого-л., поклониться, поцеловать кого-л., поцеловать руку, протянуть руки к кому-л., раскинуть руки, рукопожатие, снять головной убор, снять очки
приглашение	показать рукой
прощание	воздушный поцелуй, вскинуть руку, вскинуть руку к голове, кивнуть, махать рукой, махнуть рукой, поцеловать кого-л., рукопожатие, троекратный поцелуй
спросить разрешения	кивнуть
я слушаю	кивнуть

Литература

Гришина Е.А. Мультимедийный русский корпус (МУРКО): проблемы аннотации // Национальный корпус русского языка: 2006–2008: новые результаты и перспективы (в печати) [2009а]

Гришина Е.А. Национальный корпус русского языка как источник сведений об устной речи // Речевые технологии (в печати) [2009б]

Крейдлин Г.Е. Невербальная семиотика. М.: 2002

Ляшевская О.Н., Плунгян В.А., Сичинава Д.В. О морфологическом стандарте Национального корпуса русского языка // Национальный корпус русского языка: 2003–2005. Результаты и перспективы. М.: 2005, с. 111-136

Сичинава Д.В. Обработка текстов с грамматической разметкой: инструкция разметчика // Национальный корпус русского языка: 2003–2005. Результаты и перспективы. М.: 2005, с. 136-154

---

[1] Статья написана при поддержке программы ОИФН РАН 2009-2011 гг. «Генезис и взаимодействие социальных, культурных и языковых общностей».

[2] См. [Ляшевская и др. 2005]. В подкорпусе со снятой грамматической омонимией результаты автоматической морфологической разметки корректируются в ручном режиме, соответственно, морфологическая разметка в т.н. «снятом» корпусе должна оцениваться как полуавтоматическая (ср. [Сичинава 2005]).

[3] Необходимость и общая структура орфоэпической аннотации подробнее излагаются в [Гришина 2009б].

[4] В Приложении 1 к данной статье читатель может найти список речевых действий, сгруппированных по типам, – так, как последние сформировались на начало 2009 г. РМР Marker позволяет разметчику как пополнять/трансформировать список, так и работать с ним вне зависимости от распределения речевых действий по типам, которое, очевидно, является весьма условным.

[5] Поле «Социальная ситуация» в стандартном случае заполняется в РМР Marker, т.е. при разметке речевых действий. В РМР GesturesMarker после «Социальная ситуация» заполняется только в том случае, если описываемый клип не содержит речевой составляющей, а включает только жестовый материал.

[6] Основной орган – зона человеческого тела, в которой осуществляется данный жест (см. [Крейдлин 2002]).

[7] Очевидно, что жесты, имеющие одно и то же название, например, кивнуть, махнуть рукой, могут иметь самые разные значения и, соответственно, относиться к самым разным типам.

[8] В названиях жестов различаются совершенный вид (как обозначение однократных жестов) и несовершенный вид (как обозначение многократных жестов).

[9] В таблице оставлены только те немногие жесты, для которых удалось подобрать названия.