Мультимодальность как объект в зарубежных лингвистических исследованиях

   Глобальное информационное пространство охватило все сферы жизнедеятельности человека, однако практика работы в вузе показывает, что, несмотря на технологически продвинутые формы коммуникации, ее результаты, связанные с анализом информации, представленной в виде мультимодальных текстов, зачастую ниже желаемого уровня, что свидетельствует об отсутствии у обучаемых необходимых компетенций, умений и навыков обработки больших объемов данных, то есть об отсутствии мультиграмотности. В ходе формирования мультиграмотности с целью повышения эффективности процесса коммуникации в мультимодальной цифровой среде, следует опираться не столько на умения и навыки компьютерной грамотности, сколько на умения аналитико-синтетической обработки информации. На данный момент данная проблема остается нерешенной.

   Цель данной работы состоит в проведении комплексного обзора зарубежных исследований по заявленной проблематике с целью выявления тенденций в области исследований мультимодальности.
   Задачи, поставленные авторами, включали сбор, анализ, классификацию и систематизацию данных, представленных в зарубежных научных трудах; уточнение понятий «мультимодальный текст» и «мультимодальный анализ»; выявление способов и алгоритмов реализации мультимодального анализа при работе с научными текстами, представленными в цифровой мультимодальной среде с целью повышения эффективности коммуникации.
   Работа над поставленной задачей требует применения таких общенаучных методов, как сбор и обработка информации (аналитико-синтетическая обработка), методы классификации и систематизации. Полученные в ходе анализа результаты показали, что вопросы, касающиеся мультимодальных текстов, мультимодальной среды и мультиграмотности, рассматриваются с различных позиций: мультимодальность как явление и как подход к его изучению; мультимодальный текст – это сочетание сразу нескольких модусов, а понятие «грамотность» расширяется до «мультиграмотности», то есть умения «читать мир». Мультимодальный анализ трактуется как анализ, поиск и извлечение семиотических паттернов в мультимедийных базах данных, чтобы исследовать отношения между семиозисом, текстом и контекстом, паттернов, которые раскрывают индивидуальные, общественные, культурные и глобальные паттерны создания смысла. В исследованиях, имеющих практическую направленность, предлагаются различные модели реализации мультимодального анализа, такие как четырехкомпонентная модель Дж. Альвареза, модель Ф. Серафини и «Модель развития мультимодальной грамотности» К. Даниельссона и С. Селандера. Ряд авторов анализирует работу студентов и детей с мультимодальными текстами, но в них исследуется скорее восприятие, нежели способы обработки информации. Таким образом, при наличии обширной теоретической и практической базы, касающейся мультимодальной коммуникации, в проанализированных работах не приведены алгоритмы выполнения мультимодального анализа. В связи с этим, поднятая авторами проблема остается актуальной, а исследование – перспективным и требует разработки процедуры и алгоритма реализации мультимодального анализа для повышения эффективности процесса обучения с использованием научных мультимодальных текстов.

1. Анненкова А. В. Вербальные и визуальные коды социальной рекламы: опыт экспериментального исследования / А. В. Анненкова // Ученые записки : электронный научный журнал Курского государственного университета. – 2014. – № 2 (30). – С. 117–122. URL: https://cyberleninka.ru/article/n/verbalnye-i-vizualnye-kody-sotsialnoy-reklamy-opyt-eksperimentalnogo-issledovaniya

2. Анненкова А. В. Моделирование процесса формирования ценностного отношения к будущей профессии как отражение реалий современного общества (на примере будущего учителя иностранного языка) / А. А. Анненкова // Известия Юго-Западного государственного университета. Серия: Лингвистика и педагогика. – 2021. – Т. 11, № 1. – С. 94–112.

3. Левин А. И. Компетентностный подход в подготовке управленческих кадров как фактор преодоления функциональной неграмотности / А. И. Левин, Л. В. Левина // Известия Юго-Западного государственного университета. Серия: Лингвистика и педагогика. – 2021. – Т. 11, № 1. – С. 124–134.

4. Занина О. Н. Формирование иноязычной речевой компетенции у студентов-юристов / О. Н. Занина, В. В. Махова // Концепт и культура : сб. науч. ст. IV Междунар. науч. конф. – Кемерово: Кемеров. гос. ун-т., 2010. – С. 591-595 (Developing L2 communicative competence in law students training)

5. Занина О. Н. Речевые ошибки как материал исследования / О. Н. Занина // Известия Юго-Западного государственного университета. Серия: Лингвистика и педагогика. – 2012. – № 2. – С. 69–72.

6. Занина О. Н. Некоторые аспекты обучения переводу в сфере профессиональной коммуникации: формирование опор внутреннего языка / О. Н. Занина // Обучение иностранному языку: современность и перспективы : сб. науч. ст. регион. науч.-метод. конф. – Курск: ЮЗГУ, 2019. – С. 127–132.

7. Занина О. Н. Некоторые особенности обучения взрослых иностранному языку (из опыта преподавания английского языка в группах профессорско-преподавательского состава Юго-Западного государственного университета) / О. Н. Занина ; редкол.: Е. Г. Баянкина (отв. ред. ); Юго-Зап. гос. ун-т // Язык для специальных целей: система, функции, среда : сб. научных статей VII Междунар. науч.-практ. конф. – Курск, 2018. – С. 69-74. (Some Issues of Teaching Adults a Foreign Language (in Academic Teaching Staff Groups))

8. Махова В. В. Специфика современных англоязычных научно-технических текстов / В. В. Махова, М. Б. Кевин ; редкол.: Е. Г. Баянкина (отв. ред.); Юго-Зап. гос. ун-т.// Язык для специальных целей: система, функции, среда : сб. научных статей VIII Междунар. науч.-практ. конф. – Курск, 2020. – С. 291-299. (The Features of Modern Scientific and Technical Texts)

9. Махова В. В. Современные подходы к обучению текстовой деятельности // Обучение иностранному языку: современность и перспективы : сборник научных статей региональной научно-методической конференции, посвященной 55-летию Юго-Западного государственного университета и кафедры ин. языков / В. В. Махова. – Курск: ЮЗГУ, 2019. – С. 255-268. (Modern Approaches to Textual Activities Teaching)

10. Махова В. В. Влияние когнитивных схем на актуализацию фоновых знаний и адекватное извлечение информации из иноязычного научного текста / В. В. Махова // Когнитивные исследования языка. – 2016. – № 27. – С. 524-532. (Influence of Cognitive Schemes on Background Knowledge Actualization and Relevant Extraction of Information from Foreign Language Scientific Text)

11. Махова В. В. Смысловой анализ научно-технических текстов как способ формирования иноязычной компетентности в сфере профессиональной коммуникации (на примере обучения студентов неязыковых вузов) / В. В. Махова. – Курск: ЮЗГУ, 2015. – 207 с. (Concept analysis of scientific and technical texts as a way of forming foreign language competence in the field of professional communication (on the example of teaching students of non-linguistic universities): monograph)

12. Махова В. В. Из опыта применения интерактивных методов обучения иностранному языку (На примере изучения темы “My University”) / В. В. Махова ; отв. редактор Е. Г. Баянкина // Язык для специальных целей: система, функции, среда : сборник научных статей VII Международной научно-практической конференции. – Курск, 2018. – С. 193-200. (The Experience of Implementing Interactive Methods of Foreign Language Mastering (Mastering the Topic “My University”))

13. Махова В. В. О результатах внедрения методики формирования профессиональной иноязычной компетентности у студентов-юристов / В. В. Махова, О. Н. Занина // Вопросы прикладной лингвистики. – Вып. 3. – М.: РУДН, 2010.

14. Niederhauser D. Educational hypertext research. In J. M. Spector, M. D., Merrill, J. van Merrienboer, & M. P. Driscoll (Eds.), Handbook of research on educational communications and technology. 3^rd ed., New York: Lawrence Erlbaum Associates Publishers. 2008. Pp. 199–210

15. Shapiro A., Niederhauser D. Learning from hypertext: Research issues and findings. In D. Jonassen (Ed.), Handbook of research for educational commu-nications and technology 2^nd ed., 2004. Mahwah, NJ, US: Lawrence Erlbaum Associates Publishers. Pp. 605–620.

16. Spiro R. J., Feltovitch P., Jacobson M., & Coulson R. Cognitive flexibility, constructivism, and hypertext: Random access instruction for advanced knowledge acquisition in illstructured domains. In T. Duffy and D. Jonassen (Eds.), Constructivism and the technology of instruction: A conversation Hillsdale, NJ: Lawrence Erlbaum. 1992. Pp. 57–75. URL: https://pdfs.semanticscholar.org/0d37/bee40117f53104a1522eb301f4b285db3c18.pdf (дата обращения 05. 04. 21).

17. O’Halloran K. L., A. Smith Bradley. Multimodal Text Analysis. URL: http://multimodal-analysis-lab.org/_docs/encyclopedia/01-Multimodal_Text_Analysis-O%27Halloran_and_Smith.pdf (дата обращения 10. 10. 20).

18. Kitson L., Reconceptualising Understandings of Texts, Readers and Contexts: One English Teacher’s Response to Using Multimodal Texts and Interactive Whiteboards English in Australia. 2011. Vol. 46, no. 3. URL: https://core.ac.uk/download/pdf/143854887.pdf (дата обращения 10. 10. 20).

19. Kress G. R., Leeuwen T. Reading images: the grammar of visual design // Gunther Kress and Theo van Leeuwen. 2^nd ed. Routledge. Taylor & Francis Group: London and New York, 2006. 321 p.

20. O'Halloran K. L. (in press). Multimodal Analysis and Digital Technology. In A. Baldry and E. Montagna (Eds.), Interdisciplinary Perspectives on Multimodality: Theory and Practice. Campobasso: Palladino. URL: http://multimodal-analysis-lab.org/_docs/Multimodal%20Analysis%20and%20Digital%20Technology.pdf (дата обращения 15. 04. 21).

21. Cazden C., Cope B., Fairclough N., Gee J. et al. A pedagogy of multiliteracies: Designing social futures Harvard Educational Review; Spring 1996; pp. 60-92. URL: http://newarcproject.pbworks.com/f/Pedagogy+of+Multiliteracies_New+London+Group.pdf (дата обращения 21. 11. 20).

22. Multiliteracies: Literacy Learning and the Design of Social Futures. Edited by Kalantzis, M., Cope, B., London: Routledge, 2000. 288 pp.

23. Cope B., Kalantzis M. ‘Multiliteracies’: New Literacies. New Learning. 2001. URL: https://newlearningonline.com/files/2009/03/M-litsPaper13Apr08.pdf (дата обращения 21. 11. 20).

24. Fairclough N., Critical discourse analysis: The critical study of language. London: Longman, 1995. P. 265. URL: https://www.felsemiotica.com/descargas/Fairclough-Norman-Critical-Discourse-Analysis.-The-Critical-Study-of-Language.pdf (дата обращения 21. 11. 20).

25. Anstey M., Bull G. Helping teachers to explore multimodal texts // Curriculum & Leadership Journal: an electronic journal for leaders in education. 2010. Vol. 8 (16). URL: http://www.curriculum.edu.au/leader/helping_teachers_to_explore_multimodal_texts,31522.html?issueID=12141 (дата обращения 29. 11. 20).

26. Кресс Г. Социальная Семиотика и вызовы мультимодальности / Г. Кресс // Политическая наука. – 2016. – № 3. – С. 77-100. URL: https://elibrary.ru/item.asp?id=27429205 (дата обращения 29. 11. 20).

27. Álvarez J. Meaning Making and Communication in the Multi-modal Age: Ideas for Language Teachers. Colomb. Appl. Linguist. 2016. 18 (1). P. 98-115. doi: 10.14483/calj.v18n1.8403 (дата обращения 29. 11. 20).

28. Serafini F. Expanding the four resources model: reading visual and multi-modal texts // Pedagogies. An International Journal. 2012. Vol. 7, No. 2. P. 150-164. doi: 10.1080/1554480X.2012.656347 (дата обращения 29. 11. 20).

29. Freebody P., Luke A. Literacies programs: Debates and demands in cultural context. Prospect: Australian Journal of TESOL, 1990. 5 (7), P. 7–16. URL: https://eprints.qut.edu.au/49099/ (дата обращения 15. 04. 21).

30. Tandiana S. T., Abdullah F., Saputra Yu. Learning Multimodality through Genre-Based Multimodal Texts Analysis: Listening to Students’ Voices // Vision: Journal for Language and Foreign Language Learning. 2020. Vol. 9, No. 2. P. 101-114. doi: 10.21580/vjv9i25406. URL: https://www.researchgate.net/publication/344772851_Learning_Multimodality_through_Genre-Based_Multimodal_Texts_Analysis_Listening_to_Students%27_Voices (дата обращения 12. 03. 2020).

31. Chenkai C., Sefton T. The Creation of Multimodal Texts of Adult English Eanguage Learners in a Canadian university – A Case Study // ERL Journal (Re-)Shaping One’s Identity with Language. 2020. Vol. 2 (4). doi: 10.36534/erlj. 2020. 02. 11. Pp. 100-114 URL: https://www.researchgate.net/publication/350316554_The_creation_of_multimodal_texts_of_adult_English_language_learners_in_a_Canadian_university_-_A_case_study (дата обращения 12. 03. 2020).

32. Danielsson K., Selander S. Reading Multimodal Texts for Learning – a Model for Cultivating Multimodal Literacy // Designs for Learning. 2016. 8 (1). P. 25–36. doi: 10.16993/dfl.72 (дата обращения 12. 03. 2020).

33. Philippe S., Souchet A. D., Lameras P., et..al. Multimodal teaching, learning and training in virtual reality: a review and case study // Virtual Reality & Intelligent Hardware. 2020. Vol. 2 (5), P. 421-442. doi: 10.1016/j.vrih.2020.07.008 (дата обращения 20. 03. 2020).

34. Abdu R., Helden G., Alberto R., Bakker A. Multimodal dialogue in small-group mathematics learning // Learning, Culture and Social Interaction. 2021. Vol. 29. doi: 10.1016/j.lcsi.2021.100491 (дата обращения 09. 04. 21).

35. Strømman E. Crossover literacies: A study of seventh graders’ multimodal representations in texts about Pokémon Go // Computers and Composition. 2021. Vol. 59. doi: 10.1016/j.compcom.2021.102629 (дата обращения 09.04.21).

36. Kuo F. Yua P.-T., Hsiao W.-H. Develop and evaluate the effects of multimodal presentation system on elementary student learning effectiveness: within classroom English learning activity // Procedia - Social and Behavioral Sciences. 2015. Vol. 176. P. 227-235. URL: https://www.sciencedirect.com/science/article/pii/S1877042815005029 (дата обращения 09. 04. 21).

37. Education for All Global Monitoring Report 2006. Chapter 6 Understandings of literacy. URL: http://www.unesco.org/education/GMR2006/full/chapt6_eng.pdf (дата обращения 09. 04. 21).