Победитель конкурса «КОД науки» в номинации
«Филологические науки» (2025 г.)
Аннотация. Статья посвящена анализу подходов к оценке качества профессионального и машинного перевода английских мнемических прилагательных memorable, unforgettable, indelible, reminiscent и memorial. Цель исследования состоит в изучении возможностей применения генеративного искусственного интеллекта для оценки качества машинного перевода наряду с носителями языка. Полученные результаты показывают, что действующие алгоритмы генеративного искусственного интеллекта не позволяют адекватно оценить качество машинного перевода на уровне лексемы.
Ключевые слова: мнемическая лексика, синоним, англо-русский перевод, машинный перевод, генеративный искусственный интеллект.
В последнее десятилетие в современной гуманитарной науке имеет место усиленный интерес к изучению когнитивной системы человека и сопряженных с ней процессов, в первую очередь, процессов памяти и мышления, а также к анализу принципов их отражения в языке и культуре [1], [6], [7], [8]. Исследования в этой области велись в рамках различных подходов и направлений науки о языке, в том числе и с позиций теории перевода [4], [5]. С появлением больших языков моделей и возможности их внедрения в лингвистические исследования лингвисты обратились к данному инструментарию для решения стоящих перед современной наукой о языке задач. Часть из них лежит в области изучения потенциала систем машинного перевода для передачи отдельных единиц и конструкций (далее – МП) [3], [9], [12], [13]. Несмотря на наличие различных методик оценки качества машинного перевода, существующие подходы, как правило, ориентированы на комплексную оценку текстов большого объема, в то время как проблема оценка качества перевода отдельных языковых единиц или словосочетаний в контексте остается недостаточно разработанной. Новизна настоящего исследования заключается в разработке методики оценивания машинного перевода, основанной на анализе качества перевода лексической единицы в рамках заданного контекста.
Существующие методы оценки, включая количественные метрики, экспериментальные методики, а также интегрированное и автономное программное обеспечение, предназначенное для обнаружения ошибок в CAT-инструментах, и принятые стандарты позволяют оценить качества перевода на уровне контекста, то есть фокусируются на анализе предложения. Однако, в рамках данного исследования релевантной является оценка качества МП на уровне отдельной лексической единицы, а не предложения в целом. Следовательно, возникает необходимость в разработке экспериментальной методики, ориентированной на оценку качества МП.
Для целей исследования МП представляется целесообразным обратиться к таким онлайн-переводчикам, как Google Переводчик, Yandex Переводчик и DeepL Translate. Google Переводчик и Yandex Переводчик, которые функционируют как системы нейронного МП, использующие методы МП на основе примеров и статистических данных, тогда как ранее они базировались на статистическом МП (Google Переводчик – до 2016 г., Yandex Переводчик – до 2017 г.). В DeepL Translate реализован гибридный подход, интегрирующий нейронные сети с элементами статистического перевода и перевода на основе примеров.
В настоящем исследовании качества МП, осуществляемого системами DeepL Translate, Yandex Переводчик и Google Переводчик, использовался авторский корпус контекстов, составленный на основе параллельного корпуса Национального корпуса русского языка (НКРЯ), публицистических и художественных текстов, а также результатов перевода данных контекстов вышеупомянутыми автоматизированными системами. Общее количество проанализированных контекстов составило 50 единиц.
С целью оценки качества МП отдельных лексем были разработаны анкеты для опроса носителей русского языка в возрасте от 20 до 25 лет. Все респонденты являлись студентами, обучающимися по направлению «Перевод и переводоведение – английский язык» в институте иностранных языков Московского городского педагогического университета. Материалы исследования были представлены участникам в цифровом формате посредством платформы Google Forms.
Для оценки качества перевода, содержащего мнемическое прилагательное, респондентам были предложены три варианта машинного перевода с возможностью выбора одного из следующих вариантов оценки: «Перевод корректный», «Перевод некорректный, так как нарушена лексическая сочетаемость», «Перевод некорректный, так как слово использовано в несвойственных для него контекстах». В качестве теоретической основы была использована классификация переводческих ошибок, предложенная М.А. Куниловской, в связи с тем, что объектом оценки является перевод лексем, и в данной классификации детально рассмотрены ошибки, возникающие на лексическом уровне [2]. Предложенная типология включает в себя три типа ошибок: два вышеуказанных типа и тавтологию. Однако, последний критерий не был включен в разрабатываемую нами методику оценивания перевода, поскольку подразумевает оценку контекста в целом, а не отдельной лексемы в рамках заданного текста.
На следующем этапе исследования машинный перевод был представлен для оценки чат-боту, работающему на основе генеративным искусственным интеллектом (далее – генИИ). Данный шаг позволил оценить потенциал использования генИИ как коллективного форманта. Для решения данной задачи был использован бесплатный сервис GigaChat [10], разработанный компанией «Сбер». Предложенный сервис поддерживает русский и английский языки.
Заключительным этапом исследования стал сравнительный анализ оценок качества МП, предоставленных носителями языка и генИИ, с целью выявления общих закономерностей.
Memorable
Рассмотрим оценку МП прилагательного memorable носителями и генИИ. В некоторых примерах онлайн-переводчики предлагали разные варианты перевода, например, в контексте №3 оценивались два варианта перевода: сильное впечатление (DeepL Translate) и запоминающееся впечатление (Yandex Переводчик; Google Переводчик). На представленных ниже двух диаграммах (см. рисунки 1 и 2) возможно увидеть варианты перевода прилагательного memorable как запоминающийся, сильный, выдающийся, незабываемый, памятный и опущение лексемы при переводе, а также частотность выбора вариантов ответа к каждому переводу.
Рис. 1. Оценка качества машинного перевода прилагательного memorable носителями языка
Рис. 2. Оценка качества машинного перевода прилагательного memorable генИИ
Анализ МП прилагательного memorable на основе десяти контекстных примеров продемонстрировал существенные расхождения в оценке качества перевода между носителями языка и генИИ. Хотя оба субъекта идентифицировали запоминающийся как корректный перевод в ряде случаев, наблюдается значительное различие в частоте и причинах несоответствий. Носители языка чаще указывали на нарушения лексической сочетаемости при использовании вариантов перевода, таких как запоминающийся, памятный, и на неадекватность контекстуального применения незабываемый. В то время как генИИ демонстрировал более высокую склонность к признанию корректности переводов, даже в случаях, отмеченных носителями как ошибочные. Интересно, что расхождения в оценке сильный и выдающийся противоположны: носители признавали их уместными, в то время как генИИ отмечал нарушения лексической сочетаемости. Наконец, различие в отношении опущения слова memorable в переводе указывает на разные подходы к оценке адекватности перевода: носители допускали его в определенных контекстах, а генИИ расценивал опущение как ошибку. На основе анализа данных контекстов можем сделать вывод о том, что генИИ принимает за корректный перевод прилагательного memorable только лексемы запоминающийся, незабываемый и памятный в любом контексте, однако носители не всегда отмечают его корректным. Разберем примеры (1) и (2).
(1) One of the earliest and most memorable artistic responses to the new phenomenon of steam-train travel was the painting Turner exhibited at the Royal Academy in 1844, Rain, Steam and Speed – The Great Western Railway.
Одним из первых и наиболее значимых художественных откликов на появление нового средства передвижения стала картина Тёрнера «Дождь, пар и скорость – Большая Западная железная дорога», выставленная в Королевской академии в 1844 году (Профессиональный перевод).
Одним из самых ранних и запоминающихся художественных откликов на новое явление – путешествия на паровозах – стала картина Тернера, выставленная в Королевской академии в 1844 году, «Дождь, пар и скорость – Великая западная железная дорога. (DeepL Translate).
Одним из самых ранних и запоминающихся художественных откликов на новое явление – путешествия на паровозах – стала картина Тернера «Дождь, пар и скорость – Великая западная железная дорога», выставленная в Королевской академии в 1844 году (Yandex Переводчик).
Одним из самых ранних и запоминающихся художественных откликов на новый феномен путешествия на паровозе стала картина Тернера «Дождь, пар и скорость: Великая Западная железная дорога», выставленная в Королевской академии в 1844 году (Google Переводчик).
Носители языка оценили перевод как некорректный, так как нарушена лексическая сочетаемость, однако генИИ счел корректным слово запоминающийся. Словосочетание запоминающийся отклик действительно используется, но встречается намного реже: если ввести данное словосочетание в кавычках в поисковой системе Google [11], то в результатах поисковой выдачи регистрируются 68 случаев использования, в то время как значимый отклик встречается более 1000 раз. Вместе с тем, в НКРЯ в основном корпусе не отмечены случаи использования словосочетания запоминающийся отклик ни в одном контексте, а словосочетание значимый отклик фигурирует один раз.
(2) On one memorable occasion I encountered an owner prepared to express himself, and it was no coincidence that he was American.
Помню один случай: мне довелось общаться с человеком, нескрывавшим своих чувств; любопытно, что он был не британцем, а американцем (Профессиональный перевод).
В одном памятном случае я столкнулся с владельцем, готовым выразить свое мнение, и не случайно, что он был американцем (DeepL Translate).
В одном памятном случае я столкнулся с владельцем, готовым заявить о себе, и то, что он был американцем, не было случайным совпадением (Yandex Переводчик).
Однажды я встретил владельца, готового выразить себя, и не случайно он был американцем (Google Переводчик).
Носители оценили перевод с помощью прилагательного памятный как некорректный из-за использования слова в несвойственных для него контекстах, однако генИИ счел такой выбор обоснованным. Использование опущения при переводе носители оценили как корректный перевод, однако генИИ обозначил как некорректное из-за нарушения лексической сочетаемости. В профессиональном переводе используется лексема помнить для перевода словосочетания on one memorable occasion, что является частеречной заменой. Словосочетание памятный случай действительно частотно (более 7000 вхождений в результатах поисковой операции Google), однако в данном контексте частеречная замена и опущение считаются более подходящими вариантами перевода.
Unforgettable
Рассмотрим оценку качества МП прилагательного unforgettable носителями языка и генИИ. На представленных ниже двух диаграммах (см. рисунок 3) возможно увидеть варианты перевода прилагательного unforgettable как незабываемый, а также частотность выбора варианта ответов к каждому переводу.
Рис. 3. Оценка качества машинного перевода прилагательного unforgettable носителями языка и генИИ
Анализ МП английского прилагательного unforgettable на основе десяти контекстных примеров демонстрирует значительное расхождение между оценками носителей языка и генИИ. Хотя генИИ оценил перевод unforgettable словом незабываемый как корректный во всех десяти случаях, носители языка отметили существенные проблемы в 60% примеров. Данные несоответствия были обусловлены нарушениями лексической сочетаемости в двух случаях и использованием слова незабываемый в неадекватном контексте в четырех случаях. На основе анализа данных контекстов можем сделать вывод о том, что генИИ принимает за корректный перевод прилагательного unforgettable лексему незабываемый в любом контексте, однако носители не всегда расценивают такой перевод как корректный. Результаты указывают на ограниченность возможностей генИИ в распознавании нюансов лексической сочетаемости и контекстуального употребления слов, что приводит к неточному отражению семантики исходного текста. Рассмотрим пример (3).
(3) Nor did they relieve him of the other object… the one that Kohler knew would bring unforgettable closure to this evening's chain of events.
Не нашли они и еще одного предмета… той вещи, которая должна была поставить финальную точку в событиях этого затянувшегося вечера (Профессиональный перевод).
Они также не избавили его от другого предмета... того, который, как знал Колер, должен был завершить незабываемую цепь событий этого вечера (DeepL Translate).
Они не освободили его и от другого предмета… того, который, как знал Колер, должен был стать незабываемым завершением цепочки событий этого вечера (Yandex Переводчик).
Не избавили они его и от другого предмета... того, который, как знал Колер, станет незабываемым завершением цепочки событий этого вечера (Google Переводчик).
Носители оценили такой перевод некорректным, так как слово использовано в несвойственных для него контекстах, в том время как генИИ счел перевод корректным. В профессиональном переводе используется метонимический перенос: словосочетание unforgettable closure переводится как финальная точка. Компоненты в словосочетании незабываемая цепь имеют несвойственную связь между собой, и такое словосочетание не встречается в русском языке, что подтверждается количеством вхождения в поиске на сайте Google (незабываемая цепь – 3). Словосочетание незабываемое завершение довольно частотно (более 12000 вхождений) и считается корректным переводом.
Indelible
Рассмотрим оценку качества МП прилагательного indelible носителями и генИИ. В некоторых примерах онлайн-переводчики предлагали разные варианты перевода. На представленных ниже двух диаграммах (см. рисунки 4 и 5) возможно увидеть варианты перевода прилагательного indelible как несмываемый, неизгладимый, нестираемый, а также частотность выбора варианта ответов к каждому переводу.
Рис. 4. Оценка качества машинного перевода прилагательного indelible носителями языка
Рис. 5. Оценка качества машинного перевода прилагательного indelible генИИ
Анализ качества МП английского прилагательного indelible на основе десяти контекстных примеров показал значительные расхождения между оценками носителей языка и генИИ. Последний оценил все предложенные варианты перевода (несмываемый, неизгладимый, нестираемый) как корректные. В отличие от генИИ носители языка продемонстрировали более критичный подход. Перевод несмываемый был оценен как корректный лишь в 40% случаев, с двумя случаями нарушения лексической сочетаемости. Вариант неизгладимый оказался некорректным во всех десяти случаях, причиной чего стали нарушения лексической сочетаемости в двух случаях и несоответствие контексту в восьми случаях. Единственный пример перевода как нестираемый также был признан некорректным из-за несоответствия контексту. На основе анализа данных контекстов можем сделать вывод о том, что генИИ принимает за корректный перевод прилагательного indelible только лексемы несмываемый, неизгладимый, нестираемый в любом контексте, однако носители не всегда отмечают его корректным. Разберем частотный вариант ответа оценки слова неизгладимый на примере (4).
(4) If I'd had a gun, I would have chased them away with a shot; instead all I could do was watch and understand that despite the spirit of the our times which insisted not just on the equality but on the total conformity of people, there were insuperable barriers, indelible differences deeper than religion, culture, or prosperity; the colored jackets negated the area, protected against its colorlessness, and I saw – through color – that we were born in different times, even though they coincided chronologically.
Если бы было оружие, я бы выстрелил, прогнал бы их, а так оставалось только смотреть – и понимать, что, вопреки духу нынешнего времени, утверждающему уже не равенство, а тождество людей, есть неодолимые преграды, есть нестираемые различия, глубже различий в вере, культуре, достатке; цветные куртки отталкивали окрестность, защищали от ее бесцветья, и я увидел – через цвет, – что мы рождены в разные времена, хотя хронологически они совпадали (Профессиональный перевод).
Если бы у меня был пистолет, я бы прогнал их выстрелом; вместо этого я мог только смотреть и понимать, что, несмотря на дух нашего времени, настаивавший не только на равенстве, но и на полном соответствии людей, существовали непреодолимые барьеры, неизгладимые различия, более глубокие, чем религия, культура или достаток; цветные куртки отрицали местность, защищали от ее бесцветности, и я видел – через цвет – что мы родились в разные времена, даже если они совпадали хронологически (DeepL Translate).
Если бы у меня был пистолет, я бы прогнал их выстрелом; вместо этого все, что я мог сделать, это наблюдать и понимать, что, несмотря на дух нашего времени, который настаивал не просто на равенстве, но и на полном соответствии людей, существовали непреодолимые барьеры, неизгладимые различия, более глубокие, чем религия, культура или процветание; цветные куртки оттеняли местность, защищали от ее бесцветности, и я видел сквозь цвет, что мы родились в разное время, хотя хронологически они совпадали (Yandex Переводчик).
Если бы у меня был пистолет, я бы прогнал их выстрелом; вместо этого я мог только наблюдать и понимать, что, несмотря на дух нашего времени, который настаивал не только на равенстве, но и на полном конформизме людей, существовали непреодолимые барьеры, неизгладимые различия, более глубокие, чем религия, культура или процветание; цветные куртки отрицали пространство, защищали от его бесцветности, и я видел – через цвет – что мы родились в разные времена, хотя они и совпадали хронологически (Google Переводчик).
Носители русского языка оценили данный перевод как некорректный из-за нарушения лексической сочетаемости, тогда как генИИ счел данный вариант корректным. Количество вхождений словосочетания неизгладимые различия в поисковой системе Google составляет три единицы, что говорит об использовании слов в одном словосочетании с несвойственной для них связью, т.е. носители языка оценили перевод правильно, опираясь на собственные знания и языковой опыт, в то время как генИИ выдал ошибочный вариант ответа.
Reminiscent
Рассмотрим оценку качества МП прилагательного reminiscent носителями и генИИ на примере первых десяти контекстов. В некоторых примерах онлайн-переводчики предлагали разные варианты перевода. На представленных ниже двух диаграммах (см. рисунок 6) возможно увидеть варианты перевода прилагательного reminiscent как напоминать, напоминающий, а также частотность выбора вариантов ответа к каждому переводу.
Рис. 6. Оценка качества машинного перевода прилагательного reminiscent носителями языка и генИИ
Анализ качества МП английского прилагательного reminiscent на основе десяти контекстных примеров показал расхождения в оценках между носителями языка и генИИ. ГенИИ оценил все варианты перевода (напоминающий, напоминать) как корректные. Носители языка, напротив, показали более низкую оценку. Перевод напоминающий был признан корректным лишь в одном из трех случаев, два других случая были отмечены как несоответствующие контексту. Перевод напоминать получил более высокую оценку корректности (4 из 8 случаев), но также содержал три случая нарушения лексической сочетаемости и один случай несоответствия контексту. На основе анализа данных контекстов можем сделать вывод о том, что генИИ принимает за корректный перевод прилагательного reminiscent только лексемы напоминающий, напоминать в любом контексте, однако носители не всегда отмечают его как корректный. Разберем пример (5).
(5) It should take only one highly publicized IED attack and several Russian casualties for Putin to begin to be pulled into a downward spiral, reminiscent of 1980s Afghanistan and 1990s Chechnya.
Достаточно одной резонансной атаки с использованием СВУ и нескольких жертв среди россиян, чтобы Путин оказался втянутым в «нисходящую спираль», и ситуация начала резко ухудшаться, как это было в Афганистане 1980-х и в Чечне 1990-х годов (Профессиональный перевод).
Достаточно одного широко разрекламированного теракта с применением самодельного взрывного устройства и нескольких российских жертв, чтобы Путина начало затягивать в нисходящую спираль, напоминающую Афганистан 1980-х и Чечню 1990-х годов (DeepL Translate).
Достаточно одного получившего широкую огласку взрыва самодельного взрывного устройства и нескольких жертв среди россиян, чтобы Путин начал скатываться по нисходящей спирали, напоминающей события в Афганистане в 1980-х и Чечне в 1990-х годах (Yandex Переводчик).
Достаточно одной широко разрекламированной атаки СВУ и нескольких российских жертв, чтобы Путин начал втягиваться в нисходящую спираль, напоминающую Афганистан 1980-х годов и Чечню 1990-х годов (Google Переводчик).
Носители языка данный перевод прилагательного reminiscent оценили как некорректный, так как слово использовано в несвойственных для него контекстах, тогда как генИИ счел такой вариант корректным. В профессиональном переводе не используется данная лексема, что можно считать обоснованным выбором, поскольку причастие напоминающий не подходит по стилю контекста (публицистика – военная журналистика).
Memorial
Рассмотрим оценку качества МП прилагательного memorial носителями языка и генИИ на примере первых десяти контекстов. В некоторых примерах онлайн-переводчики предлагали разные варианты перевода, например, в контексте. На представленных ниже двух диаграммах (см. рисунки 7 и 8) возможно увидеть варианты перевода прилагательного memorial как мемориал, памятный, мемориальный, память, поминовение, воспоминание, а также частотность выбора вариантов ответа к каждому переводу.
Рис. 7. Оценка качества машинного перевода прилагательного memorial носителями языка
Рис. 8. Оценка качества машинного перевода прилагательного memorial генИИ
Анализ качества МП английского прилагательного memorial на основе десяти контекстных примеров показал расхождения в оценках между носителями языка и генИИ. Последний оценил переводы мемориал, мемориальный и поминовение как корректные, а переводы памятный, память и воспоминание как некорректные из-за несоответствия контексту. Оценки носителей языка были более разнообразными. Перевод мемориал был признан корректным в четырех из шести случаев, с одним случаем нарушения лексической сочетаемости и одним случаем несоответствия контексту. Перевод памятный рассматривался как некорректный в одном случае из-за нарушения лексической сочетаемости. Перевод мемориальный рассматривался как корректный в одном случае и некорректный в другом из-за нарушения лексической сочетаемости. Перевод память был корректным в одном случае и некорректным в другом из-за несоответствия контексту. Наконец, перевод поминовение был корректным в одном случае, а перевод воспоминание был некорректным в одном случае из-за несоответствия контексту.
При анализе данного прилагательного встречается больше всего расхождений в результатах оценки перевода. Профессиональные переводчики часто предлагали лексему мемориал, однако в примерах, где профессиональный перевод и МП совпадали, носители оценивали перевод некорректным. Перевод памятный также был оценен носителями как некорректный, в то время как в профессиональном переводе используется данный эквивалент. Разберем пример (6).
(6) This is the painter stripped down to his own essentials. This is his self-memorial.
Вот каким предстает живописец, избавленный собственной кистью от любых случайных примет. Вот какой памятник он воздвиг самому себе (Профессиональный перевод).
Это его самопамять (DeepL Translate).
Это его самовоспоминание (Yandex Переводчик; Google Переводчик).
МП метафоры в данном контексте был некорректным, что отметили носители языка, и профессиональный перевод считается адекватным.
Вывод
Оценка качества англо-русского МП носителями русского языка и генИИ разнится от одного прилагательного к другому. Перевод прилагательного memorable носители языка отмечали корректным лишь в 57% контекстов, unforgettable – в 40%, indelible – в 33%, reminiscent – в 45%, memorial – в 54%. При оценке качества генИИ опирается на перевод не всего контекста, а отдельного слова, игнорируя стиль, лексическую сочетаемость и т.д. Если memorable переводится как запоминающийся, незабываемый, памятный, то система оценивает перевод как корректный в любом контексте, любое отклонение как некорректный перевод. Если unforgettable переводится как незабываемый, перевод интерпретируется как корректный. Если indelible переводится как несмываемый, неизгладимый, нестираемый, перевод также оценивается корректный. Если reminiscent переводится как напоминать, напоминающий, перевод маркируется как корректный. Если memorial переводится как памятный, память, воспоминание, генИИ также считает такой перевод корректным. Можем сделать вывод о том, что генИИ опирается на лексикографические источники при оценке перевода, а не на частотные вхождения в сети. В таком случае оценка качества МП носителями языка является более релевантной. Предварительные результаты подчеркивают важность оценки качества МП носителями языка и необходимость улучшения алгоритмов МП для учета лексической сочетаемости и контекстуальных особенностей при переводе. В качестве перспективы дальнейшего исследования видится осуществление сопоставительного анализа оценки качества МП носителями языка и различными системами генИИ.
Список литературы:
- Ассоциативный эксперимент: теоретические и прикладные перспективы психолингвистики / В.А. Пищальникова, К.С. Карданова, Н.С. Панарина [и др.]. М.: Р. Валент, 2019. 200 с.
- Куниловская М.А. Классификация переводческих ошибок и их электронная разметка в brat // Проблемы теории, практики и дидактики перевода: Сборник научных трудов. Серия 16. Том I. НГЛУ, 2013. С. 59-71.
- Сулейманова О.А., Чернышова А.И. Перевод синтаксических композитов при помощи программ машинного перевода и переводчика // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование, 2024. №1(53). С. 91-104. (дата обращения: 01.04.2025).
- Сулейманова О.А. Русские абстрактные существительные в английском переводе // Когнитивные исследования языка, 2024. №1-1(57). С. 271-274.
- Сулейманова О.А. Уровневая концепция формирования уверенного переводчика в высшей школе / О.А. Сулейманова, К.С. Карданова-Бирюкова, Н.Н. Беклемешева // Didactica Translatorica, 2022. №1. С. 20-25.
- Тивьяева И.В. Категория памяти как объект исследования в лингвистике // Актуальные проблемы лингвистики и лингводидактические аспекты профессиональной подготовки переводчиков: Тульский государственный университет, 2013. С. 125-134.
- Тивьяева И.В. Когнитивно-коммуникативный подход к исследованию языковой репрезентации процессов памяти // Вопросы психолингвистики. 2017, №31. С. 124-139.
- Тивьяева И.В. К вопросу о мнемической ситуации и ее составляющих // Известия Тульского государственного университета. Гуманитарные науки, 2011. №1. С. 604-610.
- Gao D. LLMs-based machine translation for E-commerce / D. Gao, K. Chen, B. Chen, H. Dai, L. Jin, W. Jiang, W. Ning, S. Yu, Q. Xuan, X. Cai, L. Yang, Z. Wang // Expert Systems with Applications, 2024. Vol. 258. (дата обращения: 01.04.2025).
- GigaChat [сайт]. (дата обращения: 07.11.2024).
- Google [портал]. (дата обращения: 07.11.2024).
- Wu W. Automatic Machine Translation Quality Evaluation Model under Feature Extraction Algorithm // Procedia Computer Science, 2024. Vol. 247.: 689-695. (дата обращения: 01.04.2025).
- Yang M., Li F. Improving Machine Translation Formality with Large Language Models // Computers, Materials & Continua. Vol. 82. №2: 2061-2075. (дата обращения: 01.04.2025).
Comparing professional and machine translation strategies for English mnemonic adjectives
Bogoslavskaya A.D.,
bachelor of 4 course of the Moscow City University, Moscow
Research supervisor:
Tivyaeva Irina Vladimirovna,
Deputy Director of the Institute of Foreign Languages of the State Autonomous Educational Institution of Higher Education of the Moscow City University, Doctor of Philology, Associate Professor
Abstract. The article focuses on analyzing approaches for evaluating the quality of professional and machine translations of English mnemonic adjectives memorable, unforgettable, indelible, reminiscent, and memorial. The purpose of the study is to explore the potential of applying generative artificial intelligence to assess the quality of machine translation alongside native speakers. The results obtained show that current generative artificial intelligence algorithms do not adequately evaluate the quality of machine translation at the lexeme level.
Keywords: mnemonic vocabulary, synonym, English-Russian translation, machine translation, generative artificial intelligence.
References:
- Associative Experiment: Theoretical and Applied Perspectives of Psycholinguistics. Moscow / V.A. Pischalnikova, K.S. Kardanova, N.S. Panarina et al. Moscow: Valent, 2019: 200 p.
- KunilovskayaA.Classification of translationerrorsandtheirelectronicmarkupinbrat//Problems of theory,practiceanddidactics of translation:Collection of scientificpapers.Issue16.Vol.I. LUNN, 2013.:59-71.
- Suleimanova O.A., Chernyshova A.I. Machine vs manual translation of syntactic compounds. MCU Journal of Philology. Theory of Linguistics. Linguistic Education, 2024, 1(53).: 91-104. (date of the address: 01.04.2025).
- Suleimanova O.A. Russian abstract nouns in English translation. Cognitive Linguistic Studies, 2024, №1-1(57).: 271-274.
- Suleimanova O.A., Kardanova-Biryukova K.S., Beklemisheva N.N. Training translators within tiered teaching format. Didactica Translatorica, 2022, 1.: 20-25.
- Tivyaeva I.V. The category of memory as an object of study in linguistics. In Proceedings of the II International Scientific-Practical Internet Conference, Tula State University. Tula, 2013.: 125-134.
- Tivyaeva I.V. Cognitive-communicative approach to verbal representation of mnemonic processes. Issues of Psycholinguistics, 2017, №31.: 124-139.
- Tivyaeva I.V. On mnemonic situation and its components. Tula State University Bulletin, 2011, №1.: 604–610.
- Gao D. LLMs-based machine translation for E-commerce / D. Gao, K. Chen, B. Chen, H. Dai, L. Jin, W. Jiang, W. Ning, S. Yu, Q. Xuan, X. Cai, L. Yang, Z. Wang // Expert Systems with Applications, 2024. Vol. 258. (date of the address: 01.04.2025).
- GigaChat [сайт]. (date of the address: 07.11.2024).
- Google [портал]. (date of the address: 07.11.2024).
- Wu W. Automatic Machine Translation Quality Evaluation Model under Feature Extraction Algorithm // Procedia Computer Science, 2024. Vol. 247.: 689-695. (date of the address: 01.04.2025).
- Yang M., Li F. Improving Machine Translation Formality with Large Language Models // Computers, Materials & Continua. 2025. Vol. 82. №2: 2061-2075. (date of the address: 01.04.2025).