Машинен превод на редки думи в езици с недостатъчен ресурс
Изследователи подобряват машинния превод на редки думи в езици с недостатъчен ресурс
Големите езикови модели (LLM) показват впечатляващи възможности в многоезичния невронен машинен превод (MNMT) дори при липса на паралелни данни. Те обаче често се затрудняват, когато превеждат редки думи, особено при езици, за които ресурсите са ограничени. Тази година екип от изследователи от Китайския университет в Хонконг и Microsoft представи нов подход за справяне с този проблем. Те демонстрираха, че чрез използване на верижни многоезични речници LLM могат ефективно да ръководят процеса на вземане на решения при превода на изходящ текст. Изследователският екип представи иновативен метод, наречен „Подсказване от верига от речници при машинен превод“ (Chain-of-Dictionary Prompting for Machine Translation (COD). Той използва вериги от многоезични речници, за да насочва LLM при извършването на машинен превод.
Как работи методът COD?
Методът COD използва силата на многоезичните речници, за да повиши способностите на LLM. Интегрирайки информация от верижните многоезични речници директно в подканата за превод, COD осигурява ценни предварителни знания, които ръководят LLM в процеса на вземане на решения и помагат за преодоляване на трудностите, свързани с редки думи и езици с недостатъчен ресурс. COD се състои от два компонента – стандартна подкана за превод и верижни многоезични речници. Изправен пред изречение от изходния текст, COD търси съответните записи в многоезичните речници за конкретен набор от думи. Преди да направи обичайната заявка за превод към езиковите модели, COD добавя допълнителни текстови данни към подканата.
При този метод, за да се включват лексикални подсказки за машинния превод, в началото на стандартната подкана се добавя определена поредица от символи или думи. Мотивацията зад този подход произтича от успешното използване на двуезични речници в моделите за контролиран машинен превод. Освен това той прилага принципите на разсъждение тип Chain-of-Thought (CoT) (букв. „мисловна верига“), което отразява мисловния процес чрез междинни етапи на разсъждение.
„В този казус демонстрираме как могат да се интегрират многоезични знания непосредствено, без нужда от обучение на модела, а като само се свърже многоезичният речник, който представя думи с едно и също значение на различни езици, с цел да се подобрят възможностите за машинен превод на езиковия модел“, казаха изследователите. Освен това авторите подчертават, че по този начин в самата подкана може да се включи уточнение на задачата, както и да се предоставят основни знания, които са от съществено значение за изпълнението на задачата за машинен превод, без да се налагат строги ограничения за това как моделът използва тези знания.
Отключване на способностите за разсъждение на езиковите модели
За да оценят ефективността на COD, изследователите са провели задълбочени експерименти, използвайки различни езикови модели и показателите FLORES-200. Резултатите са забележителни. Те показват значителни подобрения при превода с езици, за които има недостатъчен ресурс, в множество езикови двойки. Всъщност COD надминава ChatGPT при множество езици, като позволява успешно да се извършват преводи, които преди това са били труднопостижими или дори невъзможни за езиковите модели. Анализът на работата на COD подчертава необходимостта от верижно свързване на многоезични речници при използването на езиковия модел. Чрез свързването на речници, представящи думи с едно и също значение на различни езици, COD отключва способностите за разсъждение на езиковия модел, без да изисква той да се обучава допълнително. Този подход надхвърля ограниченията на обучението в контекст, осигурявайки по-практично и достъпно решение, особено за езици с недостатъчно ресурси. „В сравнение с обучението в контекст, при което се демонстрират по няколко варианта за по-точно подсказване на езиковите модели, речниците са сравнително по-лесни за съхранение и приложение от демонстрациите, особено за езици с недостатъчен ресурс“, обясниха изследователите.
Това е много вълнуващо развитие на преводаческата дейност, в частност машинният превод, и ние от Агенция за преводи „Олтранс“ следим отблизо новите тенденции, за да можем успешно да ги вградим в процесите на нашите услуги.
