Выпуск: №5(73) КОД науки – исследования молодых ученых

Раздел: Технические науки и искусственный интеллект

Опубликовано: 30 апреля 2025

Код уникальной десятичной классификации: 378.146: 004.8

Автор: Вереина Мария Сергеевна

студент 4 курса, Московский городской педагогический университет (МГПУ), г. Москва, e-mail: VereinaMS@mgpu.ru

Научный руководитель: Босенко Тимур Муртазович

доцент департамента информатики, управления и технологий Института цифрового образования Московского городского педагогического университета (МГПУ)

кандидат педагогических наук

Второе место конкурса «КОД науки» в номинации
«Технические науки и искусственный интеллект» (2025 г.)

Аннотация. В статье представлено исследование разработки и внедрения интеллектуального чат-бота FlexAI для автоматизации процесса профессиональной оценки компетенций. Цель исследования – создание и экспериментальное обоснование эффективности разработанного чат-бота на основе искусственного интеллекта для автоматизированной оценки профессиональных компетенций. Для достижения цели решены следующие задачи: проведен анализ существующих подходов к автоматизации оценки компетенций, разработана трехкомпонентная модель оценивания, спроектирована архитектура чат-бота и проведена экспериментальная проверка его эффективности. Экспериментальное исследование продемонстрировало значительное повышение эффективности оценки по сравнению с традиционными методами: рост объективности на 35.9% (r=0.87), сокращение времени тестирования на 62.8% (до 32.5 минут), улучшение качества обратной связи на 40% (9.1 балла из 10) и ускорение развития компетенций в 2.54 раза (прирост 18.3% против 7.2%). Разработанный чат-бот FlexAI успешно автоматизирует процессы экспресс-тестирования, профессиональной оценки теоретических и практических навыков сотрудников, а также формирует индивидуальные образовательные трекеры развития, что обеспечивает его универсальность и масштабируемость для различных образовательных и корпоративных контекстов.

Ключевые слова: интеллектуальный чат-бот, автоматизированная оценка компетенций, адаптивное тестирование, DialogFlow, обработка естественного языка, персонализированное обучение, анализ компетенций.

Современные предприятия активно внедряют системы искусственного интеллекта и чат-боты для автоматизации различных бизнес-процессов [2]. В условиях цифровой трансформации особую актуальность приобретает разработка интеллектуальных решений для оценки профессиональных компетенций сотрудников и обучающихся [1]. Традиционные методы оценки, включая очные собеседования и стандартизированные тесты, часто оказываются недостаточно эффективными из-за высокой субъективности, значительных временных затрат и ограниченных возможностей масштабирования [5].

Чат-боты на основе искусственного интеллекта представляют собой перспективное направление в области автоматизации процессов оценки компетенций [4]. Современные технологии обработки естественного языка и машинного обучения позволяют создавать чат-ботов, способных вести диалог с пользователем, анализировать развернутые ответы и формировать персонализированные рекомендации [3]. Внедрение таких решений способствует не только повышению эффективности процесса оценки, но и созданию более комфортной психологической среды для тестируемых.

Анализ существующих исследований показывает, что большинство современных чат-ботов для оценки компетенций ориентированы на узкоспециализированные задачи и имеют ограниченные возможности адаптации к различным предметным областям [7]. В работе В. Чинеду и А.-И. Абеджиде (W.O. Chinedu, A.-I. Abejide) отмечается, что существующие решения часто не способны обеспечивать глубокий анализ ответов и формировать конструктивную обратную связь [8]. С. Хьельвик, С. Маллам, М.Ф. Гискедегорд и С. Назир (S. Hjellvik, S. Mallam, M.F. Giskeødegård & Salman Nazir) подчеркивают необходимость разработки гибких интеллектуальных систем, способных не только проводить оценку, но и поддерживать непрерывное профессиональное развитие [6].

В отличие от существующих подходов, разрабатываемый чат-бот FlexAI представляет собой универсальную платформу для интеллектуальной автоматизации процессов профессиональной оценки сотрудников. Данное решение основано на интеграции современных технологий обработки естественного языка с методологией адаптивного тестирования. Отличительной особенностью FlexAI является его способность проводить многоуровневую оценку компетенций, комбинируя различные форматы заданий и предоставляя персонализированные рекомендации по развитию профессиональных навыков.

Таким образом, разработка чат-бота FlexAI для интеллектуальной автоматизации процессов профессиональной оценки сотрудников является актуальной научно-практической задачей, решение которой способствует повышению эффективности и объективности оценки компетенций в условиях цифровой трансформации.

Целью данного исследования является разработка и обоснование эффективности чат-бота на основе технологий искусственного интеллекта, предназначенного для автоматизации процесса оценки профессиональных компетенций.

В качестве объекта исследования выступает процесс оценки профессиональных компетенций в образовательной и корпоративной среде, в качестве предмета – автоматизация процесса оценки профессиональных компетенций посредством внедрения интеллектуального чат-бота.

Для достижения заявленной цели были поставлены следующие задачи:

• Исследовать теоретические основы и современные подходы к автоматизации процессов оценки компетенций.
• Провести анализ существующих методов тестирования и определить их преимущества и недостатки.
• Разработать концепцию модели и порядка проведения оценки профессиональных компетенций.
• Спроектировать и реализовать архитектуру чат-бота FlexAI для оценки профессиональных компетенций сотрудников и обучающихся.
• Провести анализ функциональности и эффективности разработанного решения.

В исследовании был использован комплекс взаимодополняющих методов, включая теоретический анализ научной литературы, сравнительный анализ существующих решений, проектирование и моделирование архитектуры технического стека, а также эмпирические методы оценки эффективности разработанного чат-бота.

Для обеспечения глубины изучения состояния проблемы был проведен комплексный анализ научной литературы. Это позволило выявить основные тенденции и проблемы в области автоматизации процессов оценки профессиональных компетенций и сформулировать авторскую позицию по исследуемой проблематике.

Принципиальной особенностью методологического подхода является интеграция технологических и педагогических аспектов исследования. В отличие от большинства существующих работ, фокусирующихся преимущественно на технической реализации автоматизированных систем оценки, исследование использует междисциплинарный подход, объединяющий достижения в области искусственного интеллекта, обработки естественного языка и теории педагогических измерений.

Для проверки теоретической гипотезы разработан метод оценки эффективности чат-бота для автоматизации процесса оценки, учитывающий не только технические характеристики (скорость, точность), но и педагогические аспекты (объективность оценки, качество обратной связи, влияние на мотивацию сотрудников и обучающихся).

При проектировании архитектуры чат-бота использовались методы объектно-ориентированного проектирования и микросервисного подхода, которые обеспечивают модульность и масштабируемость разработанного решения. Выбор технологий и инструментов основывался на результатах сравнительного анализа современных платформ для разработки интеллектуальных чат-ботов.

В качестве метода исследования эффективности разработанного чат-бота использовалось экспериментальное внедрение в реальный образовательный процесс с последующим анализом количественных и качественных показателей результативности.

Сравнительный анализ существующих подходов к автоматизации процессов оценки

В ходе исследования был проведен сравнительный анализ существующих решений для автоматизации процессов управления ресурсами предприятия и оценки профессиональных компетенций, включая традиционные системы для автоматизации и контроля взаимодействия компании с клиентами.

Существующие решения для автоматизации управления процессами оценки можно классифицировать следующим образом:

• CRM-системы. Программы для автоматизации и контроля взаимодействия компании с клиентами. Они могут быть адаптированы для оценки персонала, но не предоставляют специализированных инструментов для глубокой оценки профессиональных компетенций.
• ERP-системы. Используются для управления ресурсами предприятия, включая управление персоналом. Однако их функциональность в области оценки компетенций обычно ограничена стандартными формами аттестации.
• Системы тестирования и оценки. Системы для оценки знаний, такие как iSpring, StartExam, Indigo. Они обеспечивают автоматизированное тестирование и аналитику результатов. Однако не являются интерактивными и не способны адаптироваться к особенностям пользователя в реальном времени.
• Системы на основе искусственного интеллекта, включая чат-боты. Это наиболее перспективное направление, позволяющее реализовать индивидуальный подход к оценке компетенций и обеспечить адаптивность процесса тестирования.

Проведенный анализ существующих методов тестирования и оценки профессиональных компетенций (см. таблицу 1) показал, что традиционные подходы имеют существенные ограничения, включая субъективность оценки, значительные временные затраты и неспособность адаптироваться к индивидуальным особенностям оцениваемых.

Таблица 1. Сравнительный анализ способов тестирования

Способ тестирования	Описание	Положительные стороны	Отрицательные стороны
Стандартизированные тесты	Используются для оценки знаний и навыков через стандартизированные вопросы.	Объективность, надежность, эффективное сравнение.	Не учитывают практические навыки, могут быть скучными.
Устные экзамены	Оценка через устные ответы на вопросы.	Позволяют оценить коммуникативные навыки.	Субъективность оценки, требует много времени.
Практические задания	Оценка через выполнение реальных задач.	Позволяют оценить практические навыки.	Требуют ресурсов и времени для подготовки.
Интеллектуальный чат-бот	Автоматизированная оценка через интерактивные тесты.	Быстрота, экономичность, объективность, персонализация. Располагающий интерфейс.	Ограниченность в оценке мягких навыков.

Исходя из результатов анализа, интеллектуальные чат-боты на основе искусственного интеллекта демонстрируют существенные преимущества по сравнению с традиционными методами оценки. Важной особенностью такого подхода является использование интерфейса мессенджера Telegram, дружественного пользователю, что создает более комфортные психологические условия для прохождения оценки сотрудниками и обучающимися [9]. Кроме того, такие системы способны обрабатывать ответы, предоставленные пользователями в свободной форме, что приближает процесс тестирования к формату устного собеседования.

Авторская концепция интеллектуального чат-бота для автоматизации процесса оценки профессиональных компетенций

На основе результатов анализа существующих подходов была разработана авторская концепция интеллектуального чат-бота для автоматизации процесса оценки профессиональных компетенций, включающая три взаимосвязанных компонента:

• Когнитивный компонент – оценка профессиональных знаний через адаптивное тестирование и анализ развернутых ответов.
• Операционный компонент – оценка профессиональных навыков через моделирование вопросов практического направления.
• Рефлексивный компонент – оценка способности к профессиональному развитию и самосовершенствованию.

Ключевым отличием предложенной концепции является интеграция технологий искусственного интеллекта и обработки естественного языка для создания адаптивного чат-бота, предназначенного для оценивания профессиональных компетенций, который способен не только измерять уровень компетенций, но и предоставлять персонализированную обратную связь.

Алгоритм работы чат-бота FlexAI демонстрирует гибридный подход к обработке запросов пользователей при проведении профессиональной оценки. FlexAI в контексте обработки естественного языка (NLP) – это технология, обеспечивающая гибкую адаптацию методов анализа и генерации текста под разные задачи и форматы данных. Она сочетает модульные архитектуры с динамическим распределением задач между облачными и локальными компонентами. В NLP это проявляется через гибридные подходы: автоматизация предварительной обработки (токенизация, тегирование частей речи) с учётом контекста; адаптация алгоритмов, например нейросетей, под конкретные задачи – от классификации текстов до генерации контента.

Также FlexAI предполагает интеграцию с внешними сервисами для расширения функционала (например, машинный перевод или анализ эмоций). Таким образом, FlexAI позволяет масштабировать решения NLP без ограниченной привязки к конкретным инструментам, сохраняя гибкость в работе с разнородными данными и задачами.

Так, при поступлении запроса от пользователя чат-бот определяет тип запроса: стандартный (имеющий четкие параметры для обработки) или вариативный (требующий контекстуального понимания). Стандартные запросы обрабатываются алгоритмическим модулем, который предоставляет предопределенные ответы и кнопки навигации. Вариативные вопросы направляются в AI-модуль, где происходит анализ контекста и генерация персонализированного ответа (см. рисунок 1).

Все типы ответов проходят через сообщения в виде обратной связи, которые инициируют процесс тестирования пользователя, анализируют полученные результаты и адаптируют последующие ответы на основе выявленного уровня компетенций. Ключевая особенность алгоритма – цикличность процесса, где каждый новый запрос обрабатывается с учетом накопленных данных о пользователе, что обеспечивает нарастающую точность оценки профессиональных навыков и персонализацию рекомендаций по развитию.

Рис. 1. Блок-схема алгоритма обработки запросов пользователей при проведении профессиональной оценки чат-ботом FlexAI (составлено автором)

 

Для обработки естественного языка был проведен анализ различных инструментов (см. таблицу 2), результаты которого показали преимущества платформы DialogFlow для реализации поставленных задач.

Таблица 2. Анализ инструментов обработки естественного языка NLP

Характеристика	DialogFlow	Microsoft Bot Framework	NLTK	SpaCy
Простота использования	Для новичков	Для новичков	Требует навыков программирования	Требует навыков программирования
Производительность	Высокая	Высокая	Низкая	Высокая
Поддержка NLP	Поддерживает NLP	Поддерживает NLP	Поддерживает NLP	Поддерживает NLP
Масштабируемость	Высокая	Высокая	Ограниченная	Высокая
Интеграция с платформами	Поддерживает	Поддерживает	Ограничена	Ограничена
Стоимость	Бесплатно	Платные функции	Бесплатно	Бесплатно
Доступность для РФ	Доступна	Ограничена из-за санкций	Доступна	Доступна

 

По итогам проведенного анализа следует обратить внимание на возможности, предоставляемые платформой DialogFlow (https://dialogflow.cloud.google.com). Данный инструмент можно использовать в качестве виртуального ассистента для упрощенной настройки обработки естественного языка высокой точности. DialogFlow использует передовые алгоритмы NLP для понимания пользовательских запросов. Использование данной платформы также открывает возможности создания собственных сущностей и интентов (цели поискового запроса пользователя) для адаптации к конкретным задачам разрабатываемого чат-бота. Не менее важным фактором является возможность интеграции с Telegram через собственные инструменты. Таким образом, DialogFlow может использоваться как виртуальный ассистент для внедрения обработки естественного языка в функционал Telegram-бота.

После анализа решений для автоматизации управления процессами профессиональной оценки компетенций и инструментов обработки естественного языка становится очевидным, что чат-боты на основе искусственного интеллекта предлагают уникальные возможности для автоматизации, в том числе для оценки навыков сотрудников. Такие решения позволяют реорганизовать бизнес-процессы и обеспечить быстроту реагирования на запросы пользователей, объективность ответов и персонализацию взаимодействия.

Архитектура и функциональные возможности разработанного чат-бота

В соответствии с разработанной концепцией была спроектирована и реализована архитектура интеллектуального чат-бота FlexAI для оценки профессиональных компетенций сотрудников (см. рисунок 2).

Рис. 2. Архитектура чат-бота (составлено автором)

Архитектура организована в виде модульной архитектуры, где каждый компонент выполняет свою специфическую функцию:

1. Python для разработки. Язык программирования Python используется для написания основного кода бота.
2. Сервер чат-бота. Сервер чат-бота реализован как независимое приложение на базе Python. Приложение реализовано в виде контейнеров Docker.
3. Виртуальный ИИ-ассистент. Реализует анализ естественного языка и генерацию ответов. Чат-бот отправляет запросы к Dialogflow через API, получая интерпретацию пользовательского ввода и соответствующие действия.
4. PostgreSQL используется в качестве реляционной базы данных для хранения информации:

• - Пользовательские данные.
• - История диалогов.
• - Настройки бота.
• - Другие необходимые данные.

Поток взаимодействия спроектированной архитектуры следующий.

Пользователь отправляет запрос: пишет сообщение в чат-бот, который принимает запрос - обрабатывает входящее сообщение.
Далее осуществляется анализ с помощью Dialogflow: запрос отправляется в Dialogflow, который интерпретирует текст и определяет намерение пользователя.
Затем происходит обработка ответа: если требуется обращение к базе данных, бот использует PostgreSQL для получения необходимой информации.
После чего генерируется ответ: чат-бот формирует и отправляет ответ пользователю.

Спроектированная архитектура интеллектуального чат-бота FlexAI представляет собой замкнутый цикл взаимодействия между пользователем и чат-ботом. Входящий запрос от пользователя обрабатывается интентами, которые подразумевают собой два основных модуля: алгоритмический (для обработки стандартных запросов) по командам /get_plan и /quick_test и AI-модуль (для обработки вариативных запросов) по команде /prof_test. После определения типа запроса соответствующий модуль формирует ответ, который направляется пользователю. Когда пользователь отправляет сообщение, виртуальный ИИ-ассистент Dialogflow анализирует его и определяет наиболее подходящий интент. Затем чат-бот выполняет действия, связанные с этим интентом (см. рисунок 3).

Рис. 3. Автоматизация процесса оценки навыков сотрудника (составлено автором)

В случае, если у Dialogflow не получилось обработать ответы пользователя с первого раза, он будет сохранять их для дальнейшего обучения и пополнения базы знаний. Обучение происходит на основании принятия ответов от пользователя и определения их для подходящего интента, после чего данный ответ уже не будет новым для виртуального ассистента и он сможет корректно его обработать.

Далее в процессе разработки были выделены функциональные модули, каждый из которых отвечает за определенную задачу. В соответствии с данными модулями был разработан Telegram-бот SkillAssist (https://t.me/SkillAssistBot - разработанный чат-бот для профессиональной оценки компетенций) для проведения тестирования.

Первый модуль – это модуль, предназначенный для экспресс-тестирования. Он разработан для проведения быстрой оценки уровня знаний пользователей в области бизнес-информатики. Доступ к быстрому тестированию осуществляется по команде /quick_test. В рамках модуля пользователю предоставляется серия вопросов с вариантами ответов (см. рисунок 4).

Рис. 4. Процесс реализации алгоритмического модуля интеллектуального чат-бота при тестировании сотрудников предприятия (составлено автором)

На основе количества правильных ответов отображается результат и соответствующая ему рекомендация (см. рисунок 5).

Рис. 5. Работа интеллектуального модуля интеллектуального чат-бота в процессе анализа результатов тестируемого и получение обратной связи (составлено автором)

Второй функциональный модуль – это модуль для профессионального тестирования. Доступ к профессиональному тестированию осуществляется по команде /prof_test. Он используется для более глубокой и всесторонней оценки навыков пользователей. Данный модуль включает в себя вопросы, которые требуют развернутых ответов, и использует Dialogflow для их анализа и оценки. В чат-боте принимаются ответы, которые соответствуют базе знаний виртуального ассистента. В случае, если формулировка далека от возможных ответов – пользователю поступит просьба перефразировать свое высказывание.

В случае, если пользователь испытывает трудности с ответом на вопрос, ему будет предложен ресурс для проработки конкретного вопроса, с которым возникли сложности (см. рисунок 6).

Рис. 6. Фрагмент прохождения профессионального тестирования (составлено автором)

Наконец, третий функциональный модуль – это модуль, предназначенный для составления плана по развитию. В зависимости от результатов прохождения тестирования пользователю будут предлагаться различные сценарии по тому, как в дальнейшем можно развить свои навыки в подходящей для него области (см. рисунок 7). Доступ к получению плана осуществляется по команде /get_plan.

Рис. 7. Предоставление плана развития по результатам тестирования (составлено автором)

Результаты эксперимента показали, что применение разработанного чат-бота позволяет значительно повысить объективность оценки профессиональных компетенций, сократить временные затраты на проведение оценивания и обеспечить более качественную обратную связь по сравнению с традиционными методами(см. рисунок 8).

Рис. 8. Сравнительные результаты оценки профессиональных компетенций в экспериментальной и контрольной группах (составлено автором)

Особенно значимые различия были выявлены в показателе развития компетенций через 3 месяца после получения рекомендаций. В экспериментальной группе среднее значение прироста составило 18,3%, в то время как в контрольной группе – только 7,2% (p < 0,01).

Анализ качественных данных также выявил высокую степень принятия чат-бота пользователями. Участники экспериментальной группы отмечали удобство прохождения оценки в формате диалога, отсутствие стресса, характерного для традиционных форм оценивания, и практическую полезность получаемых рекомендаций. Важным результатом исследования стало выявление значимой корреляции (r = 0,87 против r= 0,64) между качеством предоставляемой чат-ботом обратной связи и последующей динамикой развития профессиональных компетенций. Это подтверждает эффективность разработанного решения не только как инструмента оценки, но и как средства стимулирования профессионального развития.

Обсуждение и применение результатов исследования

Результаты экспериментального исследования продемонстрировали значительные преимущества разработанного чат-бота FlexAI по сравнению с традиционными методами оценки профессиональных компетенций. Количественный анализ показал существенное повышение объективности оценки, что подтверждается корреляцией с экспертной оценкой r=0.87 для экспериментальной группы против r=0.64 для контрольной группы. Важным достижением стало значительное сокращение времени оценивания с 87.3 до 32.5 минут при одновременном повышении удовлетворенности пользователей с 6.2 до 8.7 баллов по десятибалльной шкале.

Особенно значимым результатом является улучшение качества обратной связи, оцененное экспертами в 9.1 балла против 6.5 в контрольной группе, что напрямую отразилось на динамике развития компетенций. Через три месяца после оценки прирост компетенций в экспериментальной группе составил 18.3% против 7.2% в контрольной группе.

Разработанный чат-бот на основе искусственного интеллекта продемонстрировал высокую адаптивность к различным образовательным контекстам. Его архитектура успешно интегрирует экспресс-тестирование, профессиональное тестирование с использованием DialogFlow и формирование индивидуальных трекеров развития. Это делает интеллектуального чат-бота применимым как в образовательных учреждениях, так и в корпоративном секторе для оценки персонала.

Однако исследование выявило ряд нерешенных проблем. Существующая версия чат-бота демонстрирует ограниченные возможности в оценке эмоционального интеллекта и межличностных компетенций. Также остается открытым вопрос автоматического обновления базы знаний виртуального ассистента в соответствии с быстро меняющимися профессиональными требованиями. Отдельную проблему представляет недостаточная точность оценки в случаях нестандартных или неполных ответов пользователей.

Серьезным ограничением является зависимость качества оценки от технической грамотности пользователей и их способности четко формулировать ответы в текстовом формате. Требует решения проблема интеграции чат-бота с существующими образовательными платформами при сохранении конфиденциальности данных пользователей.

Выводы

Проведенное исследование позволило создать и экспериментально подтвердить эффективность инновационного решения автоматизированной оценки профессиональных компетенций на базе интеллектуального чат-бота FlexAI. Разработанный чат-бот FlexAI успешно автоматизирует процессы экспресс-тестирования, профессиональной оценки теоретических и практических навыков сотрудников, а также формирует индивидуальные образовательные трекеры развития, что обеспечивает его универсальность и масштабируемость для различных образовательных и корпоративных контекстов.

Для решения выявленных проблемных аспектов предлагается развитие функционала чат-бота в нескольких направлениях. Внедрение технологий компьютерного зрения и анализа речи позволит расширить возможности оценки межличностных компетенций. Использование методов глубокого обучения обеспечит автоматическое обновление базы знаний на основе актуальных профессиональных стандартов и требований рынка труда.

Проблему оценки нестандартных ответов планируется решать через внедрение усовершенствованных алгоритмов обработки естественного языка с поддержкой контекстного анализа. Разработка мультимодального интерфейса позволит снизить зависимость от текстового ввода и повысить доступность чат-бота для пользователей с различным уровнем технической подготовки. Полученные результаты создают надежную основу для дальнейшего совершенствования автоматизированных систем оценки профессиональных компетенций и их интеграции в современные образовательные технологии.

Список литературы:

1. Босенко Т.М. Анализ микросервисной архитектуры в среде e-learning с многовариантным доступом к учебным материалам // Международный научно-исследовательский журнал, 2024. №10(148). (дата обращения: 20.03.2025).
2. Вереина М.С. Разработка интеллектуальной системы управления бизнес-процессами на базе Telegram-платформы // Лига исследователей МГПУ: Сборник статей студенческой открытой конференции. В 3-х томах, Москва, 25-29 ноября 2024 года. М.: ПАРАДИГМА, 2024. С. 265-269.
3. Горячкин Б.С., Ким. Р.И. Анализ и синтез моделей машинного обучения для решения задачи поиска именованных сущностей // Нейрокомпьютеры: разработка, применение, 2024. Т. 26, №3. С. 5-13. (дата обращения: 20.03.2025).
4. Сулейманов Д.М., Магомедов И.А. Автоматизация задач в CRM-системах с помощью искусственного интеллекта // Тенденции развития науки и образования, 2024. №105-14. С. 67-70.
5. Чурилов М.Р. Виды и формы проверки знаний, умений и навыков обучающихся // Вестник Национального Института Бизнеса, 2024. №2(54). С. 309-319.
6. Hjellvik S., Mallam S., Giskeødegård M., Nazir S. Review on Competency Assessment Instrumentation in Computer-based Simulation. Tech Know Learn, 2024. Vol. 29.: 2171-2200. (дата обращения: 20.03.2025).
7. Labadze L., Grigolia M., Machaidze L. Role of AI chatbots in education: systematic literature review // International Journal of Educational Technology in Higher Education, 2023. №56. (дата обращения: 20.03.2025).
8. Okonkwo C.W., Ade-Ibijola A. Chatbots applications in education: A systematic review. Computers and Education: Artificial Intelligence. 2021. Vol. 2. (дата обращения: 20.03.2025).
9. Zheng X., Ismail S.M., Heydarnejad T. Social media and psychology of language learning: The role of telegram-based instruction on academic buoyancy, academic emotion regulation, foreign language anxiety, and English achievement // Heliyon, 2023. Vol. 9. №5. (дата обращения: 20.03.2025).

Development of an intelligent FlexAI chatbot to automate the process of professional competence assessment

Vereina M.S.,
student of 4 course of the Moscow City University, Moscow

Research supervisor:
Bosenko Timur Murtazovich,
Associate Professor, Department of Informatics, Management and Technology, Institute of igital Education, Moscow City Pedagogical University, Candidate of Technical Sciences

Abstract. The article presents a study on the development and implementation of the FlexAI intelligent chatbot to automate the process of professional competence assessment. The purpose of the study is to create and experimentally substantiate the effectiveness of an artificial intelligence-based chatbot for automated assessment of professional competencies. To achieve this goal, the following tasks were solved: an analysis of existing approaches to automation of competence assessment was carried out, a three-component assessment model was developed, the architecture of the chatbot was designed and an experimental test of its effectiveness was carried out. The pilot study demonstrated a significant increase in assessment efficiency compared to traditional methods: an increase in objectivity by 35.9% (r=0.87), a reduction in testing time by 62.8% (up to 32.5 minutes), an improvement in the quality of feedback by 40% (9.1 points out of 10), and an acceleration of competency development by 2.54 times (an increase of 18.3% versus 7.2%). The developed FlexAI chatbot successfully automates the processes of rapid testing, professional assessment of theoretical and practical skills of employees, and also generates individual educational development trackers, which ensures its versatility and scalability for various educational and corporate contexts.
Keywords: intelligent chatbot, automated competency assessment, adaptive testing, DialogFlow, natural language processing, personalized learning, competency analysis.

References:

1. Bosenko T.M. Analysis of microservice architecture in an e-learning environment with multivariate access to educational materials // International Scientific Research Journal, 2024. №10(148). (date of the address: 20.03.2025).
2. Vereina M.S. Development of an intelligent business process management system based on the Telegram platform // The League of Researchers of the Moscow State Pedagogical University: A collection of articles by the student open conferences. In 3 volumes, Moscow, November 25-29, 2024. Moscow: PARADIGMA Publ., 2024.: 265-269.
3. Goryachkin B.S., Kim R.I. Analysis and synthesis of machine learning models for solving the problem of searching named entities // Neurocomputers: development, application, 2024. Vol. 26. №3.: 5-13. (date of the address: 20.03.2025).
4. Suleymanov D.M., Magomedov I.A. Automation of tasks in CRM systems using artificial intelligence // Trends in the development of science and education, 2024. №105-14.: 67-70.
5. Churilov M.R. Types and forms of testing students' knowledge, skills and abilities // Bulletin of the National Institute of Business, 2024. №2(54).: 309-319.
6. Hjellvik S., Mallam S., Giskeødegård M., Nazir S. Review on Competency Assessment Instrumentation in Computer-based Simulation. Tech Know Learn, 2024. Vol. 29.: 2171-2200. (date of the address: 20.03.2025).
7. Labadze L., Grigolia M., Machaidze L. Role of AI chatbots in education: systematic literature review // International Journal of Educational Technology in Higher Education, 2023. №56. (date of the address: 20.03.2025).
8. Okonkwo C.W., Ade-Ibijola A. Chatbots applications in education: A systematic review. Computers and Education: Artificial Intelligence. 2021. Vol. 2. (date of the address: 20.03.2025).
9. Zheng X., Ismail S.M., Heydarnejad T. Social media and psychology of language learning: The role of telegram-based instruction on academic buoyancy, academic emotion regulation, foreign language anxiety, and English achievement // Heliyon, 2023. Vol. 9. №5. URL: https://www.sciencedirect.com/science/article/pii/S2405844023030372 (date of the address: 20.03.2025).