Параметры оценки работы ИИ-агентов и приложений: систематизация методик, показателей качества и подходов к оценке

Аннотация

В статье проведён обзор существующих методик и показателей оценки качества программных продуктов, систем искусственного интеллекта и ИИ-агентов. Цель работы состоит в формировании достаточного перечня показателей и методик для практической оценки ИИ-агентов в условиях реальной эксплуатации. Методологическую основу составили критический нарративный обзор, контент-анализ международных стандартов, научных публикаций 2020–2026 годов и систематизация подходов к оценке больших языковых моделей и агентных систем. Показано, что оценка ИИ-агентов не может ограничиваться традиционными показателями качества программного обеспечения. Наряду с функциональной пригодностью, надёжностью, производительностью, удобством использования, безопасностью и сопровождаемостью необходимо оценивать точность, полноту, устойчивость к ошибкам, объяснимость, справедливость, конфиденциальность, безопасность и качество данных. Для ИИ-агентов дополнительно значимы показатели выполнения задач, качества планирования, корректности использования инструментов, эффективности памяти, автономности, стоимости выполнения и устойчивости к атакам. Предложена многоуровневая модель оценки, включающая качество модели, качество приложения, качество агентного поведения и качество в условиях эксплуатации. Сделан вывод о необходимости комбинировать автоматизированные метрики, экспертную оценку, пользовательские исследования и мониторинг в производственной среде.

Ключевые слова: искусственный интеллект; ИИ-агент; большое языковое модель; оценка качества; показатели качества; программное обеспечение; ISO/IEC 25010; ISO/IEC 25059; ISO/IEC 42001; надёжность; безопасность; объяснимость; тестирование ИИ.

Keywords: artificial intelligence; AI agent; large language model; quality assessment; quality metrics; software; ISO/IEC 25010; ISO/IEC 25059; ISO/IEC 42001; reliability; safety; explainability; AI testing.

Abstract

The article reviews existing methods and metrics for evaluating the quality of software products, artificial intelligence systems, and AI agents. The purpose of the study is to form a sufficient set of indicators and methods for the practical evaluation of AI agents in real-world operation. The methodological basis includes a critical narrative review, content analysis of international standards, scientific publications from 2020 to 2026, and systematization of approaches to evaluating large language models and agent-based systems. It is shown that the evaluation of AI agents cannot be limited to traditional software quality indicators. In addition to functional suitability, reliability, performance efficiency, usability, security, and maintainability, it is necessary to evaluate accuracy, completeness, robustness, explainability, fairness, privacy, safety, and data quality. For AI agents, task completion, planning quality, correct tool use, memory effectiveness, autonomy, execution cost, and resistance to attacks are also significant. The article proposes a multi-level evaluation model that includes model quality, application quality, agent behavior quality, and quality in operation. It concludes that automated metrics, expert evaluation, user studies, and production monitoring should be combined.

Keywords: artificial intelligence; AI agent; large language model; quality assessment; quality metrics; software; ISO/IEC 25010; ISO/IEC 25059; ISO/IEC 42001; reliability; safety; explainability; AI testing.

1. Введение

Развитие больших языковых моделей и агентных систем привело к появлению нового класса программных продуктов, способных самостоятельно планировать действия, использовать внешние инструменты, взаимодействовать с пользователями и выполнять многошаговые задачи. Такие системы называют ИИ-агентами. В отличие от традиционного программного обеспечения, ИИ-агент работает в условиях вероятностных результатов, неполноты данных, изменяющейся среды и возможных ошибок модели.

Традиционные подходы к оценке качества программного обеспечения ориентированы на детерминированные функции: корректность результата, соответствие требованиям, производительность, надёжность и удобство использования. Эти подходы сохраняют значение для ИИ-приложений, однако недостаточны для оценки моделей машинного обучения и агентных систем. Для ИИ необходимы показатели точности, полноты, устойчивости, объяснимости, справедливости, качества данных и безопасности.

Международные стандарты отражают эту эволюцию. ISO/IEC 25010 определяет базовую модель качества систем и программного обеспечения. ISO/IEC 25059 расширяет модель SQuaRE применительно к системам искусственного интеллекта и учитывает вероятностный характер результатов, обучаемость, зависимость от данных, объяснимость и поведение в реальных условиях [2; 4]. ISO/IEC 42001 устанавливает требования к системе менеджмента искусственного интеллекта и ориентирует организации на обеспечение доверия к ИИ на всех этапах жизненного цикла. Рамка управления рисками ИИ NIST также связывает оценку с идентификацией, измерением и управлением рисками.

Актуальность обзора определяется тем, что на практике организации нередко оценивают ИИ-агентов только по точности ответов модели или по субъективной удовлетворённости пользователей. Такой подход не позволяет оценить надёжность агентного поведения, безопасность использования инструментов, стоимость выполнения задач и устойчивость системы в реальной среде.

Объект исследования - методы и показатели оценки качества программных продуктов, систем искусственного интеллекта и ИИ-агентов.

Предмет исследования - состав, классификация, области применения и ограничения показателей оценки ИИ-агентов и приложений.

Цель статьи - сформировать достаточный перечень показателей и методик оценки ИИ-агентов, пригодный для практического применения при разработке, приёмке и эксплуатации таких систем.

Задачи исследования:

• систематизировать стандарты и методологические подходы к оценке качества;
• рассмотреть показатели качества традиционных программных приложений;
• проанализировать показатели качества моделей машинного обучения;
• систематизировать показатели оценки ИИ-агентов;
• выявить пробелы существующих методик;
• предложить комплексную модель оценки ИИ-агентов;
• сформулировать рекомендации по выбору показателей в зависимости от типа системы.

Научная новизна работы состоит в многоуровневой систематизации показателей оценки: от качества модели и программного приложения до качества агентного поведения и качества в условиях эксплуатации.

Практическая значимость состоит в возможности использования предложенной модели при подготовке технических заданий, приёмочных испытаний, внутреннего аудита, оценки поставщиков и мониторинга ИИ-систем.

2. Методология исследования

Исследование выполнено как критический нарративный обзор с элементами контент-анализа и тематической кластеризации. Хронологические рамки - 2020–2026 годы.

Использовались следующие группы источников:

• международные стандарты: ISO/IEC 25010, ISO/IEC 25059, ISO/IEC 42001;
• рамки управления рисками: NIST AI Risk Management Framework;
• нормативные документы Европейского союза, включая Регламент об искусственном интеллекте;
• научные публикации и обзоры, посвящённые оценке больших языковых моделей и LLM-агентов;
• техническая документация и практические руководства по тестированию ИИ-систем.

Поиск источников проводился в базах Scopus, Web of Science, Google Scholar, arXiv, IEEE Xplore, eLibrary и КиберЛенинке. Поисковые запросы включали сочетания: «AI agent evaluation», «LLM agent benchmark», «AI system quality model», «machine learning model evaluation metrics», «ISO/IEC 25059», «ISO/IEC 42001», «trustworthy AI metrics», «AI safety evaluation», «agent task success rate».

Критерии включения источников:

• прямое отношение к оценке качества программных систем, моделей машинного обучения, ИИ-приложений или ИИ-агентов;
• наличие методологического обоснования, перечня показателей или результатов эмпирической оценки;
• опубликование в 2020–2026 годах, если источник не относится к базовым стандартам;
• доступность полного текста либо официального описания.

Критерии исключения:

• отсутствие методологического обоснования;
• рекламные материалы без воспроизводимой методики;
• источники, посвящённые исключительно отдельной метрике без связи с общей системой оценки;
• публикации без верифицируемого выхода или рецензирования, если они не использовались как иллюстрация практического подхода.

Методы анализа включали контент-анализ стандартов и публикаций, сравнительный анализ показателей, тематическую кластеризацию и критический синтез. Алгоритм отбора источников включал идентификацию релевантных публикаций, их скрининг по названию и аннотации, оценку соответствия критериям включения и включение в итоговый анализ.

3. Качество программных приложений

3.1. Базовая модель ISO/IEC 25010

ISO/IEC 25010 определяет качество продукта и качество при использовании как две основные перспективы оценки. Качество продукта характеризуется функциональной пригодностью, эффективностью производительности, совместимостью, удобством использования, надёжностью, защищённостью, сопровождаемостью и переносимостью.

Эти характеристики сохраняют значение для ИИ-приложений. Однако их применение требует адаптации: например, надёжность ИИ-системы не сводится к отсутствию сбоев, поскольку система может стабильно работать, но регулярно выдавать неверные результаты.

3.2. Показатели качества приложения

Для ИИ-приложения целесообразно оценивать следующие группы показателей:

• функциональную полноту: долю реализованных требований;
• корректность бизнес-логики: долю корректно обработанных сценариев;
• доступность: процент времени работоспособности системы;
• время отклика: медианное и 95-процентное время ответа;
• пропускную способность: количество обработанных запросов в единицу времени;
• устойчивость к нагрузке: сохранение работоспособности при пиковой нагрузке;
• защищённость: наличие управления доступом, шифрования, журналирования и защиты от типовых атак;
• удобство использования: время выполнения задачи, частоту ошибок пользователя и удовлетворённость;
• сопровождаемость: время устранения дефекта, покрытие тестами и модульность кода.

Такие показатели описывают качество программной оболочки, но не раскрывают качество ИИ-компонента. Поэтому они должны применяться вместе с метриками модели и агентного поведения.

4. Качество моделей машинного обучения

4.1. Классические метрики качества моделей

Для моделей классификации применяются точность, полнота, F1-мера, специфичность, площадь под ROC-кривой и площадь под кривой точность-полнота [2; 7]. Для регрессионных моделей используются средняя абсолютная ошибка, среднеквадратичная ошибка, средняя абсолютная процентная ошибка и коэффициент детерминации.

ISO/IEC 25059 прямо указывает на необходимость оценивать не только случаи корректной работы системы, но и случаи ошибок, используя показатели точности, полноты, F1-меры и другие метрики [2; 7]. Такой подход позволяет оценивать не только общую результативность, но и структуру ошибок.

4.2. Качество данных

Качество модели напрямую зависит от качества обучающих, валидационных и тестовых данных. Целесообразно оценивать:

• полноту данных;
• актуальность данных;
• репрезентативность выборки;
• сбалансированность классов;
• долю пропущенных значений;
• долю дубликатов;
• наличие аномалий и выбросов;
• корректность разметки;
• прослеживаемость происхождения данных.

Недостаточное качество данных приводит к систематическим ошибкам модели, которые не могут быть устранены только за счёт изменения архитектуры или увеличения объёма обучающей выборки.

4.3. Устойчивость, справедливость и объяснимость

Устойчивость характеризует способность модели сохранять приемлемое качество при изменении входных данных, шуме, неполноте информации или целенаправленных атаках. Справедливость оценивается через различия в качестве работы модели для различных групп пользователей. Объяснимость характеризует возможность понять, почему система приняла конкретное решение.

Эти характеристики особенно значимы для систем, влияющих на права и интересы людей, безопасность, доступ к услугам или принятие управленческих решений. ISO/IEC 25059 включает объяснимость и поведение в реальных условиях в число специфических характеристик качества систем ИИ [2; 4].

5. Оценка больших языковых моделей

5.1. Показатели качества генерации

Для больших языковых моделей применяются автоматизированные и экспертные методы оценки. Автоматизированные метрики включают точность ответов, совпадение с эталоном, семантическое сходство, полноту фактов и частоту ошибок. Экспертная оценка проводится по шкалам корректности, полноты, релевантности, ясности, структурированности и полезности ответа.

Автоматизированные метрики обладают высокой воспроизводимостью, однако могут плохо отражать качество ответа в сложных диалоговых и профессиональных задачах. Экспертная оценка более содержательна, но менее воспроизводима и требует чётких критериев.

5.2. Фактическая точность и галлюцинации

Для ИИ-приложений критическое значение имеет фактическая точность. Целесообразно измерять:

• долю верифицируемо корректных ответов;
• долю ответов с фактическими ошибками;
• долю отказов от ответа при недостатке информации;
• долю галлюцинаций;
• полноту использования предоставленного контекста;
• корректность ссылок на источники.

Показатель «доля галлюцинаций» особенно важен для систем, работающих с правовой, медицинской, технической или финансовой информацией. При этом отказ от ответа не всегда является ошибкой: в задачах с высоким риском корректный отказ может быть предпочтительнее уверенного, но неверного ответа.

5.3. Контекстная точность и работа с источниками

Для систем с поиском по базе знаний и генерацией с дополнением из внешних источников необходимо оценивать:

• релевантность найденных фрагментов;
• точность извлечения информации;
• полноту охвата релевантных источников;
• корректность цитирования;
• отсутствие противоречий между источниками и ответом;
• устойчивость к нерелевантному или противоречивому контексту.

Эти показатели позволяют отделить ошибки модели от ошибок поискового компонента и качества базы знаний.

6. Оценка ИИ-агентов

6.1. Специфика агентных систем

ИИ-агент отличается от обычного ИИ-приложения тем, что способен планировать последовательность действий, выбирать и использовать инструменты, взаимодействовать со средой, запоминать информацию и корректировать поведение. Обзоры оценки LLM-агентов выделяют четыре ключевые группы способностей: планирование, использование инструментов, саморефлексию и память.

Другие обзоры предлагают оценивать агентов по двум измерениям: по целям оценки - поведение, способности, надёжность и безопасность - и по процессу оценки - режим взаимодействия, наборы данных, бенчмарки, методы расчёта метрик и инструменты.

6.2. Результативность выполнения задач

Основным интегральным показателем агента является доля успешно выполненных задач. Однако этот показатель должен дополняться более детальными метриками:

• доля задач, выполненных без ошибок;
• доля задач, выполненных с частичными ошибками;
• доля задач, завершённых в пределах установленного числа шагов;
• доля задач, требующих вмешательства пользователя;
• доля корректно достигнутых промежуточных целей;
• доля корректных финальных результатов;
• доля задач, прерванных из-за ошибки агента.

Показатель успешности необходимо интерпретировать вместе с ценой ошибки. Для одного агента ошибка в подборе рекомендаций может быть приемлемой, для другого - привести к финансовым, правовым или безопасностным последствиям.

6.3. Качество планирования

Качество планирования оценивается через:

• корректность декомпозиции задачи;
• оптимальность последовательности действий;
• количество лишних шагов;
• способность корректировать план при изменении условий;
• долю циклов и повторяющихся действий;
• способность определять недостающие данные;
• способность останавливаться при невозможности выполнения задачи.

Высокая доля успешно выполненных задач не всегда свидетельствует о высоком качестве планирования. Агент может достигать результата за счёт избыточного числа действий, повышенных затрат и увеличенного риска ошибки.

6.4. Использование инструментов

Для агентов, использующих внешние API, базы данных, поисковые системы, файловые операции или корпоративные системы, необходимо оценивать:

• корректность выбора инструмента;
• корректность формирования параметров вызова;
• долю успешных вызовов инструментов;
• долю ошибок из-за неверных параметров;
• способность обрабатывать ошибки инструмента;
• способность выбирать альтернативный способ решения;
• соблюдение ограничений доступа и разрешений;
• безопасность использования инструментов.

Особое значение имеет контроль нежелательных действий: удаление данных, отправка сообщений, изменение настроек, совершение платежей или доступ к конфиденциальной информации.

6.5. Память и контекст

Память агента оценивается через способность сохранять и использовать информацию в рамках задачи, диалога или длительного взаимодействия. Применяются показатели точности извлечения информации, доли релевантных обращений к памяти, полноты использования контекста, устойчивости к противоречивой информации и способности обновлять знания при получении новых данных.

Недостатки памяти проявляются в повторении уже выполненных действий, утрате целей задачи, игнорировании ограничений пользователя и противоречивом поведении в длительных сценариях.

6.6. Стоимость, производительность и автономность

Практическая оценка агента должна включать эксплуатационные показатели:

• стоимость выполнения задачи;
• количество вызовов модели;
• количество вызовов внешних инструментов;
• время выполнения задачи;
• задержку первого ответа;
• потребление вычислительных ресурсов;
• долю задач, выполненных без участия человека;
• долю вмешательств оператора;
• стоимость человеческого контроля.

Высокая автономность не всегда является преимуществом. Для критических процессов предпочтительнее ограниченная автономность с обязательной проверкой человеком.

6.7. Безопасность и устойчивость

Безопасность агента оценивается через устойчивость к попыткам обхода ограничений, утечке системных инструкций, инъекциям через внешние данные, несанкционированному использованию инструментов и нежелательным действиям. Целесообразно измерять:

• долю успешных атак;
• долю заблокированных опасных действий;
• долю утечек конфиденциальной информации;
• частоту нарушений политик;
• способность распознавать вредоносные инструкции;
• корректность реакции на неопределённые или рискованные ситуации.

Обзоры агентных систем выделяют безопасность и надёжность в качестве самостоятельных целей оценки наряду с поведением и способностями.

7. Комплексная модель оценки ИИ-агентов

Предлагаемая модель включает четыре уровня оценки.

Первый уровень - качество модели. Оцениваются точность, полнота, F1-мера, устойчивость, справедливость, объяснимость, качество данных и частота галлюцинаций.

Второй уровень - качество приложения. Оцениваются функциональная пригодность, надёжность, производительность, защищённость, удобство использования, совместимость, сопровождаемость и переносимость.

Третий уровень - качество агентного поведения. Оцениваются успешность задач, планирование, использование инструментов, память, автономность, стоимость и безопасность действий.

Четвёртый уровень - качество в эксплуатации. Оцениваются удовлетворённость пользователей, доля эскалаций к человеку, количество инцидентов, стоимость владения, влияние на бизнес-показатели и соответствие требованиям регулирования.

Состав показателей по уровням представлен в таблице 1.

Таблица 1 - Многоуровневая модель оценки ИИ-агентов и приложений

8. Обсуждение

Анализ показывает, что не существует универсального показателя, достаточного для оценки ИИ-агента. Доля успешных задач характеризует результат, но не раскрывает качество процесса, стоимость, безопасность и устойчивость. Точность модели характеризует качество предсказаний, но не отражает способность агента корректно использовать инструменты и действовать в многошаговой среде.

Противоречия между подходами объясняются различием целей оценки. Научные бенчмарки ориентированы на сопоставимость результатов и воспроизводимость. Практические системы оценки ориентированы на бизнес-эффект, стоимость и риски. Стандарты ориентированы на системность, прослеживаемость и управление качеством на протяжении жизненного цикла.

Наиболее обоснованным является комбинированный подход. Автоматизированные метрики обеспечивают масштабируемость и регулярный контроль. Экспертная оценка позволяет учитывать содержательное качество, контекст и риски. Пользовательские исследования выявляют проблемы удобства и доверия. Мониторинг в производственной среде позволяет оценить поведение системы на реальных данных и выявить деградацию качества.

Отдельного внимания требует проблема подмены показателей. Если система оптимизируется только под долю успешных задач, она может выбирать рискованные действия, увеличивать число вызовов инструментов или игнорировать ограничения. Поэтому целевые показатели должны дополняться ограничениями по безопасности, стоимости, времени и допустимому уровню вмешательства человека.

Перспективными направлениями являются разработка отраслевых бенчмарков, стандартизация оценки агентных траекторий, создание методов оценки долгосрочной памяти и непрерывного обучения, а также интеграция метрик качества с системами управления рисками ИИ.

9. Заключение

Проведённый обзор показывает, что оценка ИИ-агентов и приложений требует многоуровневого подхода. Традиционные показатели качества программного обеспечения, определённые в ISO/IEC 25010, сохраняют значение, но должны быть дополнены метриками качества моделей машинного обучения и агентного поведения [1; 2].

Для ИИ-агентов необходима оценка успешности выполнения задач, качества планирования, корректности использования инструментов, эффективности памяти, автономности, стоимости, безопасности и устойчивости к атакам [3; 8]. Для моделей значимы точность, полнота, F1-мера, устойчивость, справедливость, объяснимость и качество данных [2; 4; 7].

Предложенная четырёхуровневая модель позволяет объединить оценку качества модели, приложения, агентного поведения и качества в эксплуатации. Такой подход обеспечивает более полную оценку, чем использование отдельной метрики успешности или точности.

Практическая ценность результатов состоит в возможности применения модели при формировании технических заданий, приёмочных испытаний, внутреннего аудита, выборе поставщиков и мониторинге ИИ-систем. Дальнейшие исследования должны быть направлены на стандартизацию оценки агентных траекторий, разработку отраслевых бенчмарков и интеграцию показателей качества с системами управления рисками ИИ.

5. Список литературы

1. ISO/IEC 25010:2023. Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model. - Geneva: ISO, 2023.
2. ISO/IEC 25059:2023. Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for artificial intelligence (AI) systems. - Geneva: ISO, 2023.
3. Capraro V. et al. Survey on evaluation of LLM-based agents // arXiv. - 2025. - URL: https://arxiv.org/html/2503.16416v1 (дата обращения: 13.10.2026).
4. ISO/IEC CD 25059. Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for artificial intelligence (AI) systems. - Geneva: ISO, 2025. - URL: https://www.iso.org/standard/88234.html (дата обращения: 13.10.2026).
5. ISO/IEC 42001:2023. Information technology - Artificial intelligence - Management system. - Geneva: ISO, 2023.
6. NIST AI Risk Management Framework (AI RMF 1.0). - Gaithersburg: National Institute of Standards and Technology, 2023.
7. Practical insights into AI system product quality evaluation // IEEE IT Professional. - 2026. - Vol. 28, № 1. - URL: https://www.computer.org/csdl/magazine/it/2026/01/11399545/2edaS4xNHUY (дата обращения: 13.10.2026).
8. Mohammadi M., Li J. Evaluation and benchmarking of LLM agents: a survey // arXiv. - 2025. - URL: https://arxiv.org/html/2507.21504 (дата обращения: 13.10.2026).
9. A survey of evaluation tools for AI assistants and agents // arXiv. - 2025. - URL: https://arxiv.org/html/2506.08800v2 (дата обращения: 13.10.2026).
10. Navigating the EU AI Act: a methodological approach to the assessment of safety-critical AI systems // arXiv. - 2024. - URL: https://arxiv.org/html/2403.16808v2 (дата обращения: 13.10.2026).
11. Towards quality assessment of AI systems: a case study // Proceedings of the 2025 Conference. - 2025. - URL: https://www.scitepress.org/publishedPapers/2025/135217/pdf/index.html (дата обращения: 13.10.2026).
12. A survey of benchmarks for CodeLLMs and agents // arXiv. - 2025. - URL: https://arxiv.org/html/2505.05283v1 (дата обращения: 13.10.2026).
13. Регламент Европейского парламента и Совета (ЕС) 2024/1689 от 13 июня 2024 г. о правилах искусственного интеллекта (Regulation on Artificial Intelligence) // EUR-Lex. - URL: https://eur-lex.europa.eu/eli/reg/2024/1689/oj (дата обращения: 13.10.2026).

6. References

1. ISO/IEC 25010:2023. Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model. Geneva: ISO, 2023.
2. ISO/IEC 25059:2023. Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for artificial intelligence (AI) systems. Geneva: ISO, 2023.
3. Capraro V. et al. Survey on evaluation of LLM-based agents. arXiv, 2025. Available at: https://arxiv.org/html/2503.16416v1 (accessed 13 October 2026).
4. ISO/IEC CD 25059. Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for artificial intelligence (AI) systems. Geneva: ISO, 2025. Available at: https://www.iso.org/standard/88234.html (accessed 13 October 2026).
5. ISO/IEC 42001:2023. Information technology - Artificial intelligence - Management system. Geneva: ISO, 2023.
6. NIST AI Risk Management Framework (AI RMF 1.0). Gaithersburg: National Institute of Standards and Technology, 2023.
7. Practical insights into AI system product quality evaluation. IEEE IT Professional, 2026, vol. 28, no. 1. Available at: https://www.computer.org/csdl/magazine/it/2026/01/11399545/2edaS4xNHUY (accessed 13 October 2026).
8. Mohammadi M., Li J. Evaluation and benchmarking of LLM agents: a survey. arXiv, 2025. Available at: https://arxiv.org/html/2507.21504 (accessed 13 October 2026).
9. A survey of evaluation tools for AI assistants and agents. arXiv, 2025. Available at: https://arxiv.org/html/2506.08800v2 (accessed 13 October 2026).
10. Navigating the EU AI Act: a methodological approach to the assessment of safety-critical AI systems. arXiv, 2024. Available at: https://arxiv.org/html/2403.16808v2 (accessed 13 October 2026).
11. Towards quality assessment of AI systems: a case study. Proceedings of the 2025 Conference, 2025. Available at: https://www.scitepress.org/publishedPapers/2025/135217/pdf/index.html (accessed 13 October 2026).
12. A survey of benchmarks for CodeLLMs and agents. arXiv, 2025. Available at: https://arxiv.org/html/2505.05283v1 (accessed 13 October 2026).
13. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). EUR-Lex. Available at: https://eur-lex.europa.eu/eli/reg/2024/1689/oj (accessed 13 October 2026).