Тесты на когнитивные способности ВККС хочет получить в декабре 2024 года: известны требования и условия Комиссии

Высшая квалификационная комиссия судей сообщила, какие именно ей нужны тесты на когнитивные способности и на каких условиях.

Напомним, что, прежде всего программное обеспечение и тестовые задания ВККС нужны для использования во время уже объявленных конкурсов на должности судей апелляционных судов и судей Высшего антикоррупционного суда.

Согласно решению ВККС, Комиссия планирует закупить лицензию для бессрочного использования уже созданного программного обеспечения (компьютерной программы), которое будет использоваться для тестирования судей и кандидатов на должность судьи относительно уровня их когнитивных способностей с возможностью изменения кода продукта в случае дальнейшего усовершенствования или изменения алгоритма тестирования или изменений в законодательстве и т. д.

Предельный срок внедрения программного обеспечения – 15 ноября 2024 года, а предельный срок передачи Комиссии первого набора тестовых заданий для проведения тестирования – 10 декабря 2024 года.

По определению ВККС, когнитивные способности – это способность воспринимать, понимать, запоминать, осмысливать, делать выводы из имеющейся информации и решать проблемы/задачи, принимая обоснованные решения, учитывая имеющуюся информацию. Это также способность разбирать сложные проблемы на составные части, устанавливать причинно-следственные связи.

Требования к программному обеспечению

Программное обеспечение должно быть совместимо с широко используемым компьютерным оборудованием и программным обеспечением (минимальные требования: операционная система Windows или Linux, поддержка Google Chrome или Opera), предусматривать степень защиты информации и возможность периодического обновления.

Тестирование должно проводиться в помещении Комиссии.

Программное обеспечение должно устанавливаться на отдельном сервере с использованием локальной сети, не подключенной к сети Интернет.

Программное обеспечение и соответствующее оборудование при тестировании должны обеспечивать:

• логирование всех действий пользователей и администраторов сети, а также набора конкретных тестовых заданий, полученных каждым из конкурсантов, ответов конкурсанта, даты и времени проведения тестирования, общего балла каждого конкурсанта;

2) невозможность копирования библиотеки тестовых заданий;

3) невозможность сохранения или переноса библиотеки тестовых заданий на другие накопители (в т. ч. на сервер);

4) невозможность просмотра тестов иначе, чем во время прохождения теста участником конкурсной процедуры;

5) невозможность доступа к сети неавторизованных пользователей;

6) невозможность подсоединения к элементам сети каких-либо накопителей или другого оборудования;

7) уничтожение кэша после тестирования;

8) использование ПО в замкнутом и защищенном сетевом контуре без доступа к сети Интернет;

9) сохранение истории системных событий и действий пользователей;

10) использование разных типов тестов (текстовые, графические);

11) повышение или снижение сложности вопросов в зависимости от результатов тестирования;

12) контроль времени тестирования;

13) статистика результатов оценивания;

14) интерфейс на украинском языке;

15) автоматический подсчет баллов и формирование отчета сразу после окончания тестирования;

16) индивидуализированный доступ, исключение одновременного входа другого пользователя экзамена;

17) возможность одновременного тестирования неограниченного количества кандидатов.

Кроме того, Комиссия также хочет получить:

- комплект эксплуатационной и пользовательской документации;

- обучение пользователей работе в компьютерной программе;

- помощь в создании информационных материалов и загрузке (установке) их в программное обеспечение;

- сопровождение процесса тестирования и оценки знаний и навыков сотрудников Комиссии в течение 6 месяцев с даты внедрения ПО;

- поставка ПО в виде виртуальной машины;

- взаимодействие и координация действий с компанией, разрабатывающей библиотеку тестовых заданий;

- гарантийное обслуживание ПО в течение 12 месяцев с даты подписания акта приемки-передачи услуг.

Требования к тестовым заданиям для тестирования когнитивных способностей

Что касается самих тестов, то в ВККС хотят, чтобы это была «уникальная, созданная специально по запросу ВККС библиотека заданий для тестов на проверку когнитивных способностей».

Разработчик тестовых заданий должен иметь документально подтвержденный опыт выполнения аналогичного (аналогичных) услуг относительно предмета закупки договора (договоров).

В подтверждение этого критерия разработчик тестов должен предоставить:

аналогичные относительно предмета закупки договоры, выполненные в полном объеме (конструирование тестов на заказ и/или проведение оцениваний (не менее 2 тестирования/оценки) с подтверждающими документами (акты предоставленных услуг и/или положительное письмо-отзыв от контрагента) о полном выполнении этих договоров).

Что касается библиотеки (базы) тестовых заданий, то она должна быть передана в бессрочное пользование Комиссии физически (на электронном носителе) и не использоваться (как до, так и после передачи) для проведения тестирования в любом другом учреждении или организации в частном или публичном секторе.

Разработчик должен обеспечить конфиденциальность и нераспространение любым способом библиотеки тестовых заданий. 

Вместе с библиотекой (базой) тестовых заданий Комиссии передается перечень вопросов тестирования, который обнародуется в соответствии с частью четвертой статьи 74 Закона Украины «О судоустройстве и статусе судей».

Содержание такого перечня вопросов предварительно должно быть согласовано с Комиссией для предотвращения возможной утечки информации о содержании указанной библиотеки (базы).

Впрочем, имущественные права или права на интеллектуальную собственность (авторское право) на библиотеку тестовых заданий Комиссии не передаются.

Однако ВККС все же получает исключительное право на использование библиотеки тестовых заданий, не ограничиваясь временем, территорией, а также исключительные права на воспроизведение, переработку, распространение и интерактивный доступ.

Продолжительность теста (обеих указанных выше составляющих) составляет 30 минут.

Количество вопросов теста для каждого кандидата составляет 40 (комбинация двух вышеуказанных аспектов).

Подробная компоновка задач определяется Комиссией на основании рекомендаций разработчика. Предварительная пропорция задач для оценки логического мышления составляет 50% общего количества задач, вербального мышления – 50% от общего количества задач.

Формирование и обновление библиотеки тестовых заданий осуществляется следующими этапами:

Этап 1 (библиотека 240 задач) – до 10 декабря 2024 года.

Этап 2 (библиотека 240 задач, 100% обновление) – до 1 июня 2025 года.

Тестовые задания должны быть разного уровня сложности – иметь три или четыре уровня сложности.

Простые задачи должны появляться в тесте первыми, сложные задачи – последними. Необходимо предусмотреть значительное количество «простых» (1-2) и ограниченное количество «сложных» (3-4) задач в общем количестве задач.

Точное количество и пропорция «простых» и «сложных» задач будут определяться по результатам пилотного тестирования как этапа проверки оптимальных параметров тестирования и дополнительных консультаций.

Задачи (и ответы на них) могут быть в текстовой или графической форме (или их комбинация).

Библиотека тестовых заданий должна обязательно пройти тестовую проверку – пилотное тестирование на определенной (статистически) группе работников Комиссии или других участников, составляющих референтную группу, подобную кандидатам на должность судьи, по отдельно определенным (в консультациях с разработчиком) социо-демографическим параметрам. 

По форме тестовые задания должны отвечать следующим критериям:

задача преподается на государственном (украинском) языке

состоит из основы (текста вопроса/картинки), ключа (текста/картинки правильного варианта ответа на вопросы) и трех или четырех дистракторов (текстов/картинок неправильных вариантов ответов на вопросы)

элементы тестового задания – основа, 3 или 4 дистрактора, обозначение типа ответа знаками «+» или «-» или словами «правильный или неправильный ответ»

ключ – вариант правильного ответа, в отдельном поле обозначается знаком «+»

должно соответствовать программе тестирования.

Автор Вячеслав Хрипун

 Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.