Тести на когнітивні здібності ВККС хоче отримати у грудні 2024 року: відомі вимоги та умови Комісії

Вища кваліфікаційна комісія суддів повідомила, які саме їй потрібні тести на когнітивні здібності та на яких саме умовах.

Нагадаємо, що перш за все, програмне забезпечення та тестові завдання ВККС потрібні для використання під час вже оголошених конкурсів на посади суддів апеляційних судів та суддів Вищого антикорупційного суду.

Згідно з рішенням ВККС, Комісія планує закупити ліцензію на безстрокове використання вже створеного програмного забезпечення (комп’ютерної програми), яке  використовуватиметься для тестування суддів і кандидатів на посаду судді щодо рівня їх когнітивних здібностей, з можливістю зміни коду продукту у разі подальшого удосконалення або зміни алгоритму тестування, або змін у законодавстві тощо.

Граничний термін впровадження  програмного забезпечення – 15 листопада 2024 року, а граничний термін передачі Комісії першого набору тестових завдань для проведення тестування – 10 грудня 2024 року.

За визначенням ВККС, когнітивні здібності – це здатність сприймати, розуміти, запам’ятовувати, осмислювати, робити висновки із наявної інформації та розв’язувати проблеми/завдання, приймаючи рішення, які є обґрунтованими, з огляду на наявну інформацію. Це також здатність розкладати складні проблеми на складові частини, встановлювати причинно-наслідкові зв’язки.

Вимоги до програмного забезпечення

Програмне забезпечення має бути сумісним з широко використовуваним комп’ютерним обладнанням та програмним забезпеченням (мінімальні вимоги: операційна система Windows або Linux, підтримується Google Chrome або Opera), передбачати ступінь захисту інформації та можливість періодичного оновлення.

Тестування має проводитися в приміщенні Комісії.

Програмне забезпечення повинно встановлюватися на окремому сервері із застосуванням локальної мережі, що не під’єднана до мережі «Інтернет».

Програмне забезпечення і відповідне обладнання під час тестування мають забезпечувати:

1) логування всіх дій користувачів і адміністраторів мережі, а також набору конкретних тестових завдань, які отримав кожен із конкурсантів, відповідей конкурсанта, дати і часу проведення тестування, загального бала кожного конкурсанта;

2) неможливість копіювання бібліотеки тестових завдань;

3) неможливість збереження чи перенесення бібліотеки тестових завдань на інші накопичувачі ( у т.ч. на сервер);

4) неможливість перегляду тестів інакше ніж під час проходження тесту учасником конкурсної процедури;

5) неможливість доступу до мережі неавторизованих користувачів;

6) неможливість приєднання до елементів мережі будь-яких накопичувачів чи іншого обладнання;

7) знищення кешу після тестування;

8) використання ПЗ в замкнутому та захищеному мережевому контурі без доступу до мережі «Інтернет»;

9) журналювання системних подій та дій користувачів;

10) використання різних типів тестів (текстові, графічні);

11) підвищення або зниження складності питань залежно від результатів тестування;

12) контроль часу тестування;

13) статистика результатів оцінювання;

14) інтерфейс українською мовою;

15) автоматичне обрахування балів та формування звіту одразу після закінчення тестування;

16) індивідуалізований доступ, унеможливлення одночасного входу іншого користувача іспиту;

17) можливість одночасного тестування необмеженої кількості кандидатів.

Крім того, Комісія також хоче отримати:

- комплект експлуатаційної та користувацької документації;

- навчання користувачів роботі в комп’ютерній програмі;

- допомога щодо створення інформаційних матеріалів та завантаження (встановлення) їх до програмного забезпечення;

- супровід процесу тестування та оцінювання знань і навичок працівників протягом 6 місяців з дати впровадження ПЗ;

- постачання ПЗ у вигляді віртуальної машини;

- взаємодія та координація дій з компанією, яка розробляє бібліотеку тестових завдань;

- гарантійне обслуговування ПЗ протягом 12 місяців з дати  підписання акта приймання-передачі послуг.

Вимоги до тестових завдань для тестування когнітивних здібностей

Що ж до самих тестів, то у ВККС хочуть, щоб це була «унікальна, створена спеціально на запит ВККС бібліотека завдань для тестів на перевірку когнітивних здібностей».

Розробник тестових завдань повинен мати у наявності документально підтверджений досвід виконання аналогічного (аналогічних) за предметом закупівлі договору (договорів).

На підтвердження  цього критерію розробник тестів повинен надати:

аналогічні за предметом закупівлі договори, виконані у повному обсязі (конструювання тестів на замовлення та/або проведення оцінювань (щонайменше 2 тестування/оцінювання) з підтверджуючими документами (акти наданих послуг та/або позитивний лист-відгук від контрагента) про повне виконання цих договорів.

Що ж до бібліотеки (бази) тестових завдань, то вона повинна бути передана у безстрокове користування Комісії фізично (на електронному носії) та не  використовуватися (як до так і після передачі) для проведення тестування у будь-якій іншій установі або організації у приватному або публічному секторі.

Розробник повинен забезпечити конфіденційність і нерозповсюдження у будь-який спосіб бібліотеки тестових завдань. 

Разом із бібліотекою (базою) тестових завдань Комісії передається перелік питань тестування, який оприлюднюється відповідно до частини четвертої статті 74 Закону України «Про судоустрій і статус суддів».

Зміст такого переліку питань попередньо повинен бути узгоджений з Комісією задля запобігання можливому витоку інформації про зміст вказаної бібліотеки (бази).

Втім, майнові права або права на інтелектуальну власність (авторське право) на бібліотеку тестових завдань Комісії не передаються.

Однак ВККС все ж отримує виключне право на користування бібліотекою тестових завдань, не обмежуючись за часом, територією, а також виключні права на відтворення, переробку, розповсюдження та інтерактивний доступ.

Тривалість тесту (обох зазначених вище складових) складає 30 хвилин.

Кількість запитань тесту для кожного кандидата складає 40 (комбінація двох зазначених вище аспектів).

Детальна компоновка завдань визначається Комісією на підставі рекомендацій розробника. Попередня пропорція завдань для оцінювання логічного мислення становить 50 % від загальної кількості завдань, вербального мислення – 50 % від загальної кількості завдань.

Формування та оновлення бібліотеки тестових завдань здійснюється такими етапами:

Етап 1  (бібліотека 240 завдань) – до 10 грудня 2024 року.

Етап  2  (бібліотека 240 завдань, 100 % оновлення) – до 1 червня 2025 року.

Тестові завдання мають бути різного рівня складності – мати три або чотири рівні складності.

Прості завдання повинні з’являтися у тесті першими, складні завдання – останніми. Необхідно передбачити значну кількість «простих» (1-2) й обмежену кількість «складних» (3-4)  завдань у загальній кількості завдань.

Точна кількість та пропорція «простих» і «складних» завдань визначатиметься за результатами пілотного тестування як етапу перевірки оптимальних параметрів тестування та додаткових консультацій. 

Завдання (та відповіді до них) можуть бути у текстовій або графічній формі (або комбінація).

Бібліотека тестових завдань має обов’язково пройти тестову перевірку – пілотне тестування на визначеній (статистично) виборці  працівників Комісії або інших учасників, що становлять референтну групу, подібну до кандидатів на посаду судді, за окремо визначеними (у консультаціях із розробником) соціо-демографічними параметрами. 

По формі тестові завдання мають відповідати наступним критеріям:

завдання викладається державною (українською) мовою 

складається із основи (тексту запитання/картинки), ключа (тексту/картинки правильного варіанта відповіді на запитання) і трьох або чотирьох дистракторів (текстів/картинок неправильних варіантів відповідей на запитання)

елементи тестового завдання – основа, 3 або 4 дистрактори, позначення типу відповіді  знаками «+» або «-» чи словами «правильна  або неправильна відповідь»

ключ – варіант правильної відповіді, в окремому полі позначається знаком «+» 

має відповідати програмі тестування.

Автор В’ячеслав Хрипун

Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.