Что не так с "национальностью" вузов?

У нас в стране статус национального имеют 118 высших учебных заведений (более 50%).

Что такое «национальный» вуз?

Согласно Закону Украины «О высшем образовании», университета, академии, института независимо от формы собственности может быть предоставлен статус национального (статья 29). «Установление соответствия деятельности национального учреждения высшего образования определенным критериям для подтверждения или лишения его такого статуса осуществляется раз в семь лет Национальным агентством по обеспечению качества высшего образования».

У него приоритетное перед другими вузами право на получение бюджетных средств на науку, право на свои нормы времени учебной работы для преподавателей, на применение собственных образовательных программ.

Критерии

То, каким критериям должен соответствовать вуз для того, чтобы быть национальным, определен постановлением КМУ №912 от 22 ноября 2017 года.

Критерии сравнительные и среди них есть так называемые наукометрические, а именно:

• Показатель 8: среднее значение показателей индексов Гирша научно-педагогических и научных работников (НПНП) в наукометрических базах Scopus, Web of Science, других наукометрических базах, признанных МОН, приведенное к количеству НПНП заведения;
• Показатель 9: количество НПНП, имеющие не менее пяти публикаций в периодических изданиях, включенных в наукометрической базы Scopus или Web of Science, других наукометрических баз, признанных МОН, приведенная к 100 НПНП, работающих в вузах;
• Показатель 10: количество научных журналов, входящих с ненулевым коэффициентом влияния в наукометрических баз Scopus, Web of Science, других наукометрических баз, признанных МОН, выдаваемые вузами, приведено количеству специальностей, по которым осуществляется подготовка соискателей высшего образования в вузах.

Время пришло

Упомянутое постановление КМУ №912 определяет, когда именно (в каком году) будут подтверждать статус национальных. Первыми под каток попадают те, кто получил статус в 1994-1997 годах. Экзамен они будут составлять Национальному агентству по обеспечению качества высшего образования (НАЗЯВО).

В апреле 2018 ректоры этих вузов получили от МОН письмо счастья с задачей подготовиться и заполнить временную форму. К тому времени НАЗЯВО еще не было и оно как-то не пошло. Теперь НАЗЯВО, и на его сайте есть отчеты.

Правда, самих правил оценки еще нет. Проект, и он даже был размещен на сайте МОН и обсуждался, а правил нет.

Как пишут в аналитическом отчете НАЗЯВО, «... процесс создания четких« правил игры »по присвоению, подтверждения и отмены статуса« национальный »заведениям высшего образования еще не завершено. Однако, в целях выполнения Постановления КМУ от 22 ноября 2017 №912, в 2019 году НАЗЯВО впервые организовало сбор как годовых отчетов о выполнении критериев предоставления и подтверждения статуса национального учреждения высшего образования, так и форм самоанализа выполнения критериев предоставления и подтверждения статуса национального ( для формирования мониторинговой дела) ».

Вроде хорошее дело. И надо отдать должное авторам аналитического отчета, поработали они хорошо. Но, как обычно, есть куча «но». Или не потрачено тысячи человеко-часов вхолостую и не переработано тонны бумаги в макулатуру?

Что же не так с методологией?

А не то, что делаются они под ложную методологию. Не то, что эта методология не имеет официального статуса оставаясь проектом.

Университетам предлагается заполнить соответствующие таблицы и рассчитать 14 сравнительных показателей. Не будем терять время на все. Остановимся лишь на некоторых примерах науметричного характера.

Возьмем Показатель 8. Это среднее по больнице. Для оценки деятельности ученого используют индекс Худшая (по объяснению Википедии, если ученый является автором пяти публикаций, три из которых процитировано по три раза, а другие две-по одному разу, то его h-индекс равен 3. Если ученый является автором п пяти публикаций, одна из которых процитирована 100 раз, а остальные четыре - по одному разу, то его h-индекс равен 1).

Так вот, показатель 8 рассчитывается следующим образом: берем всех НПНП университета из баз Scopus и WoS, скорбим их индексы Худшая и делим на количество всех университетских ученых, то есть включая и тех, кто никогда не публиковался в журналах из этих баз и не имеет индекса вообще .

Демонстрирующий Показатель 8? Которые на его основании можно сделать выводы? Как будем лечить пациента?

Показатель 9 относительно простой и менее странный. Это количество НПНП, имеющие не менее пяти публикаций в журналах с Scopus или Web of Science, других наукометрических баз, признанных МОН, деленная на общее количество НПНП университета. Показатель может и менее странный но дающий возможность творческого подхода к его расчета. Ученый может иметь такое количество публикаций и в журнале со Scopus, и в журнале с WoS (к тому же журналы, которые одновременно присутствуют в обеих базах). Так почему бы его не счесть дважды.

Фантазия также может разгуляться и благодаря творению МОН - «Другие наукометрические базы», ​​так какие они - никто не знает. Ну, и еще вопрос: для чего полученное значение умножать на 100 ученых? Для того, чтобы полученное число не было очень малым и не давало покоя глаз? Тогда следовало бы умножить на 1000.

Кстати, в качестве примера и основание для размышлений. Ученые КНУ им. Тараса Шевченко всего опубликовали в журналах с Scopus примерно 16000 статей. Семь ученых университета имеют 2000 публикаций в этой базе данных научного контента. Опять среднее по больнице?

Показатель 10 вроде корректный, но ... Почему количество журналов следует соотносить с количеством специальностей, по которым осуществляется подготовка соискателей высшего образования в университете. Опять же, о которых другие наукометрические базы идет речь? А почему с ненулевым коэффициентом влияния, если сам факт включения журнала на индексирование в Scopus или Web of Science- уже достижение.

И чем отличается немного ненулевой от нулевого? Давайте уже тогда учитывать квартиль журнала в базе. А что такое вообще импакт-фактор? И что значит «... выдаваемых учреждением высшего образования»? То есть университет может не быть учредителем, может не иметь отношения к редакционной совета журнала, а выполнять рольвидавця и иметь показатели? Сколько вопросов и где ответы? Пожалуй, особенно любознательным они предоставлялись в телефонном режиме с МОН.

Что не так в отчетах?

Не следует, конечно, всех под одну гребенку, но нашлись среди тех, кто готовил соответствующие отчеты в университетах, люди творческие. К сожалению, в НАЗЯВО, при подготовке своего отчета, это творчество не заметили, хотя указывают, что проводилась базовая верификация данных. А она дала просто вопиющие результаты.

Наиболее креативно для расчета упомянутых показателей 8, 9 и 10 подошли в Национальном университете биоресурсов и природопользования Украины. Да, у них самый высокий показатель по средне-больничной индекса Хуже - 2,26.

Это при том, что в Харьковском национальном университете имени Каразина - 1,53, Черновицком национальном университете имени Федьковича - 1,23, Киевском национальном университете имени Шевченко - 1,64 ...

Можно, конечно, воспользоваться услугами непосредственного самого Scopus и попробовать самому установить общую картину, но смысла в этом нет. Это будет то же самое трата времени, как и при создании отчетов университетами. Но достаточно, например, зайти на сайт такого проекта, как «Библиометрика украинской науки» и увидеть, что лидерами по количеству профилей в Scopus Национальный технический университет «Харьковский политехнический институт» (381), Харьковский национальный университет радиоэлектроники (245), Ужгородский национальный университет (240), Национальный технический университет Украины «Киевский политехнический институт имени Игоря Сикорского» (228) ... Похоже, именно в них были наибольшие шансы стать здесь лидерами.

По количеству ученых с численностью приличных публикаций более пяти в них (в НУБиП) показатель равен 56,47, а в упомянутых коллег - 12,91; 2,88 и 3,15 соответственно.

Лидером в этом стал Национальный медицинский университет имени Богомольца, который продемонстрировал показатель на уровне 83,65. Как они это сделали, никого не удивило. На втором месте - Луцкий национальный технический университет - 79,31. Также, разве не странно?

Что касается журналов, то и здесь НУБиП не отстает. Этот показатель у него равен 0,53. И это второе место. И это при том, что практически во всех нуле или близко к нулю. На первом месте Национальный технический университет «Днепровская политехника» с результатом 0,92. Вот здесь, как сказал бы Станиславский, верю. Но почему бы не проверить.

Печальные нули по своим журналами в Scopus и Web of Science демонстрируют Киевский национальный университет имени Шевченко, Днепровский национальный университет имени Гончара, Национальный медицинский университет имени Богомольца и тому подобное.

В то же время, показатель за такими журналами в Глуховском национальном педагогическом университете имени Довженко равен 0,11, Киевский национальный лингвистический университет имеет 0,33, Киевский национальный торгово-экономический университет - 0,32, Луганский национальный университет имени Шевченко - 0,14, Львовская национальная академия искусств - 0,14, Николаевский национальный аграрный университет - 0,11, Сумской национальный аграрный университет - 0,24 (?).

Нельзя не обратить внимания на Национальную академию руководящих кадров культуры и искусств. По среднему индексу Гирша академия демонстрирует результат на уровне 1,3, по количеству ученых с количеством публикаций более пяти - 11,8, по журналам - 0,1. Здесь один журнал, который был в Web of Science, несомненно, вывел их в лидеры.

И такого добра в отчетах сколько угодно. Было бы желание и время поискать.

НАЗЯВО в аналитическом отчете пишет, что наукометрические показатели не имели такого влияния на общий результат ЗВО, как количество иностранных студентов и объектов права интеллектуальной собственности. Не имели, однако здесь дело принципа.

И что?

В итоге имеем отчеты и показатели, которые нельзя ни для чего применить. Разве что университеты получили определенный опыт. Только вот какие выводы они из него сделают? Особенно те, кто поверил в проект и честно (насколько это было возможно при такой методологии) разработал все данные и (!) Оказался среди аутсайдеров. Теперь имеем подмоченную сравнительными данными репутацию, кто же будет проверять и анализировать.

И кто же виноват - университеты или разработчики методологии? Вопрос риторический, хотя в отчете НАЗЯВО читаем следующее: «Оценка соответствия вузов критериям статуса национального осуществляется на основе данных, представленных самими учреждениями, согласно формы самооценки.

Такой подход содержит ряд рисков относительно качества и достоверности данных, поскольку полностью возлагается задача по введению информации на пользователей со стороны национальных вузов».

По всему выходит, что сделано определенный выхлоп в лужу. И что характерно, шум со стороны национальных учебных заведений не было слышно. Вы нам написали чушь, мы сделали алаверды. Вот теперь и будем гадать, лишат кого этого высокого статуса? Как считаете? И что же делать?

Все просто. Воспользоваться только приобретенным опытом. Создать небольшую группу разработчиков методологии (пусть ее состав будет известен научному сообществу). Обязательно включить в нее тех, кто разбирается в наукометрии. Разработать, внести изменения в нормативные акты. Избавиться отчетов в бумажном виде. Избавиться от лишних показателей и текстов. Сделать соответствующие электронные формы для заполнения университетами на сайте МОН. И все это срочно.

А еще набраться силы воли и духа государственным и образовательным вождям и лишить статуса национального половину вузов. А еще лучше - убрать его все и начать с чистого листа.

Сергей Козьменко, Людмила Остапенко