Proces tworzenia optymalnego koszyka

Owned by Henryk Rybinski
Last updated: Apr 14, 2022
3 min read

  1. Optymalizator jest jedynie symulacją - dyscyplina dostanie wskazaną ocenę tylko wtedy, gdy zostanie wysłane wszystko to, co optymalizator wskazuje.

  2. Podstawą optymalizacji udziałów są rekordy zatrudnienia, a nie oświadczenia, a przecież brak oświadczeń spowoduje, że pewne publikacje nie zostaną wysłane

  3. W trakcie ewaluacji pojawiało się wiele błędów, głównie wynikających z braku zrozumienia zasad ewaluacji przez autorów, pomyłek redaktorów, także błędów po stronie PBN

  4. Szereg ostatecznych decyzji musi zapaść w gronie koordynatorów, a niektóre podejmuje koordynator ewaluacji (proponowana nowa rola)

 

Funkcjonalność optymalizacji (w tym także optymalizacji udziałów) może być wykorzystywana w całym okresie ewaluacji. Zasadniczym celem jest w takim przypadku analiza postępów w przyrastaniu dorobku, wyszukiwanie słabych punktów w dyscyplinie, a także symulacja rozmaitych wariantów przypisywania dyscyplin do publikacji. Natomiast w ostatniej fazie ewaluacji, zwykle w ostatnim miesiącu okresu ewaluacji można przystąpić do budowania ostatecznego koszyka. Ostateczny koszyk powinien uwzględniać kompromisy przydziałów publikacji do sąsiadujących dyscyplin, a także możliwości uzyskania oświadczeń w tych udziałach, które mają dużą wartość, ale z jakichś względów dotąd pozostawały nieoświadczone (przejście naukowca na emeryturę, zmiana afiliacji, itp.). Poniżej przedstawiamy ogólny schemat postępowania, w którym uwzględniamy wszystkie możliwości modułu ewaluacji:

  1. zbudowanie koszyka optymalnego

  2. optymalizacja udziałów

  3. weryfikacja możliwości wycofania proponowanych udziałów oraz ewentualnego przeniesienia niektóych udziałów pomiędzy dyscyplinami

  4. wycofanie udziałów na profilach wytypowanych naukowców, ewentualne przepisanie udziałów do innych dyscyplin

  5. aktualizacja oświadczeń w PBN

  6. ponowne wygenerowanie koszyka optymalnego (po wycofaniu udziałów) i zweryfikowanie ostatecznych oświadczeń

  7. czyszczenie oświadczeń w PBN

  8. Porównanie koszyków SEDN i Bazy Wiedzy

Po wykonaniu kroków (1) i (2) należy ustalić, czy optymalizacja udziałów istotnie poprawia wynik oceny dyscypliny. Warto tu także przeanalizować, na ile wykorzystane są udziały doktorantów, a także czy maja oni wartościowe publikacje wspólne z promotorami, którzy istotnie przekroczyli limity 4-ch slotów. Jeżeli zysk z zastosowania optymalizacji udziałów jest istotny i w naszej ocenie może mieć istotny wpływ na wynik ewaluacji, należy zweryfikować, na ile realne jest uzyskanie ponownych udziałów od osób, które wytypowane zostały do wycofania niektórych swoich udziałów (krok 3). Oznacza to w praktyce rozmowę z wytypowanymi naukowcami i ich deklarację gotowości do wycofania udziałów.

Uwaga:

  1. zysk z zastosowania algorytmu wycofania udziałów jest mocno zależny od struktury danych. Zwykle jest to poprawa o ok 2-3%, ale w niektórych przypadkach może sięgać nawet 8% (jest dużo prac wieloautorskich, w których współautorami są zarówno osoby mające duży dorobek (przekraczający 4 sloty), jak też osoby z niewielkim dorobkiem (np. doktoranci).

  2. O ile wycofanie udziałów przez poszczególnych naukowców jest zidentyfikowane przez algorytm, to przenoszenie udziałów pomiędzy dyscyplinami wymaga analizy dorobku osób deklarujących 2 dyscypliny. W takim przypadku należy zweryfikować zakładkę Ewaluacja w ich profilach i sprawdzić, czy rozdzielenie udziałów pomiędzy dyscyplinami jest adekwatne do liczby slotów wynikających z rekordów zatrudnienia.

Krok (4) jest realizowany w profilach naukowców w zakładce Ewaluacja (por. ). Wykonanie tego kroku skutkuje wysłaniem powiadomień do autorów z informacją o konieczności wygenerowania nowego oświadczenia nr. 3.

Wytypowani autorzy (którzy wcześniej zaakceptowali wycofanie udziałów) ponownie generują swoje oświadczenia (krok 5). Dzięki temu algorytm importu udziałów do PBN identyfikuje nowe rekordy, które należy wysłać, to pozwala redaktorom wysłać korektę udziałów do PBN (krok 5).

Po upewnieniu się, że udziały przyjęły ostateczną formę, należy ponownie wygenerować optymalny koszyk dorobku w danej dyscyplinie (krok 6). Szczególnie należy zwrócić uwagę na to czy

  1. wszystkie udziały w koszyku optymalnym są faktycznie poświadczone

  2. wszystkie udziały w koszyku optymalnym mają status pomyślnie wysłanych do PBN

Można to łatwo zweryfikować generując excel koszyka optymalnego i weryfikując kolumny oświadczeń i statusu wysłania do PBN (por. ).

Uwaga: W tej fazie, o ile planowane udziały zostały wycofane, optymalizacja udziałów nie może przynieść już istotnego zysku a otrzymany koszyk optymalny będzie tym bliższy optimum otrzymanemu w kroku (2), im bliżej są listy faktycznie wycofanych udziałów i udziałów sugerowanych w kroku (2).

Fakt, że wykonane zostały wszystkie dotychczasowe kroki (1-6) nie gwarantuje porównywalnego wyniku po stronie SEDN. Przyczyny są następujące:

  1. stan oświadczeń w bazie wiedzy, nawet jeżeli wszystkie zostały wysłane do PBN, nie musi być zgodny ze stanem w PBN, ponieważ w bazie PBN mogą zaistnieć oświadczenia, które nigdy nie były wysłane przez moduł importera, lub też znalazły się tam z powodu błędów w trakcie importu (np. PBN oznaczył pozytywne przesłanie danych, ale nie zmodyfikował tego w swojej bazie z powodu awarii/błędu).

  2. moduł optymalizacji koszyka w SEDN działa inaczej niż algorytm bazy wiedzy.

Dlatego niezbędne jest wykonanie kroku (7) (por. ).

Ostatnim krokiem jest zweryfikowanie różnic pomiędzy optymalnymi koszykami w bazie wiedzy i w SEDN. Krok ten można oczywiście pominąć, jeżeli wyniki są podobne, a ewentualne różnice w ostatecznej punktacji nie przekraczają dopuszczalnego przez nas progu.