Regülasyonlar ve Akademik Yayınlar
Araştırmacılar için akademik verimlilik ölçütü tasarlamak ne kadar tartışmalı bir konu olsa da, bu ölçüt genellikle yayın sayılarına ve niteliğe dayanmaktadır. Öncelikle, bu konuyu başka ülkeler için inceleyelim. Avrupa ülkelerinin çoğunda ve Avustralya’da üniversitelerin araştırma fonlarından daha fazla pay alması için daha iyi akademik performans sergilemesi gerekiyor. Bu gereklilik üniversitelerde atanma ve yükselme işlemlerinin araştırmacıların yayın sayısı ve kalitesine bağlanmasına neden oldu. Avustralya’da sadece yayın sayılarını dikkate alan sistem araştırmacıları etki puanı düşük olan dergilere yönlendirmiş ve bir kalite kazanımı sağlayamamış (Butler, 2004). Geuna ve Martin (2003) çalışma sayısına odaklanan sistemlerin “yayın enflasyonuna” neden olduğunu söylüyor. Eğer yayın kalitesi de dikkate alınırsa, kısa vadede verimlilik artarken uzun vadede bu etki azalıyor. Bu performans sistemleri araştırmacıları yayınlanması garanti olan çalışmalara yönlendirerek yaratıcılığı öldürüyor.
Türkiye’ye geldiğimizde akademik dünyada bazı kadrolara yükselme ve atanma işlemleri uluslararası dergilere daha fazla ağırlık veren yayın sayısı kriterlerine göre yapılıyor. “1 Eylül 2000” tarihli ve 24157 sayılı Resmi Gazete’de yayımlanan “Doçentlik Sınav Yönetmeliği” ile ilk defa temel alanlar belirlendi ve her bir alan için asgari yayın kriterleri getirildi. Alanlar bazında asgari yayın sayısı değişiyor ama SCI/SSCI/AHCI tarafından taranan dergi şartı tüm alanlarda mevcut. Bu düzenlemeyle birlikte 2000 yılından sonra araştırmacı başına düşen SCI/SSCI/AHCI yayınlarda hızlı bir artış meydana gelmiş (Grafik 1). Bunu bir verimlilik göstergesi olarak kabul edersek, düzenlemenin verimliliği artırdığını düşünmek mümkün.
2000 yılında doçentlik kriterlerinde yapılan değişiklik, o dönemde doçent olanları ilgilendirmiyor. Dolayısıyla, düzenlemenin etkisi yeni giren araştırmacılar ve bu ünvanı almamış olanlarda daha belirleyici. Grafik 2a, yeni giren araştırmacılar içerisinde kişi başına düşen SCI/SSCI/AHCI yayın sayısını gösteriyor. 2000 yılıyla beraber yeni girenlerde kişi başına düşen SCI/SSCI/AHCI yayınları hızla yükselirken, diğer yayınlarda gerileme görülüyor. Düzenleme sonrası, yeni giren araştırmacıların endeksli yayınlarının payı %70’lerin üstüne çıkmış (Grafik 2b). Referans olması için yeni girenlerin SCI/SSCI/AHCI yayın oranını mevcut araştırmacıların SCI/SSCI/AHCI oranından çıkardığımızda Grafik 2c’yi elde ediyoruz. Yani yeni girenler bekleneceği üzere regülasyon değişikliğine daha güçlü cevap vermiş gibi görünüyor.
Söz konusu düzenlemede SCI/SSCI/AHCI kapsamındaki dergilerde yapılması gereken yayın sayısı alanlar bazında 2 ile 3 arasında değişiyor. Ancak, ortalamada 3’e daha yakın. Bu düzenleme henüz doçent ünvanı almamış araştırmacıları etkiliyor. Dolayısıyla, düzenlemeden etkilenen ve etkilenmeyen araştırmacıları birbirine kıyaslayarak, düzenlemenin yarattığı etkiyi gözlemleyebiliriz. Scopus ve MAG verisinde araştırmacıların ünvanlarına dair bir bilgi bulunmuyor. Ünvan bilgisi halka açık şekilde sistematik olarak herhangi bir yerde de sunulmuyor. Dolayısıyla burada, “Araştırmacıların Verimliliği” başlıklı blog yazımızda daha detaylı değindiğimiz atanma/yükselme regülasyonlarına dayanarak varsayım yapmak durumundayız. Bu düzenlemeden etkilenen araştırmacılar 2000 yılı itibarıyla akademik yaşı (deneyimi) 12 yıldan ve SCI/SSCI/AHCI yayın sayısı 3’ten az olan araştırmacılardan oluşuyor. Diğer araştırmacılar ise etkilenmeyen grupta. Ancak, etkilenen araştırmacıları, dışarıda kalan tüm araştırmacılarla kıyaslarsak yanıltıcı sonuçlar elde ederiz. Çünkü, verimlilik akademik yaş ile beraber düşüyor. Bu sebeple, aynı yaş grubu içerisinde kalan (12’den küçük) ve SCI/SSCI/AHCI yayın sayısı 3 veya daha fazla olan, yani doçentlik için asgari yayın şartlarını halihazırda sağlayan araştırmacıları ele alalım. Grafik 3, her iki grup için ortalama yayın sayısındaki değişimi gösteriyor. 1996 yılı değerini iki grup için de 1’e sabitledik. 1996-2000 dönemindeki hareket paralel. 2000 yılında ise müdahale grubunda, düzenlemenin asıl etkilediği grupta, hızlı bir artış var.
Şimdi 2000 yılında yapılan düzenlemenin net etkisini farkların-farkı (difference-in-differences) analizi ile ölçelim. Bu analizde müdahale grubunu, düzenlemeden etkilenen araştırmacılar (2000 yılı itibarıyla akademik yaşı 12 yıldan ve SCI/SSCI/AHCI yayın sayısı 3’ten az olan) araştırmacılardan oluşturduk. Kontrol grubu ise düzenlemeden etkilenmeyen araştırmacıları (akademik yaşı 12’den az ve SCI/SSCI/AHCI yayın sayısı 3 ve daha fazla olan) kapsıyor.
Farkların farkı analizi için aşağıdaki regresyon modelini oluşturduk.
müdahale_i: i araştırmacısı müdahale grubunda ise 1’e, kontrol grubunda ise 0’a eşit
2000_sonrası_t: t>2000 ise 1’e, değilse 0’a eşit
y_it: i araştırmacısının t yılındaki yayın sayısı (verimlilik göstergesi)
u_it: Hata terimi
Burada, müdahale_i*2000_sonrası_t etkileşim terimi düzenlemenin net etkisini ölçüyor. Regresyon sonuçlarına göre, 3 yıllık simetrik pencerede, 2000 yılında yapılan düzenleme SCI/SSCI/AHCI yayınlarını yıllık ortalama 0,17 adet arttırıyor. Bu artış örneklem ortalamasına göre yaklaşık %28 artışa tekabül ediyor (örneklem ortalaması 0,60). Dolayısıyla, söz konusu düzenlemeyle birlikte araştırmacılar SCI/SSCI/AHCI tarafından taranan dergileri daha fazla tercih etmeye başlamış. Peki, bu dergilere ağırlık verilmesi yayınların niteliğine ne derecede yansımıştır? Bilimsel çalışmaların yayınlandıkları dergilerin etki puanını kalite göstergesi olarak kabul ettik. Etki puanlarını disiplinler arası karşılaştırılabilir hale getirmek için her bir alana ait maksimum ve minimum değerleri belirleyerek [0,1] arasına normalize ettik. Söz konusu endeksli dergilerde yapılan yayınların yaklaşık %95’i normalize etki puanı 0,15’ten az olan dergilerde yapılmış. Grafik 4, [0,0,15] aralığında 1996-2000, 2001-20005 ve 2006-2015 olmak üzere üç dönem için normalize etki puanı dağılımlarını gösteriyor. 2001-2005 yıllarında normalize etki puanı dağılımı düşük tarafa (grafiğin solu) daha fazla yığılmış durumda. Başka bir deyişle, SCI/SSCI/AHCI yayın sayıları artıyor; ancak, araştırmacılar etki puanı düşük dergilere yöneliyorlar. Bu durum da bizlere 2000 yılı doçentlik kriterleri düzenlemesinin kalite kazanımı sağlayamadığını gösteriyor.
Türkiye’de yükseköğretim sisteminde yapılan düzenlemelerin yanı sıra destek programları da uygulanmıştır. Bunların en önemlilerinden biri TÜBİTAK tarafından 1993 yılında başlatılan Uluslararası Bilimsel Yayınları Teşvik (UBYT) Programı. Bu programın amacı Türkiye’de üretilen bilimsel çalışmaların
niteliğinin ve görünürlüğünün artırılması. Programın ilk yıllarında fen bilimleri, mühendislik ve tıp alanları desteklenmiş. 2006 yılında alınan kararla sosyal bilimler de destek kapsamına dahil edilmiş. Grafik 5, yıllar itibarıyla SCI (SCIE dahil) ve SSCI/AHCI yayın sayılarının değişimini gösteriyor. 2006 yılından sonra SSCI/AHCI yayınları ciddi bir ivmelenme ile 2001 yılındaki seviyenin 7 katını aşıyor.
Şimdi, 2006 yılındaki düzenlemenin etkisini farkların-farkı analizi ile ölçmeye çalışalım. SCI yayınları müdahale grubumuzu, SSCI/AHCI yayınları da kontrol grubumuzu oluştursun. 2001-2015 dönemi için aşağıdaki regresyon modelini çalıştıralım.
y_it: t yılında i endeksi tarafından kapsanan yayın sayısı
müdahale_i: i SSCI/AHCI ise 1’e, SCI ise 0’a eşit
2000_sonrası_t: t>2000 ise 1’e, değilse 0’a eşit
u_it: Hata terimi
Frakların-farkı analizi sonuçlarına göre, 2006 yılında teşvik programında yapılan değişikliğin etkisiyle sonraki 9 yıllık dönemde SSCI/AHCI yayınları, SCI yayınlarına oranla, ortalamada %55 daha fazla artmış. Peki, 2000 yılı doçentliğe ilişkin yapılan düzenlemenin aksine UBYT programı bir kalite kazanımı sağlayabilmiş mi? Benzer şekilde, normalize etki puanı dağılımına bakalım. 2006-2015 döneminde 2001 2005 dönemine göre SSCI/AHCI dergilerinde yapılan yayınların kalite dağılımı daha fazla sol tarafta yoğunlaşmış (Grafik 6). Dolayısıyla, UBYT destek programı da kalite kazanımı konusunda katkı yaptığını göremiyoruz.
2000 yılı Doçentlik Sınav Yönetmeliği ve TÜBİTAK tarafından başlatılan UBYT programı uluslararası saygın endeksli dergilerdeki yayın sayısını artırmış. Ancak, bu artışın etkisi kısa süreli olurken bilimsel yayınların kalitesinde herhangi bir kazanım sağlayamamış. Araştırmacıların atanma ve yükselme için gerekli olan asgari yayın şartlarını sağlayabilmek adına kalitesi daha düşük dergilere yoğunlaştıkları görülüyor. Söz konusu asgari şartlar aslında araştırmacıların hedefi haline dönüşme olasılığı da risk oluşturuyor. Araştırma performansını artırabilmek belirli sayılarda yayın yapma zorunluluğu yerine teşvik programlarına, bilim üretme ortamının iyileştirilmesine, ders yüklerinin azaltılmasına, araştırma kaynaklarının artırılmasına ağırlık verilmelidir.
Not: SCI yayınlara SCI-Expanded tarafından taranan dergiler de dahil edildi.
Referanslar:
Butler, Linda, “What happens when funding is linked to publication counts?,” in “Handbook of quantitative science and technology research,” Springer, 2004, pp. 389–405
Geuna, Aldo ve Ben R Martin, “University research evaluation and funding: An international comparison,” Minerva, 2003,41(4), 277–304.
