Το impact factor υπολογίζεται από συγκεκριμένη εταιρεία, την Thomson Scientific η οποία ανανεώνει τους δείκτες για κάθε νέο έτος. Γενικά το impact factor έχει τρομακτική σημασία στην ακαδημαϊκή/επιστημονική κοινότητα καθώς καθορίζει το κύρος μιας επιστημονικής επιθεώρησης και κατά αυτό τον τρόπο χρησιμοποιείται ως ένα μέτρο αξιολόγησης της δουλειάς ενός επιστήμονα το οποίο με τη σειρά του μπορεί να καθορίσει κονδύλια και ακαδημαϊκές θέσεις. Είναι εύλογο ότι κάθε επιθεωρήση επιθυμεί να διατηρεί ένα υψηλό impact factor διότι πολύ απλά ο δείκτης αυτός έχει εξισωθεί με την ποιότητα της επιθεώρησης. Κατά πόσο όμως το impact factor μπορεί να θεωρηθεί μέτρο ποιότητας και μέτρο σύγκρισης;
 

Το impact factor παρουσιάζει αρκετά προβλήματα όταν επιχειρούμε να το χρησιμοποιήσουμε για να αξιολογήσουμε μια επιθεώρηση.¹ Ας αρχίσουμε από το ίδιο το κλάσμα. Ηθελημένα έκανα μια παράλειψη στον ορισμό. Ο παρονομάστής αναφέρει «δημοσιεύσεις στην επιθεώρηση Χ το 2004-2005», δηλαδή το σύνολο των δημοσιεύεσεων για το χρονικό αυτό διάστημα. Όμως δε λαμβάνονται υπόψιν όλες οι δημοσιεύσεις που φιλοξενούνται σε μια επιθεώρηση. Συγκαταλέγονται μόνο οι δημοσιεύσεις που κρίνει η Thomson Scientific ότι είναι άξιες για αναφορά. Σε πολλές επιθεωρήσεις περιλαμβάνονται και δημοσιεύσεις οι οποίες δεν είναι πρωτότυπες εργασίες ή ανασκοπήσεις αλλά ειδήσεις, σχολιασμοί (editorials) κ.ά. τα οποία κατά κανόνα δε συμπεριλαμβάνονται υπόψιν στον παρονομαστή. Παρόλα αυτά κάποιοι σχολιαμοί μπορεί να λάβουν αναφορά από άλλα έντυπα και επομένως ο αντίκτυπος μιας επιθεώρησης να υποεκτιμηθεί κατά αυτό τον τρόπο. Όμως το πρόβλημα δεν εντοπίζεται μόνο σε τέτοιου είδους δημοσιεύσεις αλλά μπορεί να περιλαμβάνει και πρωτότυπες εργασίες. Σε πολλές περιπτώσεις επιθεωρήσεις περιλαμβάνουν εργασίες ή οποίες υποβαθμίζονται ηθελημένα έτσι ώστε να μην συμπεριληφθούν στον παρονομαστή. Αυτό επιτυγχάνεται με διάφορους τρόπους π.χ. δε διαθέτουν τα άρθρα αυτά περίληψη (abstract) ή είναι εξαιρετικά μικρά σε έκταση ή έχουν πολύ λίγες βιβλιογραφικές αναφορές. Κατά αυτό τον τρόπο η Thomson Scientific μπορεί να κρίνει ότι οι δημοσιεύσεις αυτές δεν είναι «άξιες» για αναφορά και κατά αυτό τον τρόπο μικραίνει ο παρονομαστής και ενδεχομένως αυξάνεται το κλάσμα (λέω ενδεχομένως γιατί μπορεί το συγκεκριμένο άρθρο που υποβαθμίστηκε να πετύχει πολλές αναφορές και έτσι η επιθεώρηση να χάσει την ευκαιρία να αυξήσει το impact factor, αλλά αυτό είναι σχετικά σπάνιο).
 

Πρόβλημα εντοπίζεται επίσης στον αριθμητή. Όσο μεγαλύτερος είναι ο αριθμητής σε σχέση με τον παρονομαστή, τόσο μεγαλύτερο είναι το κλάσμα. Επομένως οι συντάκτες (editors) των επιθεωρήσεων σε αρκετές περιπτώσεις ασκούν πίεση στους συγγραφείς να κάνουν αναφορές σε δημοσίευσεις της επιθεώρησής τους ώστε να αυξηθεί το κλάσμα. Από την άλλη μεριά οι ίδιοι οι συγγραφείς ενός άρθρου νιώθουν ότι περιλαμβάνοντας πολλές αναφορές στη βιβλιογραφία στη συγκεκριμένη επιθεώρηση μπορούν να αυξήσουν την πιθανότητα το άρθρο τους να γίνει αποδεκτό από τους συντάκτες. Υπάρχουν βέβαια και άλλα «παραθυράκια» για να αυξήσει κανείς το impact factor μέσω του αριθμητή. Αυτό το παραθυράκι είναι να περιλαμβάνονται πολλές ανασκοπήσεις στην επιθεώρηση. Ενδεικτικά αναφέρουμε ότι οι επιθεωρήσεις με το μεγαλύτερο impact factor είναι έντυπα που περιέχουν μόνο ανασκοπήσεις όπως το Physiological Reviews με impact factor που κυμαίνεται στο 37. Όπως καταλαβαίνει κανείς είναι άδικο να συγκρίνει κανείς μια επιθεώρηση που περιλαμβάνει ποιοτικές πρωτότυπες εργασίες με μια που δημοσιεύει μόνο ανασκοπήσεις με βάση το impact factor. 
 

Υπάρχουν όμως και άλλα σημαντικά προβλήματα που προκύπτουν στον αριθμητή. Ο αριθμός των αναφορών δεν αντικατοπτρίζει υποχρεωτικά και την αξία μιας δημοσίευσης αλλά περισσότερο τη δημοτικότητά της. Για παράδειγμα μια δημοσίευση στο σακχαρώδη διαβήτη ή το AIDS μπορεί να συλλέξει πολύ περισσότερες αναφορές σε σχέση με μια δημοσίευση πάνω στο οστεοσάρκωμα άσχετα από την ποιότητα της έρευνας, μόνο και μόνο διότι τόσο ο διαβήτης όσο και το AIDS είναι πολύ πιο δημοφιλή αντικείμενα από το οστεοσάρκωμα. Βέβαια ο ίδιος ο όρος impact factor υπονοεί ότι αξιολογεί τον αντίκτυπο και όχι την ποιότητα αλλά αυτό το στοιχείο φαίνεται πολυ συχνά να λησμονείται από τους ίδιους τους ερευνητές. Επιθεωρήσεις με βιοϊατρικό περιεχόμενο έχουν γενικά υψηλότερο impact factor από επιθεωρήσεις άλλων επιστημών λόγω του μεγάλου ενδιαφέροντος που υπάρχει για την ιατρική επιστήμη. Επομένως ορθά ο δείκτης αυτό μπορεί να μετρά τον αντίκτυπο αλλά πρέπει να θυμόμαστε ότι δεν αποτελεί κριτήριο ποιότητας. Για παράδειγμα το New England Journal of Medicine έχει impact factor που κυμαίνεται γύρω στο 36-37, μεγαλύτερο από επιθεωρήσεις που παραδοσιακά δημοσιεύουν ποιοτική πρωτότυπη πολυθεματική εργαστηριακή έρευνα όπως το Science, το Nature  ή το Cell. Αυτό δεν αποδεικνύει ότι το NEJM έχει μεγαλύτερη αξία από τις προαναφερθείσες επιθεωρήσεις απλά αναδεικνύει ότι η κλινική έρευνα είναι αρκετά πιο δημοφιλής από την εργαστηριακή άσχετα από τον πραγματικό αντίκτυπο (π.χ. οι δημοσιεύσεις για τη μελέτη του ανθρώπινου γονιδιώματος έγιναν στη συντριπτική πλειοψηφία στο Science και το Nature  με τεράστιο αντίκτυπο στην επιστήμη).
 

Επίσης ένα ακόμη ενδιαφέρον στοιχείο είναι ότι στο impact factor σε πολλές περιπτώσεις δεν αντικατοπτρίζεται ο πραγματικός αντίκτυπος μιας επιθεώρησης ιδίως αν μια επιθεώρηση έχει πλούσιο διδακτικό περιεχόμενο. Μπορεί δηλαδή να έχει αντίκτυπο σε φοιτητές, ειδικευόμενους αλλά λόγω μικρού αριθμού αναφορών, το impact factor να υποβαθμίζει τη βαρύτητά του.
 

Για να αντιμετωπιστούν τα προβλήματα που προκύτπουν από τον impact factor, τα τελευταία χρόνια υπάρχει μια προσπάθεια να καθιερωθούν άλλοι δείκτες πιο αντικειμενικοί για την αξιολόγηση της ποιότητας μιας επιθεώρησης. Ένας ένας πολλά υποσχόμενος δείκτης είναι το «Y factor», δείκτης που δε λαμβάνει υπόψιν μόνο τον αριθμό των αναφορών όπως το impact factor.² Το Y factor βασίζεται σε μεγάλο βαθμό στον αλγόριθμο του Google το γνωστό PageRank. Το PageRank είναι ο αλγόριθμος που χρησιμοποιείται από το Google για την κατάταξη των αποτελεσμάτων μετά από μια αναζήτηση. Στο PageRank προσμετράται ο αριθμός των ιστοσελίδων που κάνουν link σε μια ιστοσελίδα αλλά και ο αριθμός των ιστοσελίδων που κάνουν link στις ιστοσελίδες αυτές κ.ό.κ. Κατά αυτόν τον τρόπο στην κατάταξη του Google δε μετράνε μόνο τα links που γίνονται σε μια ιστοσελίδα αλλά και ποιά ιστοσελίδα κάνει τα links (δηλαδή θα ανέβει στην κατάταξη μια ιστοσελίδα αν την κάνει link μια δημοφιλή ιστοσελίδα). Επομένως υπολογίζεται επί της ουσίας η δημοτικότητα μιας ιστοσελίδας. Οι δημιουργοί του Y factor υποστηρίζουν ότι με τον τρόπο αυτό δίνεται μια αντικειμενικότερη εικόνα της ποιότητας μιας επιθεώρησησης γιατί δε θα υπολογίζεται μόνο ο συνολικός αριθμός των αναφορών αλλά και ποιός κάνει την αναφορά. Δηλαδή μια αναφορά από έναν ερευνητή που έχει πολλές αναφορές ο ίδιος θα είναι πολύ πιο σημαντική από μια αναφορά από έναν ερευνητή ο οποίος έχει λίγες. Το Y factor δεν εγκαταλείπει πλήρως το impact factor καθώς και ο συνολικός αριθμός αναφορών θα προσμετράται, απλά δε θα είναι ο αποκλειστικός κριτής της αξίας μιας επιθεώρησης. Να θυμίσουμε ότι μέσω του Google Scholar ήδη εφαρμόζεται ένα είδος άτυπης κατάταξης δημοσιεύσεων (όχι επιθεωρήσεων) καθώς χρησιμοποιείται το PageRank.
 

Συμπερασματικά, η κατάταξη επιθεωρήσεων με βάση έναν δείκτη θα είναι πάντα μια διαδικασία μερικώς αυθαίρετη. Ίσως ο συνυπολογισμός διαφόρων δεικτών συμπεριλαμβανομένου και του impact factor να είναι μια πιο έγκυρος. Παρόλα αυτά για το προσεχές μέλλον δεν προβλέπεται καμια αξιοσημείωτη αλλαγή στον τρόπο με τον οποίο αξιολογείται η έρευνα.

Βιβλιογραφία:

1.    The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Med 2006;3(6):e291. [Full Text_PLoS Med]