Thời gian cần thiết để đánh giá một công trình khoa học

Chia sẻ: Tien Dat Dat | Ngày: | Loại File: PDF | Số trang:5

Thêm vào BST

Báo xấu

84
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Scientometrics mới có một bài phân tích rất thú vị (1), vì kết quả phân tích này có thể trả lời câu hỏi: cần bao lâu để đánh giá một công trình nghiên cứu khoa học? Trả lời được câu hỏi này cũng quan trọng, vì các cơ quan cấp tài trợ và hội đồng khoa học có thể căn cứ vào đó mà đánh giá chất lượng nghiên cứu khoa học của một cá nhân. Thử tưởng tượng có hai người đang xin đề bạt chức danh [ví dụ như] assistant professor. Cả hai đều có những công trình công...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Thời gian cần thiết để đánh giá một công trình khoa học

Thời gian cần thiết để đánh giá một công trình khoa học Scientometrics mới có một bài phân tích rất thú vị (1), vì kết quả phân tích này có thể trả lời câu hỏi: cần bao lâu để đánh giá một công trình nghiên cứu khoa học? Trả lời được câu hỏi này cũng quan trọng, vì các cơ quan cấp tài trợ và hội đồng khoa học có thể căn cứ vào đó mà đánh giá chất lượng nghiên cứu khoa học của một cá nhân. Thử tưởng tượng có hai người đang xin đề bạt chức danh [ví dụ như] assistant professor. Cả hai đều có những công trình công bố trên các tập san tốt, nhưng chỉ số trích dẫn thì còn thấp. Hai ứng viên lí giải rằng vì họ mới lấy PhD 5 năm nên chưa có đủ thời gian cho trích dẫn, và rất không công bằng nếu đánh giá thành tích của họ dựa trên chỉ số trích dẫn. Lí giải này hợp lí không? Thời gian cần thiết để đánh giá một bài báo khoa học là bao lâu? Đó cũng là câu hỏi mà Viện Garvan chúng tôi đang thảo luận, và tôi được giao nhiệm vụ đi tìm câu trả lời. Có lẽ ai cũng đồng ý rằng trong hoạt động nghiên cứu khoa học, chất lượng cũng quan trọng như (hay thậm chí hơn) số lượng. Một cá nhân có thể công bố rất nhiều bài báo
khoa học, nhưng chất lượng thấp thì không thể xem tương đương với một cá nhân công bố ít bài nhưng toàn những bài “nặng kí”. Chỉ cần vài bài trên New England Journal of Medicine, JAMA, Lancet, Nature, Science, PNAS, Cell cũng xứng đáng hàng trăm bài trên Medical Journal of Australia (MJA)! Nhưng làm sao đo lường được chất lượng là một câu hỏi khó có câu trả lời dứt khoát. Chất lượng nghiên cứu là một khái niệm trừu tượng. Hay nói theo ngôn ngữ khoa học xã hội, chất lượng là một latent construct. Đã là latent thì nó rất khó mà cân đo đong đếm được. Thoạt đầu, người ta lấy tập san ra làm một thước đo, với hàm ý nói một bài trên JAMA có chất lượng hơn một bài trên MJA. Tại sao như thế? Tại vì JAMA có hệ số ảnh hưởng (impact factor – IF) cao hơn MJA. Do đó, hiểu theo cách đánh giá này, IF là một thước đo về chất lượng. Nhưng IF có vấn đề, vì nó phản ảnh uy tín của một tập san chứ không phải một công trình khoa học. Trong thực tế có những công trình công bố trên tập san xoàng (hiểu theo nghĩa IF thấp) nhưng được trích dẫn rất nhiều; ngược lại có những công trình trên Science nhưng ít ai trích dẫn hay thậm chí sai. Do đó, hầu hết giới khoa học đồng ý rằng số lần trích dẫn (citation) là một thước đo khách quan để đánh giá chất lượng một công trình nghiên cứu khoa học. Nhưng số lần trích dẫn phụ thuộc vào thời gian và chuyên ngành (hay thậm chí văn hoá ngành). Một công trình sau khi công bố đòi hỏi thời gian để đồng nghiệp xem xét và trích dẫn. Ngoài ra, có những ngành “nóng” (như miễn dịch học, di truyền học chẳng hạn) thì ngay sau khi công bố đã có người trích dẫn ngay. Như công trình nghiên cứu về gen FTO, chỉ sau 6 tháng công bố trên Science đã có trên 50 người khác trích dẫn (cho đến nay, sau 5 năm công bố, bài báo này đã được trích dẫn 1439 lần). Nhưng có những ngành như toán học thì tần số trích dẫn chẳng những thấp mà thời gian cần để trích dẫn cũng lâu hơn các ngành thực nghiệm khác. Do đó, câu hỏi đặt ra là thời gian [tính từ lúc công bố] cần thiết để có một đánh giá tương đối khách quan về tần số trích dẫn. Chúng ta biết rằng có những công trình kinh điển (như DNA của Watson và Crick), sau khi công bố dù cả mấy chục năm, mà vẫn còn được trích dẫn. Nhưng cũng có công trình chỉ được trích dẫn khi chủ đề còn “nóng” hoặc khi tác giả của nó còn … sống. Lại có những công trình không bao giờ được trích dẫn. Thật ra, con số công trình không bao giờ được trích dẫn có thể lên đến 50%. Vì thế, trả lời được câu hỏi về thời gian trích dẫn tối ưu là rất có ích. Scientometrics mới công bố một phân tích (1) nhằm trả lời câu hỏi đó. Tác giả bài này truy tìm tất cả 746,460 bài báo đăng trên các tập san có trong danh mục của ISI (Web of Science) trong năm 1980. Sau đó, tác giả tìm tất cả trích dẫn cho những bài báo đó từ 1980 đến 2010 (tức 30 năm). Sau đó, tác giả này làm như sau: (a) mỗi một bài báo, tác giả tính tổng số lần trích dẫn trong 30 năm theo dõi; (b) sau đó, tính số lần trích
dẫn trong vòng 1, 2, 3, 4, 5 năm, v.v.; (c) kế đến tác giả tính hệ số tương quan giữa số lần trích dẫn từng giai đoạn và tổng số lần trích dẫn. Nói cách khác, tác giả có 30 hệ số tương quan (r1, r2, r3, r4, … r30) để đo lường độ tương quan giữa số lần trích dẫn mỗi giai đoạn và tổng số lần trích dẫn. Tác giả lấy cái mốc rt > 0.8 là phản ảnh độ tương quan cao, và do đó lấy tlàm thời điểm cần thiết để đánh giá chất lượng một công trình khoa học. Dĩ nhiên, phân tích này phải chia theo nhóm ngành khoa học. Kết quả cho thấy thời gian và hệ số tương quan dao động khá lớn giữa các ngành khoa học. Bảng sau đây (chỉ là trích dẫn một phần của bảng 3 trong bài báo) cho thấy nếu lấy r = 0.80 là chỉ số “đáng tin cậy” để đánh giá thì thời gian 4 hoặc 5 năm có lẽ là thích hợp nhất cho đa số các ngành. Hệ số tương quan giữa số lần trích dẫn trong từng năm và tổng số lần trích dẫn Ngành 1 2n 3n 4n 5n 6n 7n 8n 10 n năm Sinh học .174 .464 .656 .752 .810 .848 .874 .893 .918 Y sinh .295 .657 .812 .873 .906 .930 .943 .953 .966 Hoá .229 .547 .739 .811 .852 .881 .899 .914 .935 Y học lâm .258 .602 .767 .844 .886 .915 .930 .942 .957 sàng KH trái đất .284 .622 .777 .851 .888 .910 .925 .937 .952 Kĩ thuật .203 .466 .636 .734 .792 .835 .861 .880 .906 Y tế .244 .488 .647 .741 .813 .861 .887 .908 .923 Nhân văn .199 .407 .541 .637 .711 .768 .804 .832 .869 Toán .171 .386 .571 .684 .750 .795 .826 .848 .883 Vật lí .307 .637 .777 .840 .873 .898 .914 .927 .945 Tâm lí .234 .534 .707 .802 .858 .892 .915 .930 .949 KH xã hội .227 .486 .636 .731 .792 .834 .864 .884 .914 Nguồn: Bảng số 3 trong (1).
Tuy nhiên, như đoán trước được, thời gian này khác biệt giữa các ngành khoa học thực nghiệm và lí thuyết. Chẳng hạn như trong ngành y sinh học (biomedical research) số lần trích dẫn trong vòng 3 năm có độ tương quan với tổng số lần trích dẫn trong 30 năm là 0.812. Như vậy, đối với y học lâm sàng, chỉ cần 3 năm là có thể đánh giá được chất lượng một công trình nghiên cứu. Nhưng các công trình ngành hoá, y học lâm sàng, khoa học trái đất, vật lí, tâm lí học thì cần đến 4 năm. Ngành nhân văn có thời gian cao nhất (7 năm) để đạt được hệ số tương quan >0.80. Bài báo còn trình bày kết quả phân tích cho những công trình “top 10%”, tức những công trình được trích dẫn nhiều nhất, nằm trong nhóm hàng đầu 10% tổng số bài báo được trích dẫn. Theo kết quả này thì những bài top 10% cần đến 9 năm mới có hệ số tương quan >0.80. Nói cách khác, để biết một công trình có ảnh hưởng lớn hay không thì phải chờ đến 9 năm sau mới có thể đánh giá được. Cũng như bất cứ phân tích nào, tôi nghĩ bài này đặt giả định là có mối liên hệ tuyến tính giữa số lần trích dẫn. Khó nói giả định này đúng hay sai, nhưng có lẽ đối với số lần trích dẫn thì giả định này không đến nổi quá xa rời thực tế. Một vấn đề chưa xem xét đến trong bài phân tích là sự khác biệt giữa các chuyên ngành hẹp trong mỗi ngành. Chẳng hạn như trong y khoa, chuyên ngành miễn dịch học thường có tần số trích dẫn cao so với các chuyên ngành như nội tiết học, và do đó, nếu chỉ tính y sinh học nói chung thì rất khó nói là chính xác hay khách quan được. Cách chọn ngưỡng r = 0.8 cũng có thể tranh cãi. Nếu chọn r = 0.8, thì điều này có nghĩa là chấp nhận giá trị này không thể giải thích được khoảng 36% tần số trích dẫn. Con số 36% là tương đối cao. Nếu tôi là tác giả, tôi sẽ chọn ngưỡng r = 0.9 vì với ngưỡng này, chúng ta có thể chấp nhận ~10% sai sót. Nếu chọn r = 0.9 thì thời gian cần thiết để đánh giá chất lượng cho các ngành sẽ từ 5 năm trở lên. Đặc biệt trong ngành nhân văn, khoa học xã hội, toán, kĩ thuật, có khi thời gian cần thiết là 9 năm trở lên. Dĩ nhiên, một thời gian như thế quá dài, nên chắc chẳng nhà tài trợ nào có thể áp dụng để đánh giá chất lượng khoa học. Ngành Số năm cần thiết Sinh học 8 Y sinh 5
Hoá 7 Y học lâm 6 sàng KH trái đất 6 Kĩ thuật 10 Y tế 8 Nhân văn 12 Toán 12 Vật lí 6 Tâm lí 6 KH xã hội 9 Nhưng cân nhắc trên đây cho thấy tuy kết quả bài phân tích rất có ích, nhưng vẫn còn tồn tại vài vấn đề tế nhị cần phải xem xét đến khi đánh giá một công trình khoa học. Dù vậy, kết quả phân tích này có thể xem là một khung tham khảo cho các hội đồng khoa học, các nhà tài trợ dựa vào đó để đánh giá chất lượng nghiên cứu.