Định nghĩa một số chỉ số chuyên môn cho các nhà khoa học làm nhiệm vụ đánh giá ngang hàng trong các hội nghị chuyên ngành

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:8

Thêm vào BST

Báo xấu

16
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết bước đầu tìm kiếm một phương pháp mô hình hóa nhằm định nghĩa một vài chỉ số về mặt chuyên môn khoa học trên các nhà nghiên cứu với tiêu chí xếp hạng sự phù hợp của họ đối với nhiệm vụ làm thành viên Ủy ban chương trình của hội nghị đang xét.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Định nghĩa một số chỉ số chuyên môn cho các nhà khoa học làm nhiệm vụ đánh giá ngang hàng trong các hội nghị chuyên ngành

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00019 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ NGANG HÀNG TRONG CÁC HỘI NGHỊ CHUYÊN NGÀNH Trần Hồng Diệp, Nguyễn Văn Cường Trường ĐH Lâm nghiệp Việt Nam TOM TẮT. Việc tổ chức các hội nghị khoa học, hội nghị chuyên ngành đang là một giải pháp đặc biệt hữu hiệu đáp ứng nhu cầu công bố các phát kiến khoa học của các nhà nghiên cứu trên thế giới ngày nay. Việc xem xét và chấp nhận các bản thảo gửi đến hội nghị thông thường được thực hiện bởi Ủy ban chương trình của hội nghị đó. Như vậy, ban chương trình này có tầm ảnh hưởng quyết định đến chất lượng của hội nghị. Thực tế cho thấy, gọi các chuyên gia nghiên cứu để thành lập các Ủy ban chương trình hàng năm vẫn là một nhiệm vụ rất khó khăn và nặng nề cho chức Giáo sư - Chủ tịch Ủy ban chương trình, để trả lời câu hỏi: Những nhà nghiên cứu nào là thích đáng hơn cả về chuyên môn để trở thành thành viên của Ủy ban chương trình của một hội nghị sắp diễn ra? Trong nghiên cứu của mình, chúng tôi bước đầu tìm kiếm một phương pháp mô hình hóa nhằm định nghĩa một vài chỉ số về mặt chuyên môn khoa học trên các nhà nghiên cứu với tiêu chí xếp hạng sự phù hợp của họ đối với nhiệm vụ làm thành viên Ủy ban chương trình của hội nghị đang xét. I. GIỚI THIỆU Chúng ta có gì làm “thước” để đo xem: chuyên môn khoa học của một nhà khoa học là gì, khác hay giống chuyên môn của một nhà khoa học khác. Hoặc là đo đếm sự uyên thâm của nhà nghiên cứu này là bao nhiêu, nhiều hay ít hơn của một nhà nghiên cứu khác cùng lĩnh vực? Vấn đề tương tự cũng xảy ra khi so sánh và “cân đo” nội dung chuyên môn của các đối tượng chuyên môn khác như các bài báo khoa học, các nhà xuất bản hay các trường đại học... Dù rằng vô cùng khó để đánh giá một cách đầy đủ, nhất là chúng ta mong muốn việc đánh giá này được thực hiện bằng một hệ thống tự động. Tuy thế, trong mọi lĩnh vưc chuyên môn, người ta luôn mong muốn có thể đánh giá một cách định lượng để phân loại hay xếp hạng các đối tượng này. Ngày nay, mong muốn này đã hoàn toàn có cơ sở để thực hiện, dựa trên sự phát triển mạnh mẽ của các phương pháp thu hồi thông tin (IR - Information Retrieval) và sự đầy đủ thông tin từ rất nhiều các thư viện số trên internet. Lĩnh vực Tìm kiếm chuyên gia (ER - Expertise Retrieval) và Scientometrie là một hướng nghiên cứu phát triển mạnh mẽ khoảng trên chục năm lại đây, nghiên cứu giải quyết vấn đề này. Theo đó, một trong các nhiệm vụ quan trọng của nó là phát hiện các chỉ số đánh giá (Indicators - Scientometric Indicators) cho mỗi trường hợp cụ thể. Lấy ví dụ về chỉ số Hirsch nổi tiếng [6]. Mặc dù trong các nghiên cứu sau này, các nhà khoa học cũng đã chỉ ra rằng chỉ số này tồn tại những bất cập làm sai lệch thước đo đánh giá. Nhưng cho đến nay chỉ số Hirsch vẫn được cộng đồng các nhà khoa học toàn thế giới coi là thước đo căn bản nhất đo sự cống hiến và uy tín chuyên môn của các nhà nghiên cứu. Bên cạnh đó, các nghiên cứu này cũng chỉ ra rằng mỗi chỉ số đưa ra đều chỉ có một phạm vi đánh giá khá hạn chế. Có nghĩa là, để phát hiện chỉ số đánh giá cho mỗi mục đích đánh giá càng cụ thể, càng hẹp thì hiệu quả đánh giá của chỉ số đó càng cao (chỉ số cục bộ). Chúng ta đều biết rằng sự đọc các nghiên cứu đã công bố là tiền đề quan trọng cho các nhà nghiên cứu tiếp tục các phát minh khoa học. Nghĩa là các phát kiến của các nhà nghiên cứu càng được thẩm định tốt và nhanh chóng đưa đến cộng đồng, càng thúc đẩy sự phát triển của khoa học. Đây chính là tác động quan trọng của các hệ thống xuất bản, công bố các công trình khoa học như tạp chí chuyên ngành hay các hội nghị khoa học thường niên v.v. Trong bối cảnh ngày nay, nhu cầu công bố các công trình khoa học là cực lớn, song với số lượng hạn chế cũng như quá trình thẩm định bản thảo có những bất cập nhất định trong các tạp chí chuyên ngành, thì việc mở các hội nghị khoa học thường niên (professional conference) là một giải pháp hữu hiệu, nhất là trong các lĩnh vực khoa học kỹ thuật có tốc độ phát triển nhanh chóng, ví dụ như ngành khoa học máy tính. Thực tế cho thấy hiện nay có một số lượng rất lớn các hội nghị, hội thảo khoa học được tổ chức hàng năm trên khắp thế giới, cùng với nó là một lượng khổng lồ các công trình khoa học được công bố. Trong nhiều ngành, phương thức công bố này được coi là phương án lựa chọn đầu tiên khi nhà nghiên cứu có một công trình cần công bố. Ở đây chúng tôi bàn về các hội nghị khoa học mà xuất bản toàn văn các công trình nghiên cứu và có sự thẩm định của một hội đồng chuyên môn uy tín. Đến đây, một vấn đề được đặt ra là Chất lượng của các công bố này sẽ thế nào, khi mà việc thẩm định và in ấn nhanh và nhiều đến vậy? Đến nay, đã có rất nhiều các nghiên cứu nghiêm túc bàn về quy trình xuất bản của các hội nghị (kỷ yếu hội nghị) cùng với các ưu điểm cũng như các vấn đề còn tồn tại của nó. Nhưng dù thế nào, chúng ta vẫn khẳng định rằng, chất lượng của công bố chịu ảnh hưởng lớn vào tập thể các nhà thẩm định, mà trong các hội thảo
Trần Hồng Diệp, Nguyễn Văn Cường 147 chuyên ngành thường gọi là Ủy ban chương trình - Program Committee (trách nhiệm tương tự ban biên tập của các tạp chí chuyên ngành - Journal Editor Board). Về lý thuyết, các nhà nghiên cứu được mời tham gia Ủy ban chương trình của một hội nghị phải là những chuyên gia khoa học có uy tín trong cộng đồng về lĩnh vực mà hội thảo đang xem xét. Thông thường hàng năm, Ủy ban chương trình của một hội nghị được tái thành lập bởi vị chủ tịch hiện tại của Ủy ban này, tức là các lời mời tham gia Ủy ban đều dựa trên ý kiến chủ quan của ông chủ tịch. Ngoại trừ sự thiên vị có thể xảy ra, thì có tồn tại những khó khăn cho vị chủ tịch khi phát lời kêu gọi tham gia Ủy ban: 1) Vị chủ tịch này khó mà “quen” tất cả các nhà nghiên cứu (nhất là những nhà nghiên cứu mới nổi lên) trong chính lĩnh vực của ông ta! và 2) Dù có quen hết thì vị chủ tịch này không có một căn cứ định lượng để đánh giá rằng nhà nghiên cứu này “tốt hơn” nhà nghiên cứu kia trong chuyên môn đang xem xét. Vì thế, đây rõ ràng là một nhiệm vụ nặng nề, nhất là trong trường hợp các hội nghị uy tín với số lượng lớn các bản thảo nộp đến. Ví dụ, các hội nghị CIKM, SIGIR, WWW v.v. có số lượng thành viên Ủy ban lên đến vài trăm người. Trong nội dung bài viết này chúng tôi đề cập đến một phương pháp mô hình hóa chuyên môn (Expertise modelling) trong môi trường học thuật và từ đó định nghĩa một số chỉ số chuyên môn nhằm mục đích đề xuất thành viên Ủy ban chương trình cho một hội nghị khoa học đưa ra. Theo hiểu biết của chúng tôi, đến nay chưa có một nghiên cứu nào định nghĩa các chỉ số scientometric cho các nhà khoa học là nhiệm vụ đánh giá ngang hàng trong các hội nghị chuyên ngành. Trong phần II Các nghiên cứu liên quan, chúng tôi trình bày về các nghiên cứu liên quan, đồng thời phân tích các ưu, nhược điểm để kế thừa và khắc phục để đưa ra đề xuất của chúng tôi. Phần III tiếp sau, chúng tôi trình bày cụ thể mô hình của chúng tôi đề xuất. Phần IV chúng tôi trình bày thử nghiệm trên mô hình đề xuất. Việc thử nghiệm sử dụng hoàn toàn các dữ liệu công khai và miễn phí của hội nghị ACM SIGIR - International Conference on Research and Development in Information Retrieval, một hội nghị danh giá của ngành khoa học máy tính. II. CÁC NGHIÊN CỨU LIÊN QUAN Bài viết này của chúng tôi, trước tiên liên quan đến lĩnh vực Tìm kiếm chuyên gia (ER - Expertise/Expert Retrieval) hay còn được biết đến với thuật ngữ Định vị chuyên môn (Expertise Location) là một lĩnh vực đã từng được coi là nhiệm vụ không thể thay thế của chuyên gia con người. Tức là khó mà tự động hóa được nhiệm vụ này. K. Balog và các đồng sự [2] đã chỉ ra bốn khó khăn cơ bản nhất cho tự động hóa nhiệm vụ tìm kiếm chuyên gia: 1) Các chuyên gia ứng cử viên không đại diện cho đơn vị tìm kiếm: họ được định nghĩa thông qua các đối tượng đại diện cho họ, ví dụ, thông qua các công bố của họ, thông qua các mối quan hệ tác giả, trích nguồn tham khảo (trích dẫn),… 2) Tên của chuyên gia thường hay nhập nhằng: tên của họ có thể đề cập đầy đủ hoặc không đầy đủ trong các công trình khác nhau, đồng thời cũng có những cái tên mà không phải của duy nhất một người. 3) Các bằng chứng thể hiện nội dung chuyên môn (sau đây chúng tôi gọi là Bằng chứng chuyên môn - Expertise Evidence) của các chuyên gia đến từ các nguồn không đồng nhất: họ có thể bàn về chuyên môn của họ trong các email công việc hoặc trong các ấn phẩm khoa học. Tuy nhiên ý nghĩa nặng nhẹ về mặt chuyên môn của hai văn bản này là khác nhau. 4) Và một thách thức quan trọng nữa là việc định lượng sức mạnh của mối liên kết giữa một chuyên gia với các bằng chứng khoa học của chuyên gia đó là một vấn đề hết sức phức tạp. Mặc dù các khó khăn tưởng chừng khó có thể vượt qua, song các biện pháp tìm kiếm chuyên gia tự động đã khá phát triển ([2], [8]), nhất là sau nhiệm vụ được đưa ra bởi TREC Enterprise Track [3]. Do vấn đề tìm kiếm chuyên gia được phát triển xem như một nhánh của Tìm kiếm thông tin (IR - Information Retrieval), do vậy hầu hết các biện pháp tìm kiếm chuyên gia hiện nay là các phương pháp tiếp cận cơ bản của IR: các Mô hình xác suất sinh (Generative probabilistic models) và các Mô hình phân biệt (Discriminative models). Ngoài ra, một số cách tiếp cận khác cũng đã được đề cập, ví dụ Mô hình bầu cử (Voting models) hay Mô hình dựa trên đồ thị (Graph-based models) [2]. Về tổng thể các mô hình này sử dụng chủ yếu các bằng chứng chuyên môn đến từ tập các văn bản của chuyên gia ứng cử viên (bài báo xuất bản, bài viết không chính thức,…), tức là chuyên gia ứng cử viên được đại diện bởi tập các bài viết xuất bản của ông ấy. Ở đây, các bằng chứng này chủ yếu được phân tích về nội dung. Rõ ràng là việc “đọc hiểu” một nội dung văn bản bằng một hệ thống tự động không phải dễ dàng. Ý nghĩa thực sự của một văn bản không chỉ đơn giản là việc thống kê các từ xuất hiện trong văn bản ấy. Một nhược điểm của của các mô hình dựa trên việc phân tích nội dung bài xuất bản là: hầu hết các bài báo khoa học, nhất là các bài báo khoa học đang có tính thời sự lại là các bài báo mất phí, tức là tính sẵn sàng (Available) của dữ liệu cung cấp cho không gian tìm kiếm là kém. Như vậy cũng làm cho tính khả thi của mô hình tìm kiếm giảm đi. Tránh việc sử dụng nội dung phải trả phí đắt đỏ của các ấn phẩm, một số công trình nghiên cứu đã chỉ sử dụng các đoạn văn bản miễn phí của ấn phẩm, ví dụ, sử dụng các tóm tắt (Abstract) của bài báo. Ví dụ, Cabanac 2011 trong [4] đã sử dụng tập các tiêu đề của các bài báo làm đại diện chuyên môn cho ứng cử viên. Tuy nhiên, các mô hình này cũng vẫn vấp phải các nhược điểm chung của các mô hình tìm kiếm mà dựa trên phân tích nội dung văn bản.
148 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ… Một bằng chứng chuyên môn khác cũng được các nhà nghiên cứu hết sức quan tâm, đó là việc trích dẫn, dẫn nguồn tham khảo từ một bài báo đến các bài báo viết trước đó. Theo hướng này, người ta thường xây dựng một mạng lưới các trích dẫn (Citation network) hay còn gọi là đồ thị trích dẫn (Citation graph). Thực tế cho thấy, các nghiên cứu đi theo hướng này cho kết quả khá khả quan, ví dụ các mô hình của Strohman và các đồng sự, 2007 [9]; De Bellis, 2009 [1]; Liang và các đồng sự, 2011 [7]. Tuy nhiên, việc phân tích mạng trích dẫn cũng có những nhược điểm của nó. Rõ ràng một bài báo thì trích dẫn đến nhiều bài báo khác, nhưng sự quan tâm của nó đến các bài báo được nó trích dẫn là không như nhau, thậm chí sự trích dẫn đôi khi còn để chỉ ra rằng tác giả này phản đối quan điểm của tác giả khác trong bài được trích dẫn. Khắc phục điều này, Liang 2011 đã quan tâm đến vị trí và tần suất xuất hiện của bài báo được trích dẫn trong nội dung của bài báo trích dẫn. Song việc phân tích này lại lặp lại khó khăn của các mô hình phân tích nội dung. Ngoài việc sử dụng đồ thị trích dẫn, một số nghiên cứu đề cập đến vài bằng chứng chuyên môn khác, ví dụ đồ thị đồng tác giả (Co-authors), đồ thị đồng trích dẫn (Co-citations) hay đồng được trích dẫn (Co- couplage). Trong thực tế, mô hình tìm kiếm chuyên gia dựa trên đồ thị là chưa thực sự phát triển so với các mô hình xác suất. Vì thế, các mô hình dựa trên đồ thị chủ yếu được sử dụng xem như mô hình bổ sung để cải thiện hiệu quả tìm kiếm cho một mô hình khác ([4], [7]). Balog, 2012 [2], chỉ ra rằng dù các mô hình tìm kiếm chuyên gia đã phát triển khá phong phú, song hiệu quả tìm kiếm nói chung của mọi mô hình vẫn còn khá khiêm tốn. Một phương pháp cải thiện mô hình được ghi nhận là có hiệu quả là khi tích hợp các mô hình tìm kiếm khác nhau hoặc kết hợp sử dụng nhiều bằng chứng chuyên môn khác nhau trong một mô hình tìm kiếm thống nhất. Ví dụ, Cabanac 2011 [4] xem xét mô hình sử dụng bằng chứng chuyên môn đến từ nhiều hoạt động khoa học khác nhau. Một ví dụ khác, S. Han và các đồng sự, 2013 [5] đã đưa ra một mô hình kết hợp trong đó sử dụng một mô hình dựa trên phân tích nội dung làm cốt lõi, sau đó bổ sung thêm một số chỉ số liên quan đến lịch sử công bố của ứng cử viên, quyền tác giả cũng như quan hệ xã hội giữa họ. III. XÂY DỰNG CHỈ SỐ DANH GIÁ CÁC THÀNH VIÊN ỦY BAN CHƯƠNG TRÌNH 3.1. Tại sao mời một nhà nghiên cứu vào Ủy ban chương trình? Peer Review là quy trình thẩm định, đánh giá (Review) các bản thảo gửi đến các tạp chí khoa học và các hội nghị chuyên ngành, trong bài viết này chúng tôi gọi là Thẩm định ngang hàng. Theo đó, các đặc điểm cơ bản của đánh giá ngang hàng là: 1) Các bản thảo được gửi đến nộp cho ban biên tập của tạp chí/Ủy ban chương trình của hội nghị. Đây là ban bao gồm các nhà khoa học, các nhà nghiên cứu “uyên thâm” trong lĩnh vực mà tạp chí hay hội nghị ấn hành. 2) Ban sẽ thực hiện phân công các thành viên phù hợp để xem xét phản biện các bản thảo và đưa ra quyết định rằng bản thảo nào được chấp nhận công bố. Mỗi bản thảo sẽ có một nhóm các nhà thẩm định (Reviewer) thực hiện việc đánh giá. Đối với tạp chí, ban biên tập là khá ổn định qua các năm, trái lại Ủy ban chương trình lại luôn được làm mới cho mỗi phiên bản hội nghị và được thực hiện chỉ bởi ghế chủ tịch Ủy ban này. Chúng tôi tự hỏi, ai sẽ được mời tham gia Ủy ban chương trình của một hội nghị khoa học sắp diễn ra? Cộng đồng khoa học chúng ta mong muốn điều gì và vị chủ tịch quyết định chọn ai để mời? Thực tế, việc thành lập một Ủy ban chương trình hiệu quả là một thách thức lớn vì rằng đây là một tập thể đa dạng trên nhiều khía cạnh: các chuyên môn hẹp, tuổi tác, giới tính, vùng địa lý,… Nhất là đối với các hội nghị lớn có mức độ quan tâm cao trong cộng đồng mà có số lượng các thành viên ban trình khá đông. Hiện nay, chúng ta cũng chỉ có thể nghĩ đến vài tiêu chí định tính rằng: để được tham gia Ủy ban này, nhà nghiên cứu phải là một chuyên gia có uy tín, có nhiều đóng góp cho cộng đồng. Nhưng những cái gì được ghi nhận là một đóng góp? Và đối với mỗi loại đóng góp thì có thể chỉ ra một con số định lượng không? Ví dụ, nhiều nghiên cứu chỉ quan tâm đến một hoạt động được coi là đóng góp cơ bản nhất của nhà nghiên cứu, đó là các ấn phẩm của ông ấy. Nhưng dù nếu như vậy thì liệu số lượng các nghiên cứu được công bố có thể đại diện cho mức độ đóng góp của nhà nghiên cứu? Rõ ràng là không đủ. Ở đây, với mục đích đánh giá các đóng góp của các chuyên gia nhằm mục đích giải thích lời mời tham gia Ủy ban chương trình của chủ tịch Ủy ban đối với họ, chúng tôi đưa ra giả thuyết rằng: một chuyên gia nghiên cứu được mời là dựa trên những đóng góp của họ xét trên nhiều phương diện chuyên môn đối với hội nghị đang xét. Ở đây chúng tôi loại bỏ vấn đề nếu ông chủ tịch có sự thiên vị nào đó. 3.2. Mô hình hóa vai trò chuyên môn của các chuyên gia Để trả lời câu hỏi Chuyên gia này đóng góp gì, đóng góp bao nhiêu về mặt chuyên môn cho hội nghị đang xét? Chúng tôi thực hiện việc phân tích các đóng góp này, cụ thể là phân tích các bằng chứng chuyên môn thu được theo các khía cạnh chuyên môn khác nhau, mà trong bài viết này chúng tôi gọi là các Vai trò chuyên môn của chuyên gia đó so với hội nghị đang xét. Chúng tôi phát hiện rằng, có quá nhiều mối liên quan làm nên một vai trò chuyên môn của một chuyên gia. Ví dụ, ông ấy là tác giả của một bài báo đã đăng trong một phiên bản trước của chính hội nghị này, hay là ông ấy là tác giả của một bài báo mà được trích dẫn bởi một bài báo đăng trong hội nghị đang xét,… Rõ ràng là, có tồn tại những vai trò quan trọng hơn vài vai trò khác. Như vậy với một mức độ cần thiết, chúng tôi thực hiện chọn để xem xét một tập các
Trần T Hồng Diệpp, Nguyễn Văn Cường 149 vai v trò mà chúúng tôi đánh giiá là quan trọnng nhất. Trong g phạm vi bài viết này, chúúng tôi xác địnnh 5 vai trò ch huyên môn, như n thể hiện trrong hình 1 nhhư sau: 1) Vai trrò 1: Chuyên gia s là thànhh viên của Ủy ban chương trrình của một pphiên bản đã diễn ra của hộ ội nghị cho trước c. 2) Vai trrò 2: Chuyên ggia s là tác giảả của một bài báo đã được đăng đ trong mộột phiên bản củủa hội nghị ch ho trước c. 3) Vai trrò 3: Chuyên gia s là tác giiả của một bài báo mà thựcc hiện trích dẫẫn đến một bàài báo đã đăng g trong một phiênn bản của c. 4) Vai trrò 4: Chuyên gia s là tác giả của một bài báo mà được trích dẫn bởi một bài báo đđã đăng trong một phiên bản của c. 5) Vai trrò 5: Chuyên gia s là đồng tác giả với mộ ột chuyên gia s’ khác là thàành viên của Ủ Ủy ban chương trình của một phiên p bản đã qqua của c. Hình 1. Các vai trò chuuyên môn của ch huyên gia so vớ ới hội nghị chuyyên ngành cho ttrước Bằng cáách như vậy, chúng tôi xâyy dựng một đồ thị không thu uần nhất bao ggồm ba kiểu nnút khác nhau: 1) nút đại diện d cho các phiên p bản khácc nhau của hộii nghị cho trướớc, 2) nút đại diện cho các bbài báo và 3) nút đại diện cho các nhà khoa k học - chuuyên gia ứng ccử viên. Các ccạnh nối trong đồ thị đại diện cho các mốii quan hệ chuyyên môn khác c nhau giữa các c nút khác nhau. n Chúng tôôi xác định cóó 4 kiểu quan hệ h - cạnh, bao gồm: 1) quann hệ trích dẫn, chỉ ra mối qu uan hệ giữa h bài báo troong đó tồn tại việc một bài bbáo này trích dẫn bài còn lạại; 2) quan hệ xuất bản, chỉ ra mối quan hệ hai h giữa hội nghị n đã cho vàà một bài báo do nó đã xuấất bản; 3) quan n hệ quyền tácc giả, chỉ ra m mối quan hệ giiữa một bài báo với một tác giả của nó và 4) quan hệệ Ủy ban chươ ơng trình, chỉ ra mối quan hệ h giữa hội ngghị đang xét vớới một lượt thham gia Ủy ban b chương trìình của một chhuyên gia. Hìnnh 2 cho thấy một ví dụ hìn nh ảnh về đồ thhị của chúng ttôi. Hình 2. Đồ thị chuyên môn m Chúng tôi thực hiện vviệc định lượnng trọng số củ ủa từng mối qu uan hệ - cạnh ttrong đồ thị: 1) 1 Quan hệ trích dẫn: bàài báo a1 trích dẫn đến bài báob a2 (Hình 3). 3 Chúng tôi cho rằng mốii quan hệ này phụ thuộc vào 2 yếuu tố: 1) số lượ ợng n các tríchh dẫn đến bài báo được trícch dẫn a2. Trư ước a1 mà cànng có nhiều bà ài báo trích dẫn đến a2 càng chứngg tỏ thông tin có tính thời sự của a2 và 2)2 khoảng cáchh thời gian xuuất bản giữa hai h bài báo này. Bài báo b được trínhh dẫn càng cũũ mà vẫn đượ ợc xem xét troong nghiên cứ ứu mới càng cchứng tỏ nó có ó thông tin chuyên môn quan trọngg.
150 1 Đ ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁ ÁC NHÀ KHOA A HỌC LÀM N NHIỆM VỤ ĐÁ ÁNH GIÁ… H Hình 3. Định lư ượng mối quan hệ h trích dẫn Mối quan q hệ này đư ược ước lượngg như sau: ∆ , _ , . ∆ Trongg đó: là số lượng các trícch dẫn đến bàii báo a; là số lượng các ttrích dẫn lớn nhất n đến một bài b báo; ∆ , năm xuất bảnn a1 - năm xuấtt bản a2; ∆ là khoảng cách tthời gian xa nhất của một cặặp hai bài báoo trích dẫn nhaau. 2 Quan hệ xuất bản: bàài báo a đã đăăng trong mộtt phiên bản củ 2) ủa hội nghị ccho trước c (H Hình 4). Chún ng tôi định lượng mối quan hệ nàyy phụ thuộc vàào 2 yếu tố: 1) thời gian màà bài báo a đư ược đăng, bài báo càng đăn ng gần hiện tại thì cànng có trọng số cao và 2) số llượng n các trích dẫn đến a. Nếu a càng ccó nhiều tríchh dẫn đến thì càng c chứng tỏ sự quann trọng về nội dung chuyên môn của nó. H Hình 4. Định lư ượng mối quan hệ xuất bản Công thức đề xuất là: ∆ , _ , . ∆ Trongg đó: là số lượng các trícch dẫn đến bàii báo a; là số lượng các ttrích dẫn lớn nhất n đến một bài b báo; ∆ , Năm hiện tại - N Năm xuất bản a; ∆ là khoảng cách bbiệt thời gian xa nhất của một m bài báo củaa c so với hiệnn tại. 3 Quan hệ quyền tác giảả: chuyên gia s là tác giả của 3) c bài báo a (Hình 5). Troong nghiên cứ ứu này chúng tôi coi các đồng tác giả g là có đóng góp như nhauu trong một bàài báo. Số lượ ợng các đồng tá tác giả càng nhhiều thì sự đón ng góp của mỗi ngườii càng nhỏ. Hình 5. 5 Mối quan hệ quyền q tác giả Trọngg số của mối qquan hệ này đư ược ước lượng g như sau: 1 _ , Trongg đó: là sốố lượng các tácc giả của bài báo b a. 4) 4 Quan hệ tham t dự Ủy bban chương trrình: Chúng tôôi cho rằng vaai trò này phụ thuộc vào thờời gian của phiiên bản hội nghị mà s tham gia ban chương trình. Nếu phiên bảản ở một quá khứ k càng gần hiện tại thì cààng quan trọng g.
Trần T Hồng Diệpp, Nguyễn Văn Cường 151 H Hình 6. Mối qu uan hệ tham dự Ủy ban chươngg trình Côngg thức định lượ ợng được đưa ra là: ∆ , _ , ∆ Trongg đó: ∆ , năăm hiện tại - nnăm mà s tham m dự Ủy ban ch hương trình củủa c; ∆ m chuyên giaa s tham gia Ủ là khoảng cách bbiệt thời gian xa nhất của một Ủy ban chương trình của c so với hiện tại. Với việệc ước lượng bbốn loại mối quan hệ - cạnnh trong đồ thị chuyên mônn như trên, chúúng tôi tiếp tụ ục định giá cho c năm vai trrò chuyên mônn như đã đề cậập như sau: Trong đó đ dấu sao (*)) thể hiện rằngg chúng tôi có ó thực hiện chhuẩn hóa (norm malisation) giiá trị tương ứn ng về đoạn giá g trị [0;1]. Ký K hiệu này đư ược sử dụng cảả trong các mụ ục tiếp sau đó.. ơng trình của hội nghị cho ttrước c: 1) Vai trrò 1: chuyên ggia s là thành viên ban chươ ∗ _ , 2) Vai trrò 2: chuyên ggia s là tác giảả của bài báo a đã đăng tron ng một phiên bbản của hội ngghị cho trước c: c ∗ ∗ _ , _ , 3) Vai trrò 3: chuyên ggia s là tác giiả của bài báo a mà thực hiện một trích ddẫn đến bài bááo a’ đã đăng trong một phiênn bản của c: ∗ ∗ ∗ _ , _ , _ , 4) Vai trrò 4: chuyên ggia s là tác giảả của bài báo a mà được tríích dẫn bởi bàài báo a’ đã đăăng trong mộtt phiên bản của c. Vai trò này ggần tương tự vvớ vai trò 3, ch hỉ khác chiều của trích dẫn giữa hai bài bbáo a và a’: ∗ ∗ ∗ _ , _ , _ , 5) Vai trrò 5: chuyên ggia s là đồng tác giả với một chuyên gia s’ khác trongg một bài báo chung a, mà s’ là thành b chương trình của một pphiên bản trong viên ban g quá khứ củaa c: ∗ ∗ ∗ _ , _ , _ , 3.3. 3 Định nghĩĩa các chỉ số cchuyên môn dựa trên vai trò Trong mục m trước chúúng tôi đã đề ccập việc ước lượng l 5 loại vai v trò chuyên môn của mộtt chuyên gia ứng ứ cử viên so s với hội nghhị đang xem xéét. Thực tế thìì với mỗi kiểu u vai trò này, một m chuyên ggia ứng cử có tthể có nhiều hơnh hoặc ít hơn h hoặc khônng có số lượt hhoạt động chuuyên môn tươn ng ứng. Ví dụ một chuyên ggia s nào đó cóó thể là tác giả ả của nhiều bài d đến các bbài báo của hộội nghị c, có thể có không nhiều lắm sốố bài đăng troong chính hội nghị c đó, b báo trích dẫn nhưng n lại chưaa có lần nào thham dự Ủy baan chương trìnnh. Với việc phân p tích sự đóóng góp chuyyên môn của một m chuyên gia g nghiên cứuu đối với một hhội nghị chuyyên ngành cho trước theo các vai trò chuyyên môn khác nhau, mỗi chu uyên gia sẽ được đ ước lượnng sự đóng gópp chuyên mônn theo 5 vai tròò đặt ra. Dựa trêên phương phááp mô hình hóóa bằng đồ thị chuyên môn mà chúng tôi đã xây dựng ở trên, thực ch hất mỗi vai trrò là một kiểuu “đường đi” nnối từ nút đại diện của hội nghị n đang xét đến nút đại diiện cho chuyêên gia nghiên cứu.c Trọng số s của các “coon đường” nàyy được ước lư ượng dựa trên độ dài của co on đường đó. Cụ thể là dựaa trên số lượng g các phân đoạn đ trên mỗi đường đi và dựa trên trọnng số của mỗi phân đoạn mà m cách ước lư ượng cho bốn loại phân đoạ ạn đã trình bày b ở trên. Vềề mặt ý nghĩa, mỗi chỉ số chhuyên môn màà chúng tôi đư ưa ra là dựa trêên tổng trọng số của một kiiểu “đường đi” đ cho một mỗi m chuyên giaa ứng cử viên. Từ đây,, chúng tôi địnnh nghĩa 5 Chỉỉ số chuyên mô ôn tương ứng với v năm vai tròò cho mỗi chuy uyên gia ứng cử ử viên: ∗ Trong T đó: là chỉ số tư ương ứng với vai trò ; làà số lần mà chhuyên gia ứng cử viên thực hiện h vai trò n;; là trọng lượnng đã tính của mỗi lần đóng vai trò n của ứng cử viên.
152 ĐỊNH NGHĨA MỘT SỐ CHỈ SỐ CHUYÊN MÔN CHO CÁC NHÀ KHOA HỌC LÀM NHIỆM VỤ ĐÁNH GIÁ… Như vậy, sự đóng góp chung của mỗi ứng cử viên đối với hội nghị chuyên ngành đang xét sẽ là một giá trị tổng hợp từ 5 chỉ số mà chúng tôi đã định nghĩa ở trên. Con số này sẽ đại diện cho tính thích đáng của chuyên gia ứng cử viên hay nói cách khác nó trả lời cho khả năng được mời tham gia Ủy ban chương trình trong tương lai của chuyên gia ứng cử viên đó. IV. THỬ NGHIỆM MÔ HÌNH Trong phạm vi thử nghiệm của chúng tôi, chúng tôi chọn hội nghị SIGIR - International ACM SIGIR Conference on Research and Development in Information Retrieval, một hội nghị dẫn đầu trong ngành khoa học máy tính. Các thông tin được thu thập đều là miễn phí: metadata của các bài báo khoa học, các trang hội nghị chính thức, các bản thông tin về danh sách các thành viên ban chương trình,... Những thông tin này được chúng tôi thu thập từ các thư viện số DBLP và ACM, chúng tôi cũng sử dụng kết quả của ArnetMiner [10]. Bằng cách như vậy, bộ dữ liệu của chúng tôi đã thu thập thông tin bao gồm 3.554 bài báo chính thức đăng trong 40 phiên bản hội nghị SIGIR từ 1971-2015. Từ tập các bài báo này làm cơ sở ban đầu để thu thập các bài trích dẫn và được trích dẫn từ chúng: bao gồm 29.907 bài báo. Số lượng các thành viên của ban chương trình tham gia hàng năm của SIGIR cũng được thu thập, từ phiên bản từ 2004-2015 là có thể tìm được, bao gồm 7.576 lượt thành viên tham gia ban chương trình. Thí nghiệm của chúng tôi được thiết kế nhằm trả lời câu hỏi: Chỉ số nào giải thích cho việc tham gia Ủy ban chương trình của một chuyên gia? Câu hỏi này thực chất là xem xét sự ảnh hưởng của từng chỉ số mà chúng tôi đã định nghĩa cho việc phát lời mời tham gia Ủy ban chương trình đến chuyên gia đó. Tuy nhiên, do không có một nghiên cứu tương tự để so sánh, đồng thời, rõ ràng cũng không hề có một bảng xếp hạng chuẩn các chuyên gia làm đối sánh cho sự đúng đắn của kết quả chúng tôi thu được, vì vậy chúng tôi sử dụng danh sách ban chương trình chính thức hàng năm làm chuẩn. Cụ thể, chúng tôi sẽ tính toán các chỉ số dựa trên các phiên bản quá khứ của một năm y, kết quả thu được đem so sánh với danh sách thành viên chính thức của Ủy ban tại chính năm y đó. Ví dụ chúng tôi tính toán chỉ số thứ nhất cho mọi ứng cử viên dựa trên dữ liệu trước năm 2012, từ đó xếp hạng các thành viên theo chỉ số này và đem so sánh sự trùng hợp với danh sách các thành viên chính thức của SIGIR 2012. Cụ thể chúng tôi thực hiện thí nghiệm với các năm y là 5 năm: từ 2011 đến 2015. Với mỗi năm y đó, tính 5 chỉ số và thu được một danh sách xếp hạng theo chỉ số tương ứng. Như vậy chúng tôi thu được 25 danh sách xếp hạng. Để đánh giá kết quả, với mỗi danh sách xếp hạng, chúng tôi tính hai giá trị độ chính xác P@20 và P@100 như được quy định trong IR - Information Retrieval. Kết quả so sánh này được chúng tôi thống kê trong bảng 1. Bảng 1. Độ chính xác của các danh sách xếp hạng so với Ủy ban chính thức của năm tương ứng Năm |cy| Vai trò 1 Vai trò 2 Vai trò 3 Vai trò 4 Vai trò 5 P@20 P@100 P@20 P@100 P@20 P@100 P@20 P@100 P@20 P@100 2011 426 0,90 0,80 0,60 0,57 0,40 0,43 0,55 0,43 0,05 0,05 2012 486 1,00 0,84 0,70 0,64 0,40 0,45 0,55 0,47 0,05 0,05 2013 431 0,95 0,86 0,75 0,61 0,45 0,44 0,55 0,42 0,10 0,07 2014 448 0,90 0,86 0,75 0,59 0,40 0,43 0,25 0,45 0,20 0,09 2015 432 1,00 0,85 0,80 0,60 0,45 0,42 0,25 0,45 0,10 0,07 Trong đó |cy| là số lượng các thành viên ban chương trình chính thức trong năm tương ứng. Kết quả thu được cho thấy tính “thống trị” của vai trò 1. Có nghĩa là, một chuyên gia sẽ có khả năng được mời cao nhất và khả năng càng cao khi họ đã tham gia và tham gia càng nhiều lần các Ủy ban chương trình trong quá khứ. Chúng tôi kết luận rằng vai trò này là vai trò được đánh cao về uy tín đối với một học giả. Đứng thứ hai là vai trò mà trong đó chuyên gia ứng cử viên là tác giả của các bài báo được đăng trong chính hội nghị đang xem xét. Điều này cho thấy đây có thể là cơ hội cao hơn cho các nhà nghiên cứu muốn được tham dự lần đầu tiên vào Ủy ban chương trình của hội nghị này, bằng cách hãy có được nhiều ấn bản ở nơi này trước đã. Vai trò 3 và 4 có vẻ là các chỉ số ít liên quan hơn hai chỉ số trên, tuy nhiên cũng là những chỉ số đóng vai trò dự báo tốt cho khả năng được mời. Vai trò cuối cùng, số liệu cho thấy là nó không được quan tâm lắm trong việc trở thành một nhà thẩm định của hội nghị xem xét. V. KẾT LUẬN VÀ ĐỀ XUẤT Thành lập Ủy ban chương trình của một hội nghị chuyên ngành là một quá trình quan trọng và phụ thuộc vào cá nhân chủ tịch của Ủy ban qua từng phiên bản. Quá trình này là không buộc phải công khai cho toàn cộng đồng. Chúng
Trần Hồng Diệp, Nguyễn Văn Cường 153 tôi thực hiện định nghĩa các chỉ số chuyên môn nhằm tìm hiểu phần nào sự thành lập một Ủy ban chương trình của một hội nghị chuyên ngành nào đó. Qua thí nghiệm về các dữ liệu của SIGIR, chúng tôi có thể làm lộ rõ cách thức mà một chuyên gia được xem là có nhiều đóng góp hoặc là có uy tín trong cộng đồng. Đồng thời nghiên cứu này cũng cho phép có các trợ giúp nhất định cho chủ tịch Ủy ban khi tìm danh sách các chuyên gia để thành lập Ủy ban sắp tới. Mô hình của chúng tôi đề xuất hoàn toàn sử dụng các dữ liệu có tính sẵn sàng cao (miễn phí, có sẵn). Mô hình dựa trên việc thành lập đồ thị không đồng nhất cho phép tích hợp nhiều bằng chứng chuyên môn trong cùng một mô hình. Đồng thời, việc phân tích và xác định các bằng chứng chỉ ra sự gần gũi về chuyên môn giữa các đối tượng mà không cần phân tích nội dung các đối tượng đó. Điều này cho phép việc mô hình hóa tránh được các nhược điểm của các mô hình dựa trên phân tích nội dung. Trong tương lai, mô hình của chúng tôi nên được tiếp tục nghiên cứu sâu sắc hơn về tính dự báo các thành viên mới của Ủy ban chương trình, đồng thời mở rộng số lượng các chỉ số. Việc kiểm định tính đúng đắn của mô hình có vẻ không được tốt với việc lấy danh sách Ủy ban chương trình chính thức hàng năm làm chuẩn của sự đúng đắn. Việc kiểm định này có thể được cải thiện bằng một khảo sát trên các chuyên gia hàng đầu trong lĩnh vực đang quan tâm. VI. TÀI LIỆU THAM KHẢO [1] N. De Bellis. “Bibliometrics and Citation Analysis”. Scarecrow Press, Lanham, 2009. [2] K. Balog, Y. Fang, M. de Rijke, P. Sedyukov, L. Si. “Expertise Retrieval”. Foundations and Trends in Information Retrieval, 2012. [3]K. Balog, M. De Rijke. “Determining expert profiles”. 20th International Joint Conference on Artifical Intelligence (IJCAI ’07), p. 2657-2662, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2007. [4] G. Cabanac. “Accuracy of inter-researcher similarity measures based on topical and social clues”. Scientometrics 87(3), 2011. [5] S. Han, J. Jiang, Z. Yue, D. He. “Recommending program committee candidates for academic conferences”. Workshop on Computational Scientometrics: Theory and Applications (CompSci ’13), p. 1-6, ACM, New York, NY, USA, 2013. [6] J. E. Hirsch. “An index to quantify an individual's scientific research output”. PNAS November 15, 2005. [7] Y. Liang, Q. Li, T. Qian. “Finding Relevant Papers Based on Citation Relations”. Web-Age Information Management, vol. 6897, p. 403-414, 2011. [8] V. Mangaravite, R. L. Santos, I. S. Ribeiro, M. A. Gonçalves, A. H. Laender. “The LExR Collection for Expertise Retrieval in Academia”. 39th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR ’16), 2016. [9] T. Strohman W. Croft, D. Jensen. “Recommending Citations for Academic Papers”. 30th International ACM SIGIR conference on Research and development in information retrieval (SIGIR ’07), 2007. [10] J. Tang, J. Zhang, L. Yao, J. Li, L. Zhang, Z. Su. “Arnetminer: extraction and mining of academic social networks”. 14th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD ’08), p. 990-998, 2008. DEFINING EXPERTISE INDICATORS FOR REVIEWERS OF SCIENTIFIC CONFERENCES Tran Hong Diep, Nguyen Van Cuong Abstract: Organizing academic scientific conferences is a particularly effective solution for disseminating scientific findings of scientists from all over the world. Normally, conducting the peer review of submitted papers is the responsibility of the program committees of conferences, so their decisions will mainly affect the quality of the conferences. In reality, with a huge number of scientific conferences held each year, it is an extremely difficult task for the program committee chairs to find researchers with relevant expertise for participating in the program committees. In this paper, we propose a method based on different indicators of expertise in order to give suggestions of members for the program committees of conferences.