Bài giảng 1 giới thiệu môn học Lý thuyết thông tin: - Nguyễn Phương Thái

Chia sẻ: Nguyễn Thị Huyền | Ngày: | Loại File: PDF | Số trang:9

Thêm vào BST

Báo xấu

142
lượt xem 8
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mời các bạn cùng tìm hiểu lịch sử môn học; vai trò của lý thuyết thông tin; nội dung môn học; yêu cầu với sinh viên được trình bày cụ thể trong "Bài giảng 1 giới thiệu môn học Lý thuyết thông tin" do Nguyễn Phương Thái biên soạn.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng 1 giới thiệu môn học Lý thuyết thông tin: - Nguyễn Phương Thái

Bài giảng 1. Giới thiệu môn học Giảng viên: Nguyễn Phương Thái Bộ môn Khoa học Máy tính Trang web cá nhân: http://coltech.vnu.edu.vn/~thainp/ Trợ giảng: Nguyễn Kim Anh
Nội dung bài giảng - Lịch sử môn học - Vai trò của lý thuyết thông tin - Nội dung môn học - Yêu cầu với sinh viên
Lịch sử môn học C. E. Shannon, “A mathematical theory of communication,” Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948.
Lịch sử môn học (tiếp) - Lần đầu tiên xác suất được áp dụng vào phân tích truyền thông. - Ý tưởng đột phá là “thông tin” (bất kể nguồn loại gì) về căn bản là mang tính số (digital). - Khái niệm “entropy” thông tin ra đời, dùng để đo “độ phức tạp” hay “độ ngẫu nhiên” của nguồn thông tin. - Các kênh thông tin có một dung tích mà nếu ta truyền tín hiệu với tốc độ nhỏ hơn nó thì tồn tại một cách mã hóa tín hiệu mà nhờ đó ta có thể đạt được xác suất lỗi nhỏ tùy ý. - Bài báo cũng đặt nền tảng cho ngành nén dữ liệu, mã hóa và giải mã tín hiệu với khả năng phát hiện lỗi và sửa lỗi. - Nhờ bài báo này, truyền thông có thể hiểu nôm na là bao gồm 3 bước chính: mã hóa tín hiệu, truyền tín hiệu qua kênh thông tin, và giải mã tín hiệu.
Vai trò của Lý thuyết Thông tin
Vai trò của Lý thuyết Thông tin (tiếp) - Trong kỹ thuật điện tử: các giới hạn của lý thuyết truyền thông - Trong khoa học máy tính: độ phức tạp Kolmogorov - Trong vật lý: lý thuyết thông tin lượng tử - Trong toán học: các bất đẳng thức, các định lý giới hạn, kiểm định giả thuyết thống kê, lượng thông tin Fisher - Triết lý của khoa học - Trong kinh tế học
Nội dung môn học - Nhắc lại kiến thức cơ bản về XSTK - Entropy, entropy tương đối, và thông tin tương hỗ - Nén dữ liệu - Dung lượng kênh
Mục tiêu môn học Môn học này giúp sinh viên: - Biết được ảnh hưởng của lý thuyết thông tin trong các lĩnh vực như thống kê, học máy, kinh tế, v.v. - Hiểu các khái niệm cơ bản của lý thuyết thông tin như entropy, thông tin tương hỗ - Có thể vận dụng để giải các bài toán cần xác định lượng tin - Hiểu mô hình truyền thông theo quan điểm của Shannon
Yêu cầu với sinh viên - Tham gia học trên lớp và làm bài tập (1 điểm chuyên cần) - Kiểm tra giữa kỳ (hệ số 0.4) - Thi cuối kỳ (hệ số 0.5)