Mga Saligan ng Teorya ng Impormasyon at Prefix Coding

Ang Teorya ng Impormasyon ay nagbibigay ng matematikal na pundasyon para sa pag-compress ng data, mga modernong sistema ng komunikasyon, at machine learning. Inilalahad ng kursong ito ang mahahalagang konseptong panteorya ng impormasyon sa mga madaling maunawaang nakasulat na paliwanag at praktikal na pagsasanay. Magsisimula ka sa mga pangunahing kahulugan ng mga distribution ng posibilidad at mga sukat ng impormasyon, at magpapatuloy sa mga optimal na teknik sa binary coding, mga hangganan ng entropy, at mga sukat ng divergence na ginagamit sa modernong komputasyon. Ang iyong matututunan: - Unawain ang mga pangunahing prinsipyo ng binary prefix coding at mga uniquely decodable code - Kalkulahin ang Shannon entropy at tukuyin ang teoretikal na ibabang hangganan sa average na haba ng code - Suriin ang hindi pantay o inequality ni Kraft at ang papel nito sa pagbuo ng prefix code - Sukatin ang relative entropy at Kullback-Leibler divergence sa pagitan ng mga probability distribution - Suriin ang statistical distance (total variation distance) at ilapat ang inequality ni Pinsker - Galugarin ang mga modernong koneksyon sa pagitan ng mga sukat ng impormasyon, data compression, at machine learning Nagsisimula ang kurso sa pangunahing terminolohiya at mga batayan ng posibilidad bago lumipat sa mga detalyadong patunay, mga teknik sa pagbuo ng code, at mga analytical na problema. Ang kursong ito ay idinisenyo para sa mga mausisa na nagsisimula, mga mag-aaral ng computer science, at mgaprogrammer na interesado sa theoretical computer science. Walang kinakailangang advanced na background sa teorya ng impormasyon. Simulang magbasa ngayon upang bumuo ng isang matatag na konseptwal na pundasyon sa teorya ng impormasyon.