.

ET??? - Teoria da Informação

Ementa: [pdf]

Versão do curso: ????.?
Duração: [?/?/?]-[?/?/?]

Nexos Úteis

"The field [information theory] is at the crossroads of mathematics, statistics, computer science, physics, neurobiology, and electrical engineering."

Versão do curso: ????.?
Duração: [?/?/?]-[?/?/?]

Assuntos Ministrados

Aula Assunto
1 - Apresentação do Curso e Metodologia
2 - Conceitos de Úteis de Probabilidade
3 - Conceitos Gerais de Medida Informação; Contextualização História; Relevância e Aplicações
4 - Informação, Entropia; Entropia Máxima e Mínima
5 - Entropia Condicional, Entropia Conjunta
6 - Fontes Markovianas; Fontes com Memória; Fontes Ergódicas
7 - Extensão de Fontes
8 - Entropia Differencial
9 - Conceito de Canal; Matriz de Informação do Canal; Canal Binário Simmétrico; Canal Binário com Apagamento
10 - Entropia a priori e a posteriori; Informação Mútua
11 - Canais sem Ruído; Canais Determinísticos; Canais em Cascata
12 - Additividade da Informação Mútua
13 - Capacidade do Canal; Teorema da Capacidade (Shannon)
14 - 1o. Exercício Escolar
15 - Correcção do 1o. EE
16 - Codificação de Fonte; Códigos Instatâneos; Construção de Códigos Instantâneos
17 - Desigualdade de Kraft e Teorema de McMillan
18 - Comprimento Médio de um Código; Códigos Compactos; Entropia e Comprimento Médio
19 - Teorema da Codificação sem Ruído (Shannon); Teorema de Shannon para Fontes Markovianas; Taxa de Informação
20 - Código Binário de Huffman; Código de Huffman (Caso Geral)
21 - Compressão de Dados; Algorithmo de Compressão Adaptativa LZ (Lempel-Ziv) (Usado por gzip, pkzip, winzip, etc)
22 - Run-length Coding
23 - Codificação de Canal; Redundância; Decodificação; Probabilidade Mínima de Erro; Decodificação de Máxima Verossimilhança; Distância de Hamming
24 - Erro de bloco; Teorema Fundamental de Shannon; Códigos Binários Lineares
25 - Códigos Binários Lineares (cont.); Matriz de Paridade
26 - Check-bit; Decodificação; Síndrome; Peso de Hamming
27 - Códigos Perfeitos; Códigos de Hamming; Tipos de Erros; Checksum
28 - 2o. Exercício Escolar
29 - Correcção do 2o. EE
30 - 2a. Chamada
31 - Exame Final

Tarefa de Casa

Aula Tarefa

Referências

  1. [M2003] MacKay, David J. C., "Information Theory, Inference, and Learning Algorithms", Cambridge University Press, 2003. [Disponível gratuitamente em vários formatos. Accesse nexo anterior. Cópia local aqui.]
  2. [A1963] Abramson, N., "Information Theory and Coding", McGraw-Hill Education, 1963.
  3. [CT2006] Cover, Thomas M.; Thomas, Joy. A., "Elements of Information Theory", Wiley-Interscience, 2006. [Disponível na Biblioteca do CCEN com esta ficha catalográfica.]
  4. [M1998a] Massey, James, "Applied Digital Information Theory I" (Lecture Notes), ETH Zurich, 1998. [Disponível gratuitamente. Accesse nexo anterior.]
  5. [M1998b] Massey, James, "Applied Digital Information Theory II" (Lecture Notes), ETH Zurich, 1998. [Disponível gratuitamente. Accesse nexo anterior.]
  6. [T1999] Togneri, Roberto, "Information Theory and Coding 314" (Notas de Aula), PDF version, Compilado em 1999. [Disponível gratuitamente. Accesse nexo anterior. Cópia local aqui.]
  7. [C1948] Shannon, Claude E., "A Mathematical Theory of Communication", PDF version, Reprinted with corrections from The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948. [Disponível gratuitamente. Accesse nexo anterior. Texto seminal; leitura mandatória aos interessados na área. Cópias impressas disponíveis na Biblioteca Central e nas Setoriais do CTG, CCEN e CAC.]
  8. [MS] Material Suplementar.

Política do Curso

A prova de 2a. chamada é destinada apenas àqueles que não compareceram a um dos dois exercícios escolares.

Não serão realizados listas, provas extras, testes ou qualquer outro meio destinado a "melhorar" a nota. O conceito final no curso será obtido exclusivamente dos resultados apresentados nos Exercícios Escolares, na 2a. Chamada e no Exame Final.