-
Apresentação
Apresentação
Esta cadeira aborda uma variedade de tópicos relacionados à engenharia de dados numa perspectiva do Cientista de Dados, desde as diversas fontes de dados até a estrutura e disponibilização dos dados processados para modelos e visualização. Os alunos aprendem os fundamentos conceituais da engenharia de dados que permitem disponibilizar dados com qualidade para utilização em aplicações de ciência de dados.
-
Disciplina do curso
Disciplina do curso
-
Grau | Semestres | ECTS
Grau | Semestres | ECTS
Licenciado | Semestral | 6
-
Ano | Natureza | Lingua
Ano | Natureza | Lingua
2 | Obrigatório | Português
-
Código
Código
ULHT6634-24446
-
Pré-requisitos e co-requisitos
Pré-requisitos e co-requisitos
Não aplicável
-
Estágio Profissional
Estágio Profissional
Não
-
Conteúdos Programáticos
Conteúdos Programáticos
A UC está organizada nos seguintes conteúdos programáticos:
- CP1 - Introdução
- O que é um Engenheiro de Dados?
- O que um cientista de dados necessita saber de engenharia de dados?
- Pipelines de engenharia de dados
- CP2 - Bases de Dados relacionais
- Revisão de SQL
- Conceitos utilizdos em modelos de dados
- CP3 - Modelagem de dados
- Fontes de dados
- Data Lake
- Data Warehouse
- Data Lakehouse
- Modelos de dados
- CP4 - Fundamentos de Big-data
- Hadoop
- MapReduce
- CP5 - Transformação de dados
- Transformações necessárias para armazenar os dados para projetos de Data Science
- CP6 - Ferramentas de visualização de dados
- CP7 - Bases de dados NoSQL
- CP8 - Projetos de engenharia de dados
- CP1 - Introdução
-
Objetivos
Objetivos
OA1. Compreender os conceitos fundamentais de engenharia de dados.
OA2. Compreender o ciclo de vida da engenharia de dados.
OA3. Aprender a utilizar SQL para transformar e consultar dados.
OA4. Compreender técnicas de modelação de dados para organização e gestão de dados.
OA5. Construir pipelines para coletar, transformar, analisar e visualizar dados de fontes operacionais de dados.
OA6. Ser capaz de aplicar os princípios utilizados nas aulas para construir um pipeline completo da coleta à visualização de dados.
-
Metodologias de ensino e avaliação
Metodologias de ensino e avaliação
As aulas são expositivas e presenciais. Incentiva-se a participação ativa dos alunos/as no processo de ensino através de perguntas que estimulam o interesse pelos conteúdos da disciplina. Quando apropriado, a apresentação dos conteúdos é precedida pelo estudo de problemas específicos que os alunos conhecem. Alguns tópicos surgem na sequência da análise de problemas cuja resolução leva naturalmente à seu questionamento e/ou formulação. Sempre que possível, os conteúdos são ilustrados com exemplos e contraexemplos. Na maioria das sessões de aula, são apresentados problemas para que os alunos trabalhem independentemente, a fim de garantir a compreensão dos conceitos e técnicas abordados.
-
Bibliografia principal
Bibliografia principal
- Lau, S., Gonzales, J., Nolan, D. - Learning Data Science. available at: https://learningds.org/intro.html
- Kleppmann, M. (2017). Designing Data-Intensive Applications. O'Reilly Media.
-
Horário de Atendimento
Horário de Atendimento
-
Mobilidade
Mobilidade
Não
