0:07 [Música]
1:14 Ô [Música] [Aplausos]
1:59 [Música] เฮ [Música]
3:41 Hello, hello, hello. Estávamos aqui morrendo de rir. Eu e Mari, que era operadora. É a operadora e Dudu que também tava aqui, que a gente tava tentando fazer funcionar o mouse, o teclado, tava tudo funcionava. Um, não funcionava o outro. Aí eu tava só comentando, porque isso que eu detesto essa história de tecnologia, né? Esse negócio de informática atrapalha muito a vida das pessoas. Mas vamos embora. Bruninha tá aí, Gisele tá aí. A Bruna Carla é a minha é a minha eh moderadora, tá? Agora à tarde. Obrigada, Bruninha, pela sua moderação. Espero que nós tenhamos uma boa transmissão. Espero que dê tudo certo. Vamos simbora. Eu acho
4:27 que travou por isso, Bruna, porque a gente tava fazendo esses ajustes aí, não sei, parece que uma hora saiu do aguarde, mas eu acho que já voltou. Dá uma olhadinha que eu acho que voltou. A gente tava fazendo os ajustezinhos aqui no estúdio e tava engraçado. Funcionava uma coisa, não funcionava outra. Mas vamos lá. A Yumi que chegou, boa tarde, Aumi. Fofa, Flavinha, tô com saudade de você, Flavinha. Teve aulas ontem. ia dizer segunda ontem. E cadê você que não tava sentir sua falta? Sou dessas. Sou muito, muito carente, né? Vamos simbora. Vamos embora. Gente, hoje vale o que tá escrito no título da aula,
5:15 tá? Então é a nossa aula de reta final, mas agora é pro bloco três, eixo 4, tá? Então, reta final. Só que agora é só do eixo três, bloco 4. Perfeito. A gente ontem teve aula do CNU, mas era aquela que era para todo mundo, era lá de conhecimentos básicos, na parte conhecimentos gerais, né? na parte básica pro bloco de um a sete. Perfeito. Aí essa de hoje é só pro bloco três, eixo quatro, tá certo? Então, eh, Bruninha, Bruna Carla, com
6:01 certeza, enquanto eu tiver gravando, vai entrar gente perguntando para que serve a aula. Aí, Bruninha só informa isso, que ela é própria pro bloco três, eixo quatro, tá certo? Então, o pessoal que vai fazer bloco dois, bloco um, bá. Não, essa parte não. Agora, Manu, eu vou fazer Cfaz Goiás, então assista. Então, serve para você. Ah, Manu, eu vou fazer eh TCE Pernambuco, então assista, serve para você. Eu vou fazer TCR Rio Grande do Sul, então assista, serve para você. São Paulo, então assista, serve para você, tá certo? Os outros servem. Agora pro CNU, se o seu foco é CNU, aí não. Aí CNU
6:49 é só pro bloco três, eixo quatro, tá certo? Por quê? Porque hoje nós vamos falar sobre dados, depois dados abertos, depois ciência de dados, depois big data. Então são assuntos que caem na área fiscal, na área de controle, na área policial, mas que não cai nos outros blocos do CNU. Perfeito. Então, se agora seu foco é CNU, se você só vai fazer CNU, não, se não for bloco três, não assista essa aula. Não é só CNI, eu vou fazer área fiscal, área policial, vou fazer área controle. Então assista a aula porque esses assuntos caem em todas as provas. Policial, controle tribunal, legislativo, tá combinado assim? Vicenço
7:38 disse que vai na sua casa lhe ajudar com a máquina de lavar. Mulher parece onda, mas não é. Eu não sabia usar a máquina de lavar. Eu nunca tinha usado a máquina de lavar. Eu não sei lavar roupa, entendeu? Eu sei fascinar com aprendi na pandemia. Eu sei cozinhar. Me viro super bem. Mas eu não vou mentir. Lava roupa não sei. Aí tá numa, tô numa troca, sabe, de de secretária. Aí ficou um iato porque aí a nova vai chegar. Eu me organizei para ser um dia que eu esteja de home office para poder acompanhar. Aí eu olhei, disse: "Mas eu não vou esperar não essas roupas. Pois eu pedi pro chat GPT. Flavinha, sem brincadeira, eu tô falando sério. Se fui lá, GPT, vem
8:24 cá. Ó, minha máquina é essa. Como é que eu uso? E para que serve esse botão? Ah, e esse buraco aqui bota o quê? Aí ele me explicando, ó. Bota o sabão, bota a maciante, não sei quê. Deu certo. Super deu certo. Não vou andar de taida aí, né? Toda manchada por uns dias. Deu certo. Deu certo. Gostei. Agora, minha filha, eu sou uma dona de casa completa porque eu também lavo roupa. Continuo sem saber passar. Mas uma coisa de cada vez, tá? Até aqui tudo bem. Vocês entenderam tudo da aula? Flavinha ruim. O marido dela, Vicência é o marido dela dizendo que vai lá em casa me ajudar com a máquina de lavar. Maldade, combinado? Então, já
9:11 expliquei o que é a aula, já falei com todo mundo. O material tá na descriçãozinha da aula já, tá? Mari já disponibilizou e eu acho que agora nós podemos começar, tá bom? Então, vou jogar a vinheta e já volto com vocês. Eu vou demorar um minutinho mais ou menos para entrar. Não foi porque travou por nada não. É só o tempo de eu ajustar aqui a bancada que tem um pouco aqui de coisa misturada. Um minutinho só e aí a gente volta, combinado? Tá de boa? Então vamos bora. Vamos lá. [Música]
10:32 Oi, gente. Voltamos com mais uma aula aqui na nossa toca coruja. Tuchu tchuchu tchu. Suspeita para falar. Suspeita para falar. E hoje nós vamos ter aula de quê? Hoje nós vamos falar sobre a reta final do CNU, bloco 3, eixo 4, tá? Lembrando para vocês que, ó, nós temos aqui o meu o meu endereço, o meu direct do Insta, tá? Então pode mandar mensagem para mim à vontade. Direct do Insta é o nosso canal de contato aí mais direto. Então pode mandar mensagem para mim que eu vou te responder com maior prazer. E quem responde sou eu, não é a minha equipe,
11:17 tá? Quem responde sou eu, então pode ficar super tranquilo. Aí é o nosso canal de contato mais direto. Perfeito. Massa. Aí que mais vamos começar essa nossa primeira reta final falando sobre dados, conhecendo os dados, revisando a parte de ciência de dados, depois a parte de big data, tá certo? Se der tempo, no final eu separei umas questõezinhas da nossa banca querida FGV, tá? Pra gente já ir jáir entre aspas de big data. Então, dentro da Então, dentro do bloco, do bloco três do
12:03 eixo 4, provavelmente esse vai ser o nosso núcleo central das questões. Aí, por isso eu já tô começando a reta final por ele. Ah, Manu, então os outros não vão ser importantes. Eu falei isso, eu disse isso? Não, eu só disse que esses são os tópicos que provavelmente tá, esses e a parte ali de aprendizado de máquina e a as partes, os tópicos que desse bloco, desse eixo, desculpa, a FGV provavelmente vai bater mais, tá certo? Eu eu me confundo, gente, me desculpa, mas eu vou vou ser que eu repita isso. Bloco com eixo, vocês confundem às vezes, menina, às vezes eu misturo, sabe? Eu sei que os blocos, não se preocupem, eu sei que a gente tá no
12:48 bloco três, o bloco de ciência, dados e tecnologia, mas eu na hora de falar misturo o bloco quatro, o eixo, sabe? Então é o bloco três, o eixo quatro. Então do eixo quatro provavelmente esses vão ser os tópicos que a FGV mais vai cobrar junto com aquela parte de aprendizado de máquina, inteligência artificial e etc, que eu também vou estar batendo com vocês, tá certo? Beleza? Aí, o que é que temos? Primeiro nós vamos com dados e a gente tem que começar aprendendo o que é o dado. Nessa parte eu tenho aqui nessa nessa nesse concurso, né, no CNU, eu tenho um cuidado muito especial. Por quê? Porque esse bloco é o bloco de
13:37 dados, tecnologia, blá blá blá. Mas se você observar as vagas, os cargos, tem uma pluralidade de cargos ali. Tem um monte de pesquisador, um monte de cientista, uns cargos bem particulares, né? E aí o que é que acontece? São pessoas que podem sacar muito da área delas, provavelmente sacam, mas talvez nunca tenha estudado essa parte de TI. Então, a gente tem lá uns cargos de analistas de sistemas, é fato, temos, mas tá misturado, tá misturado com tecnólogo, tá misturado com pesquisador, tá misturado com cientista, tá uma baguncinha ali naqueles cargos. Vocês concordam, né? Assim, não vou dizer
14:23 bagunça, uma heterogeneidade. Hum. Saiu nos cargos. Então eu vou fazer a reta final, apesar de ser o eixo supostamente específico para TI, eu vou fazer essa reta final revisando como se daí assistindo tivesse pessoas que nunca viram matéria. Por quê? Porque provavelmente vai ter, tá? Ou pessoas da área de TI, mas que nunca trabalharam com essa parte de dados, porque tem cargo que não exige nenhum tipo de especialização, é só analista de sistemas, né? E tem os cientistas, os pesquisadores, que talvez nunca tenham visto essa parte da matéria, tá certo? Então vamos lá. O que é que a gente tem? Primeira coisa que a gente tem que
15:09 compreender é o que o computador faz, que é isso aqui, processamento de dados. Então o computador ele é uma máquina que foi construída só para isso, para realizar processamento de dados. Perfeito. E o que é esse processamento de dados? Olha só, eu chego para você e falo: "Mãe, frente casa eu não falei nada. Por quê? Porque a sua mãe pode estar na frente da sua casa, a sua mãe pode ter saído de fronte da sua casa, a sua mãe pode estar gritando na frente da sua casa. Então,
15:55 mãe frente casa não significa nada. Palavras soltas sem um sentido associado. Perfeito. Beleza. Show de bola. Essas palavras soltas, sem sentido associado, elas são dados. Então veja que essa parte de dados é exatamente aquilo que não tem contexto. O dado é o elemento mais básico da comunicação, é o elemento mais primitivo na comunicação e ele não vai ter contexto. Perfeito. Aí agora eu pego a mesmo o mesmo conjunto de palavras e agora eu vou
16:40 falar assim: "Sua mãe está de fronte à sua casa". Aí quando você fecha o olho, você não vê sua mãe lá na frente da sua casa? Não vê? Pronto. Isso não é mais um dado. Isso agora tem contexto. Isso agora é uma informação. Perfeito. Então agora eu não tenho mais um dado. Agora eu tenho uma informação. Show. Pois é. É essa a ideia. Então, o processamento de dados nada mais é do que a conversão do dado em
17:28 informação. Pegar esse elemento sem contexto, sem sentido e transformar em algo que tem contexto, em algo que tem conjuntura, que é a informação. Perfeito. E, ó, se você observar, é o que o nosso cérebro tá fazendo o tempo todo. Pode observar. que você vai ter o tempo inteiro, ó. Pega o dado, processo já informação, pega o dado, processo de informação, pega o dado, processo germação. Não é assim? O tempo inteiro você vai estar fazendo isso aqui. Processamento de dados, massa, tranquilo, maior só. Para eu pegar esse dado e transformar
18:15 esse dado em informação, para criar aquela frase que você que eu falei para você, sua mãe está de fronte a sua casa, eu não tive que seguir regras, não foi? Quem vem primeiro, quem vem depois, sujeito, predicado, bá bá, não foi? aqui também para esse dado uh virar informação, eu não vou chegar aqui e fazer chazã, não é? Então, para esse dado virar informação, eu também devo seguir regras. E as regras elas são pré definidas. Perfeito. Essa é a ideia. Então, as regras vão ser pré-definidas. Perfeito?
19:03 Aí, olha só o arremate final. Qual é o arremate final? É que o processamento de dados consiste na conversão do dado em informação. Delícia. Esse processamento vai se dar baseado em regras. Perfeito. É basicamente o que o cérebro humano faz. Perfeito. Só que aí a gente criou uma máquina que é exatamente o sistema computacional para fazer isso. Então, um computador ou um elemento computacional, que pode ser um computador, um tablet, um celular, qualquer elemento que processe dados, vai est só fazendo isso, pegando o dado,
19:49 uh, transformando informação. Pegando o dado, uh, transformando informação. baseada em regras prédefinidas. Só isso. Simples assim. Não é fácil? Então, o homem cria essa máquina para quê? Para reproduzir o que ele já fazia naturalmente. Aí, quais os conceitozinhos que eu preciso que você conheça? Que nós vamos ter aqui o dado, que é esse elemento mais básico de todos. é esse elemento que não tem contexto associado, que não tem sentido sozinho. A partir do dado, eu extraio a
20:34 informação. Então, a informação já é o meu dado contextualizado, já é o meu dado com sentido associado. Aí da informação eu extraio o conhecimento. Vamos dar exemplo prático. Eu gosto de repetir exemplo. Por quê? Porque às vezes a gente vai repetindo, repetindo, repetindo. Aí você vai fixando. Se eu te der sempre exemplos diferentes, pode ser que na hora da prova, quando você lê, você Mas não consigo associar, entendeu? Aí aqui eu te dando sempre o mesmo exemplo, repetindo, repetindo, repetindo, repetindo. Quando cai na prova, tá, seu cérebro vai instantaneamente para aquilo, já mapei automaticamente, tá
21:21 certo? Então, o que que a gente tem aqui? Imagina que eu chego para você aí, digo 150.000. 150.000, só 150.000. Vai ser dado informação, conhecimento ou sabedoria. Na prova pode cair sabedoria ou inteligência. É a mesma coisa, tá? E aí, que é que você acha? 150.000 Dado, é só um dado. Aí agora eu chego para você e digo: 150.000 camisetas brancas vendidas no mês. Aí, isso agora não é mais um dado, isso
22:07 agora é uma informação, tem um sentido, tem um contexto, agora é uma informação. Aí o setor de marketing olha e diz: "Caraca, camiseta branca se vende organicamente, não precisamos fazer campanha pra camiseta branca. Camiseta branca é orgânico." Aí o setor de vendas olha e diz: "Yes, batemos a meta". Aí o setor de estoque diz: "Eita, pau, pera aí, vamos, vamos repor o estoque de camiseta branca, carô meu irmão, minha gente do céu, ó, quanto vendeu esse mês?" Aí o setor de matériapra diz: "Minha
22:53 gente do céu, compra malha branca, corre para comprar malha. Minha, a gente vendeu 150.000 camiseta esse mês e por aí vai." Então veja que cada um olhou para aquela informação e extraiu daquela informação um conhecimento, algo que diz a respeito ali da sua expertise, tá? Algo que fala sobre ações que ele vai tomar a respeito daquela informação. Perfeito. Agora veja que todos os exemplos que eu dei são ações meio que préesperadas. Eu já espero que o setor de marketing pense isso, que o setor de vendas pense isso, que o setor de estoque pense isso.
23:38 A inteligência ou sabedoria é pegar esse conhecimento para ter um novo insite, para agregar algo de novo aquele negócio. Tipo assim, a diretoria olhar e dizer: "Ah, a gente vendeu 150.000 Camiset branca. Foi organicamente foi. Qual é o ticket da camiseta branca? R$ 69. Hum. Quanto é que ela dá de lucro líquido? Líquido. R$ 60. Aham. Por quê? Não, porque ela vende orgânico, não faz campanha. Bota a massa, a malha lá no início da linha de produção, a máquina corta, a máquina costura, a
24:24 máquina dobra, a máquina embala. Então ela sai em torno de R$ 9 o custo com imposto, com tudo. É. É. E a gente vendeu R 150.000. É. Então, camiseta branca é nosso carro chefe. Agora em todas as lojas da minha marca, eu quero um manequim com a camiseta branca na frente da loja. Pronto. Eu não vou fazer propaganda, não vou fazer nada, mas eu quero que as pessoas lembrem que eu vendo camiseta branca, entendeu? Então isso já é o quê? Inteligência. Já é um insight a mais, já é a sabedoria. Perfeito. Veja que eu peguei o meu conhecimento todo e apliquei para algo novo que agregue mais valor o negócio da minha empresa. A isso
25:10 já é a inteligência ou a sabedoria. Perfeito, tranquilo. É isso que eu preciso você saiba, tá? Então aqui o que é que nós vamos ter? Lembra dessa pirâmide de abstração dos dados, tá? Por que abstração? Isso é outra palavrinha que eu preciso te apresentar, tá? Abstração é a ausência de detalhes. Veja que quando você chega para mim e você me conta alguma novidade, por exemplo, vamos supor, vamos supor que a Bruna chega para mim e vem me falar da Beatriz. Aí Bruna diz: "Manu, eu não suporto mais Beatriz". Eu digo, por que Bruno? Porque Beatriz isso, Beatriz
25:56 aquilo, Beatriz, Beatriz, Beatriz, Beatriz, Beatriz. Aí quando Bruna terminar de falar tudo, aí eu vou dizer: "Ô, Bruna, deixa para lá, abstrai. Bia tá estressada, abstrai. Abstrai. Quer abstrair? Deixa para lá. Mesma coisa aqui. A medida em que eu subo nessa pirâmide, o nível de abstração aumenta. Por quê? Porque quando eu tô aqui no dado 150.000, aí eu vou saber que 150.000 é um número inteiro, é um número do tipo inteiro, tá na tabela tal. Então eu vou saber bastante detalhes desse dado. Aí a
26:42 abstração é baixa. Quando chega na informação, 150.000 1 camisetas vendidas no mês. Veja que eu já sei, sei detalhes, mas sei menos do que sabia quando era soldado. No conhecimento, eu vou saber menos detalh ainda daquele dado específico. Eu vou ter acesso a mais informações, mas eu sei menos detalhes daquele dado específico e quando chega aqui na inteligência, menos ainda. Então, a medida em que eu subo, a abstração aumenta. Por que aumenta a abstração? porque diminui o detalhamento. Então, sempre lembrar que a abstração é inversamente proporcional ao detalhamento. Não esquece disso, tá? FGV ama essa esse trocadilho, essa
27:31 brincadeirinha. Perfeito. Tá de boa. Aí nós vamos falar sobre os tipos de dados. Quais são os tipos de dados? Basicamente estruturado, semiestruturado e não estruturado. O que é isso, Manu? Lá nos primórdios dos tempos, quando tudo era mato, que é que acontecia? A gente só tinha dados simples. Os dados se resumiam basicamente a números, letras, datas e horas. tão numérico, eh, caracter e data e hora. Eu conheço a característica, as propriedades desse
28:18 dado antes mesmo dele existir. Um dado do tipo numérico, por exemplo, inteiro. Eu sei as características que um inteiro deve ter antes mesmo do meu dado existir. Um dado do tipo texto. Eu sei as características que um dado do tipo texto deve ter antes mesmo dele existir. e assim por diante. Esse dado que eu conheço as características dele, as propriedades dele antes mesmo dele existir, que ele cabe numa caixinha. Eu pego o número inteiro, ó, boto na caixinha do número inteiro e ele cabe nessa caixinha do número inteiro. Aí isso é um dado de que
29:03 tipo? estruturado. Perfeito. Só que aí o mundo ele começou a evoluir. E aí como ele começou a evoluir, a gente começou a ter o dado que eu não conseguia antever a estrutura dele. Eu não conseguia classificar antes, mas eu conseguia classificar depois. Aí esse passou a ser o dado semiestruturado. Para esse dado semiestruturado, a gente vai ter aqui, ó, XML, Jon Jzon e CSV.
29:49 Apareceram esses nomezinhos. Pode parar de ler. Pode parar de ler que a gente já vai ter o que aqui? a gente vai ter aqui essa dado semestruturado, tá? Então, no dado semestruturado, eu não consigo classificar antes dele existir, mas eu consigo classificar depois. Então, depois que ele existe, eu consigo ir lá e botar na caixinha. Só que aí o mundo evoluiu mais ainda. Aí vem o texto que você cria, por exemplo, numa rede social, o áudio, o vídeo. Esse eu não consigo classificar
30:36 nem depois que ele existe. Como assim, Manu? Essa aula mesmo, esse arquivo dessa aula agora tá chegando para cada um de vocês que tá assistindo aí simultaneamente de uma maneira diferente, sabia? Pois é. Tem gente que tá vendo com mais qualidade, com menos qualidade, porque isso depende da sua rede, isso depende da sua placa de vídeo, isso depende do seu monitor. Tem n variáveis envolvidas aí e cada um tá assistindo de um jeito diferente. Então veja que nem depois que ele existe, eu consigo botar numa caixinha.
31:23 Aí, esse é o dado o quê? Não estruturado. Perfeito. Pronto. É isso que eu preciso que você saiba pra prova. Então, dado estruturado, organização, correlação ali entre si. Os dados são do mesmo grupo, tem atributos similares, tá? São mantidos em um banco relacional. São características típicas do dado estruturado. Semiestruturado. Semiestruturado eu não consigo classificar antes, não são ali tipados estritamente, mas eu consigo definir após a existência dos dados. Então, a estrutura dele é irregular no sentido que não tem uma caixinha prévia
32:09 para eu ir lá e colocar. Perfeito. E aqui XML, vamos colocar os demais para você ir lembrando. Jon, Jon e o CSV. CSV. A pessoa fala uma coisa, escreve outra. Perfeito. Essa é a ideia dos arquivozinhos padrão, tá? Aí, que mais temos? O nome estruturado. Esse não vai ter estrutura definida. geralmente documentos de texto, esses digitados em redes sociais, em blogs, tá? Aí a gente vai ter aqui o o áudio, o vídeo e assim por diante. Perfeito. Só bebendo água. É a maior parte dos
32:56 volumes de do volume de dados de hoje em dia. E por que que a gente tá estudando esses dados? Primeiro porque tem só edital. Segundo, porque a gente precisa um pouquinho mais aqui na frente pra gente já de cara aprender sobre big data. Perfeito, tranquilo? Aí nós vamos ter palavrinhas chaves. Não esquece, tá? Não esquece. Outra pegadinha. As bancas gostam de inverter com você, de fazer você achar que primeiro dado era não estruturado, bagunçado. Aí depois a gente começou a dar uma organizada, aí ele ficou semiestruturado.
33:42 Aí depois a gente deixou eles bem bonitinhos, aí eles viraram estruturados. E não é, tá? É o contrário. Primeiro a gente controlava o mundinho ali da TI, aquele mundinho ali, aquele universo dos dados era estruturado. Aí o negócio começou a crescer com essa história da internet e de publicar o texto e não sei que mais lá. Aí, ó, a gente passa por semiestruturado e aí vem o big data e aí vem áudio, vídeo e blog, não sei o que mais lá. Ai, minha filha, virou tudo não estruturado. Quer dizer, tudo não, né? Mas explodiu a quantidade de dados não estruturados. Perfeito. Então só não confunde isso, tá bom? Aí nós vamos
34:27 falar do ciclo de vida dos dados, que é bem simples. Qual é a ideia desse ciclo de vida? Nós vamos ter uma coleta. O que é a coleta? É a captura do dado. Então o dado chegou no meu sistema. Eu fiz a coleta do meu dado, tá? Pode ter chegado através de um cadastro, pode ter chegado através de uma exportação, pode ter chegado de n formas, mas ele chegou. É a coleta. Depois da coleta, eu faço o armazenamento. A gente usa muito essa palavra, ó, a persistência do dado. Então, um dado
35:14 persistido é um dado armazenado. Perfeito. Pego esse dado, boto lá no meu banco de dados. Então eu armazenei, depois eu quero ir buscar o dado. Esse querer ir buscar, esse buscar é a recuperação. Então recuperação de dados não é porque o dado tá com problema, tá com algum defeitinho e aí eu vou ajeitar o meu dado. Não, não, não é isso. Recuperação dos dados é ir buscar esse dado lá no banco de dados. Perfeito. E por fim, nós fazemos o descarte quando necessário. Aí a gente vai lá e faz o descarte. Perfeito. Não é uma coisa meio
36:02 óbvia. Então, quais são os passos? Quais são as etapas aí do ciclo de vida do dado? Coletei, peguei o dado, tô com dado, faço o que com ele? Persisto, armazeno. Armazenei. Que é que eu vou precisar fazer depois? e buscar, recuperar meu dado e depois, ah, quando chegar a hora dele, quando ele tiver cumprido o papel dele dentro do meu sistema, eu faço o descarte dele. Perfeito. Todas essas fases, elas têm entre elas a integração. Qual é a ideia? Durante a coleta, ela já
36:49 tá preparando o meio de campo, preparando o terreno para que possa depois fazer o armazenamento. Aí na hora que armazena ela já tá preparando o terreno para que você possa fazer a recuperação. E quando você está ali utilizando o dado, ela já vai preparando pro momento em que aquele dado não for mais necessário e que ele precisar ser descartado. Perfeito? Então, entre todas essas fases, a gente tem uma integração, dando a liga, fazendo ali o vínculo entre essas partes. Perfeito, tranquilo? É isso. Olha que fácil.
37:38 Fácil, facíimo, facérmo, não é? Então, acabamos o nosso primeiro bloco. Daqui a pouco a gente volta e aí a gente vai seguir agora com dados abertos, tá bom? Até já, gente. Beijão. Pessoal do ao vivo, tudo OK? O Antônio que chegou, menina. Eu já tô até emocionada com o Antônio aparecendo nas aulas. Pingado na semana, mas aparece. Tô bege passada toda me tremendo, né? Seja bem-vindo. A Iara, nunca vi essa matéria, mas é meu bloco, né, Iara? Pois é, por isso que apesar de ser esse bloco
38:25 de tecnologia supostamente, mas eu tô tratando como se não fossem pessoas da área de TI, porque eu sei que tem muita gente que não é, tá? O CNU faz isso, dá aquela misturada nos blocos, né? Então a gente tem que ter essa sensibilidade, tem que ter esse cuidado aí com vocês, tá bem? Aí tava travando, mas parou. E o Rodrigo que chegou aí também, seja bem-vindo, Rodrigo. Tranquilo, todo mundo tá de boa? Então agora a gente vai falar sobre dados abertos, tá? Depois a gente já entra em ciência de dados, OK? Posso jogar a vinheta e começar o próximo bloco? Nenhuma dúvida? Então vamos lá.
39:11 Então vamos bora. [Música]
40:01 Oi, gente. Voltamos com mais um bloco da nossa aula que vamos falar agora. Agora nós vamos começar o nosso bloco falando sobre dados abertos, tá? Que é que nós temos aqui nesses dados abertos? Ó, primeira coisa, vamos entender isso. Nem todo dado é aberto. Não existe a obrigatoriedade do dado ser aberto. Agora, se o dado for aberto, ele tem que seguir as regras e as características que eu vou falar agora, tá? Então, nem todo dado é aberto, mas se ele for um dado aberto, ele tem que ter as características que nós vamos
40:46 falar agora. Perfeito, tranquilo? Então, o que temos aqui? Nós temos uma organização, tá, internacional que considera que dados abertos são dados que qualquer pessoa pode acessar, pode usar, pode modificar e pode compartilhar livremente para qualquer finalidade. No máximo, o que é que a gente tem que fazer? preservar a origem, né, a proveniência e a sua abertura. Pronto. Ou seja, em outras palavras, qualquer pessoa pode fazer uso desses
41:33 dados, no máximo deve citar a fonte e não pode ela pegar o dado que é aberto e querer faturar com isso de forma fechada, né? Aí não, por isso manter ali a abertura, preservar a abertura. Perfeito. E isso você vai ter como um conceito geral. Um conceito geral. Agora, o que é que acontece? Vamos ter essa ideia de dado aberto sendo adotada na sendo adotado na administração pública quando surge uma legislação
42:18 muito importante à época que é a lao informação. Então o que é que ela fez? ela fez, ela regulamentou os dados abertos, o uso dos dados abertos na administração pública no Brasil. E aí, quer dizer, na verdade, ela regulamenta o uso de dados abertos em geral, inclusive na administração pública. Perfeito. Então, que é que nós temos dentro desse aspecto governamental? que dados abertos é uma metodologia para publicação de dados. Agora vamos começar as palavrinhas chaves
43:05 em formatos reutilizáveis. Que que significa isso? Primeiro que tem que ser em formato aberto e segundo que quando o órgão disponibiliza esses dados, ele tem que ofertar condições para que se possa extrair esses dados, gerar relatórios e assim por diante. Perfeito. É essa a ideia. E o que é um formato aberto, Manu? Um formato aberto é um formato não proprietário. Você nunca parou para pensar por que quando você vai entrar com
43:52 processo administrativo ou com processo judicial, geralmente eles exigem que os documentos estejam no formato PDF. Você nunca parou para pensar o porquê disso ou por quê? Por que isso? Porque primeira preocupação da gente lá atrás, quando tudo era mato, da gente assim, pessoal de TI, né? Quando tudo era mato, era, tá? Nós agora vamos ter o documento só no formato digital, ele não vai mais existir fisicamente. E se eu pegar e usar nesses documentos, nesses dados abertos de uma maneira geral, nos dados, não só nos dados abertos, mas nos dados de uma maneira
44:38 geral, um formato proprietário, por exemplo, Doc X, que é da Microsoft, e se a Microsoft não existir daqui a 30 anos? Aí, como é que eu ia reconhecer esse arquivo? Entendeu a ideia? Aí na época pensaram: "Não, a gente tem que ter um padrão de dado aberto". Aí convidaram, convocaram as empresas a abrirem o padrão. A Microsoft não quis abrir a dela, mas a Adobe quis abrir o PDF. Então o PDF é um formato, o PDF reader, tá? O leitor do PDF é um formato aberto.
45:24 Existe um documentozinho internacional com todas as regrinhas que um leitor deve seguir para ler um documento PDF. Aí é por isso que a gente tem esse PDF quase como um formato universal para esses documentos digitais. Entenderam agora o porquê? Pronto. Então aqui os documentos devem estar em formatos não proprietários. Os dados devem ter, tá? estar disponibilizados em formatos que eu possa exportar, importar no Excel, importar num CK, num Word, em outros softwares, ou seja, formatos interoperáveis. Para quê? Exatamente. Para que eu possa, por exemplo, tô fazendo investigação policial, aí eu entro no órgão, baixo lá o relatório,
46:12 pego para mim, abro no Excel, vou analisar os dados, tá? Os dados são abertos, então por isso eles devem ser disponibilizados dessa forma correta, tá? Quais as grandes vantagens que se busca com isso paraa administração pública? aumento da transparência, maior participação política por parte do cidadão, porque você pode agora ter acesso a esse dado. Você quer saber quais são as licitações que tão em andamento numa num órgão tal? Pronto, vai procurar, vá procurar que vai ter esse documento disponível lá, tá? Esses esse registro vai est disponível. Então o cidadão ele pode participar
46:59 mais fortemente, né, dessas gestões e você tem aplicações que você vai ter ali de forma eh criadas, né, interagindo de maneira colaborativa com a sociedade. Por quê? Porque agora você pode organizar esses elementos ali dentro da sua estrutura. Perfeito. Tranquilo. Pronto. É essa brincadeira. Tá? Aí no Brasil a gente tem diversas legislações, como por exemplo a LAI, que regulam os dados governamentais e aí vários órgãos da administração pública foram obrigados pela lei, tá? Obrigados, porque na verdade foi por obrigação. Resistiram,
47:45 resistiram, resistiram até que a gente vai lá e meio que é obrigado a botar lá os dados, né? E aí todos os órgãos passaram a ter sua páginazinha na web, etc e tal, na forma de relatórios, balanços, pro cidadão exatamente acompanhar esses resultados. Perfeito. Quais seriam os principais efeitos dos dados abertos governamentais sobre as políticas públicas? Inclusão. Então, os dados são fornecidos. Isso aqui é o sempre o que cai na prova em formato padronizado, abertos, o que eu acabei de explicar, e
48:30 acessíveis. Qualquer cidadão com qualquer ferramenta de software pode adaptar a necessidade. Como eu falei, importo lá no Excel, importo lá no Calque, abro no Word e assim por diante. Perfeito. Transparência. Por quê? Porque as informações passam a ser abertas, acessíveis. Isso melhoraria a transparência, as partes interessadas podem usá-la e assim por diante. Tá claro que a gente tá falando do mundo perfeito, né? Até no chat estão falando há controvérsias, mas bem, vamos pensar pra prova.
49:16 Aumenta o quê? Qual seria o efeito? A responsabilidade. Por quê? Porque com os dados abertos devidamente associados, você poderia fazer o quê? você poderia ter aqui a informação sobre os desempenhos dessas gestões e principalmente no cumprimento das méicas, das metas, né, em políticas públicas. Então, veja que provavelmente no CNU a FGV cobrar dados abertos com esse foco de uso para quê? para acompanhamento da gestão e para quê? Para que se possa o próprio
50:01 cidadão ou os órgãos de controle ou, né, os funcionários, os servidores dos órgãos de controle ou quem quer que seja ter acesso a esses dados e daí você ter um acompanhamento mais de pertinho dessa desses dados da gestão. Perfeito? por exemplo, antes, né, dessa ideia dos dados abertos e de existir essa obrigatoriedade de que alguns dados sejam abertos. Lembrando que isso não significa dizer que todos os dados governamentais são abertos, claro que não, tá? Mas aqueles que forem dados abertos, segundo a la e as demais legislações, tem que estar disponíveis pro cidadão. Perfeito. E aí o que que acontece aí? Antes, suponhamos que eu
50:48 fosse da PF, aí eu tava fazendo uma investigação numa prefeitura, vamos supor, aí eu tinha que pedir autorização judicial para ir lá na prefeitura e solicitar os documentos que eu queria para fazer minha investigação. Aí me contaram, não sei se é verdade, que diz que nesse tempo, né, entre a polícia e lá pedir disponibilizar e tal, menina diz que ai menina caiu uma caixa de documento no esgoto. Ô meu Deus, mas mim, como foi isso? Mas rapaz, entendeu? Acho que acontecia umas coisas assim. Aí agora chegou lá a denúncia, chegou lá qualquer
51:34 coisa. Aí eu estou lá, ó, sentadíssima na sou da PF, vamos supor. Aí eu estou lá, ó, sentadíssima à frente do meu computador, entro no site da prefeitura, começo a baixar os dados abertos que eu preciso, ó. Hã, me dá aqui, ó, licitações. Me dá aqui, ó, folha de servidor. Pronto. E aí eu já posso pegar isso, já posso jogar lá numa planilha, já posso começar a analisar esses dados, começar a fazer a minha investigação. Quando chegar na necessidade de um dado que não é aberto, aí eu vou lá, peço a o a autorização judicial, vou lá e cato o documento. Perfeito. Já é um segundo momento da investigação. Entenderam a
52:20 importância? A mesma coisa para um TCU da vida, para um CGU da vida, para uma Receita Federal, os órgãos de fiscalização e controle de uma maneira geral e o próprio cidadão, caso ele queira participar desse processo. Perfeito, tranquilo até aqui. Aí o que é que nós temos aqui? Nós temos que no âmbito federal, como nós falamos, né, essa política dos dados abertos é coordenada pela CGU por meio da Infraestrutura Nacional de Dados abertos, que é o INDA. Essa política foi definida lá no decreto 877 de 2016. E quais são os principais pontos aqui? Os objetivos, os os o primeiro ponto são
53:06 os objetivos que envolvem primariamente reforçar a transparência pública, o acesso a dados, disseminar o acesso a dados, fomentando controle social, promovendo compartilhamento de recursos de tecnologia da informação e sempre com a ideia de tornar o governo mais efetivo, mais transparente, mais eficiente. Pelo menos é esse o objetivo. Perfeito. até aqui tudo bem. Aí nós temos aqui quais são os pontos mais importantes nesse contexto, tá? Alguns conceitos mais importantes que vocês devem ter. Dado que eu já expliquei, é o elemento mais básico desprovido de contexto
53:53 associado. Perfeito. É isso aí. Nós temos dado acessível ao público, qualquer dado gerado ou acumulado pelo governo que não esteja sob sigilo ou sob restrições de acesso da segunda lei de dados eh dados sigilosos, tá? Dados abertos. Veja que nem todo dado acessível ao público é necessariamente um dado aberto. O dado aberto é aquele que tá disponível pro público em meio digital, estruturado, em formato aberto, processáveis por máquina, referenciado na internet e disponibilizado sob licença aberta.
54:39 permite a utilização livre, o consumo ou cruzamento desses dados, limitando se eu creditar a autoria ou a fonte. Todos os conceitos que eu já expliquei, né? Agora juntinho. Formato aberto é aquele formato de dados que não tem patente, como por exemplo o leitor do PDF, como eu falei, plano de dados abertos. Esse plano de dados abertos é um documento orientador para as ações daquele órgão de implementação e promoção da abertura dos dados de cada órgão ou cada entidade da administração pública federal, obedecendo os padrões mínimos da
55:25 qualidade de forma a facilitar o entendimento e a reutilização das informações. os órgãos ou as instituições, elas devem atualizar esse esse documento de planos de dados abertos a cada 2 anos. É por bienênio. Isso já caiu em prova. Perfeito, tranquilo. E por fim, ah, só uma coisa, estão perguntando no chat ao vivo, mas eu acho pertinente a pergunta, então eu vou pegar e já vou explicar aqui na própria aula, tá? Não confunda dados abertos com software livre. Por exemplo, vocês já ouviram falar num
56:10 tal de Linux? Linux é um software livre. É mais ou menos a mesma lógica. O software livre é um software que pode ser feito sob várias mãos, com várias mãos. Por quê? porque ele também não tem um royals, uma licença de uso, entendeu? Então, por exemplo, o Linux, o núcleo do Linux, ele é disponibilizado gratuitamente na internet. Você sabia? É, você pode ir lá pegar e se você souber programar, você pode programar funcionalidades pro
56:57 Linux. Aí submete a um comitê e o comitê se aprovar incorpora aquilo ao núcleo. Então isso é um software livre aberto, tá? Essa é a ideia. Perfeito. Então ele pode ter ali uma implementação colaborativa. Qualquer pessoa pode ir lá, pode baixar, pode usar, tá? Tá? Então, o software livre sem licença e o aberto que eu também posso ir lá e posso implementar e posso colaborar com ele. Perfeito. Agora o dado aberto aí é só o dado agora não é o programa, é o dado. Aquela informação tipo contra cheque do funcionário. É um tipo de dado governamental aberto.
57:43 Então ele tem que estar disponibilizado de forma acessível ao público em um meio digital, na internet, de forma estruturada, ó, dado estruturado, que a gente já explicou, formato aberto, processável por máquina sob licença aberta para que qualquer pessoa possa ir lá utilizar, consumir, cruzar e no máximo creditar a fonte ou autoria. Esses são os contracheques disponibilizados pelo órgão tal. Entenderam? Beleza? Então não confundi, tá? Software livre, open source com o software, o dado aberto. O princípio, a ideia básica ali é similar, tá? Mas são elementos distintos. Entenderam?
58:32 Aí vamos lá pros princípios dos dados abertos que foram definidos pela OGD, tá? Então vamos lá. Primeiro princípio, o princípio da completude. O que é isso? Os dados públicos devem ser disponíveis em sua completude. Então, ele não está ali limitado a privacidade, segurança, controle de acesso. Agora, o que é que eu quero que você saiba? que nem todo dado é público. Nem todo dado não significa que porque é o dado de um órgão governamental, ele
59:18 tem que ser público. Não, nem todo dado é público. Mas se for, ele tem que tá disponível. Perfeito. Essa é a ideia inicial. primariedade é que ele tem que ser apresentado da forma mais similar possível como ele foi coletado. Ele não deve ter resumos, agregações. Eu devo tentar disponibilizá-lo o mais próximo possível de sua forma primária, da forma como ele foi ali coletado. Perfeito. Atualidade. Os dados são disponibilizados o mais
1:00:05 rápido possível. Em que aspecto? Ah, eu disponibilizei todos os dados que a lei obrigava, que a lei mandava. Foi. Foi aqui, ó, os contracheques. Qual o último que tem aí? 2001. Mulher, para. Contrache de 25 anos atrás. Mulher, para. Mulher, para. Então o dado tem que ser atualizado. Acessibilidade, eles têm que estar acessíveis para o maior alcance possível do usuário e para os propósitos mais variados. Se eu disser meu dado tá disponível, é, é, tá onde? Aqui, ó, em cima do balcão da prefeitura. Quem quiser pode vir aqui
1:00:50 consultar. Aí é a prefeitura lá de São José, de trás da curva da serra. Mulher, isso está disponibilizado? Não, né? Por isso que inclusive a legislação, a LAI exige que seja publicado em site próprio na internet, tá lá na legislação. Deve ser processável por máquina. Exatamente. Para que eu possa acessá-los através da web, para que eu possa extraí-los para importar em outros programas, gerar relatórios e que eu posso usar da maneira mais ali variada possível, de acordo com a minha necessidade.
1:01:37 Acesso não discriminatório tá disponível para todo mundo. Eu não preciso me identificar ou me registrar para ter acesso a esse dado que é aberto, para esse dado que é público. Não posso, não preciso. Ah, você pode ver aqui os contracheques, mas você tem que primeiro se registra, o dado aberto tem que estar disponível de maneira com acesso não discriminatório em formatos não proprietários. o que eu expliquei para vocês do lance do PDF, tá? Então, os dados são disponíveis em formato sobre o qual nenhum ente,
1:02:23 nenhuma empresa tenha controle exclusivo. Não pode rolar um controle sobre esses dados. Perfeito. E eles devem ser livres de licença. O que é esse livre de licença? Exatamente. Porque eu não devo para usar esses dados abertos ter que pagar royalties para alguém. Ó, pode acessar, mas só vai acessar se você pedir a permissão de fulano e pagar tanto de licença por mês. Não, não existe isso. O dado aberto, ele tá livre de licença. Perfeito. Então, a FGV, ela gosta bastante perguntar
1:03:08 essas característicazinhas aqui, tá? O que é que seria o dado aberto? Aqui, ó, quais as principais vantagens, tá? Esses conceitozinhos a FGV ama de paixão. Então, vai com isso bem firme aí pra sua prova e os princípios. Ah, mano, tudo que puseste? Claro, isso aqui não é uma revisão, né? Nossa reta final. Então, vou botar o quê? O que a banca não cobra? Claro que a gente tá aqui falando aqueles pontinhos do assunto que a banca mais cobra. Perfeito. Tá de boa. Aí no próximo bloco a gente já vai para ciência de dados. Perfeito. Então, acabamos de acabar o nosso bloco. Daqui a pouquinho a gente volta e toca o barco da nossa aula. Até já, gente. Beijão.
1:03:58 Pessoal do ao vivo. Tranquilo. G que é Gisele? Eu vi, Flavinha, seu comentário aqui. Aí, Gisele, eu vi a sua dúvida. Éí, por isso que eu já peguei, já emendei na explicação da aula, tá? Porque eu senti que essa sua dúvida poderia ser de várias outras pessoas, né, quando tivesse assistindo a aula offline. Então, ao invés de lhe responder agora em off, entre um bloco e outro, eu preferi responder logo, porque eu achei que ela podia realmente ser a dúvida de muita gente quando fosse quando fosse estudar, tá? Então, eu sou formada em biologia. O meu cargo é para tecnologista para atuar na pesquisa. Me parece algo muito novo nessa profissão, pois nunca havia ouvido falar. Se caísse na CNU, poderíamos dizer que o desenvolvimento do Linux e a construção
1:04:43 do Wikipédia seria exemplos de uso de dados abertos? Então, foi o que eu te expliquei, tá, Gi? Ele não é o uso do dado aberto, ele é um open source, ele é um, no caso, Linux, né? Ele é um software livre. Perfeito. Agora, o Wikipédias é uma outra ideia. que aí é um outro produto oferecido pela internet, que é a ideia do do da criação colaborativa, tá? Então, Wikipédia já é aquela ideia de você ter a várias pessoas colaborando para formação daquele documento ou daquele blog e assim por diante, tá? Max Snoop que chegou. Seja bem-vindo, fofinho. Já tava com saudade. Ai e de transparência são
1:05:30 interdisciplinares com área de conhecimentos gerais no tópico de ética e integridade. É importante buscar a interdisciplinaridade entre os temas para otimizar o estudo? Olha só, Gisele, sim e não, tá? Por quê? Porque você vê dentro do edital do CNU, primeiro esse edital do CNU é meu maluquinho, tá? A gente já fez vários webinários comentando isso com vocês. Ele às vezes repete alguns pontos ali várias vezes, né? Mas aí que acontece, Gi? Por exemplo, o professor que foi ensinar a Lai lá na parte de conhecimentos básicos, que deve ser o Dald, ele vai te falar da legislação nua e crua. Aí aqui a gente já fala aplicado ao lance do sistema, aí já fala um
1:06:15 pouquinho mais sobre o lance dos dados do do das licenças proprietárias, não proprietá, tá entendendo? Então é o mesmo assunto, mas visto sobre óticas distintas. Então, por exemplo, no eixo três, no eixo três você tem uma parte de gestão e governança. Você já viu? E lá em conhecimentos básicos você também tem, né? Só que lá de conhecimentos básicos é a visão holística aqui da administração. Quando vem pro eixo três já é mais a parte voltada pra TI, porque eu tenho a gestão e governança geral da administração, que é a visão holística do todo, a gestão e governança da TI,
1:07:02 que já é que basicamente são os mesmos conceitos, só que agora dentro do universo da TI. E eu tenho a gestão e governança dos dados, que são os principais ativos da empresa, que já é um outro assunto que não cai nesse seu edital, entendeu, Gisele? Então, às vezes são mesmo, é o mesmo assunto, são os mesmos pontos, só que vistos sobre óticas distintas, tá? Então não tem como buscar essa interdisciplinaridade sempre, perfeito? Nem sempre é sobre a mesma ótica, é o mesmo assunto, mas com óticas distintas. Então tem que ter cuidado com isso. Em outros casos, não. Em outros casos é interdisciplinar mesmo. Vai passando ali, estudou uma
1:07:49 vez, esticou, acabou, tá? Mas mas há casos em que é o mesmo ponto com óticas distintas, então não dá paraicar não. Tá bom, Gi, respondi. Posso passar? Então agora a gente já vai pra próxima fase. E aí, Gisele e os outros demais que estão assistindo, essa era a minha preocupação com essa reta final, tá? Com o CNU. CNIU é um concurso sus gêneres, tá? Por quê? Porque o bloco é de TI, mas eu jamais posso vir dar essa aula como se eu tivesse falando com colegas de profissão, porque tem um monte de gente aí que vai fazer o bloco três, mas que não é de TI. Por quê? Porque as vagas, os cargos são misturados, né? A primariedade na LIAI refere-se à
1:08:36 primariedade qualidade da informação coletada na fonte com máximo detalhamento possível sem modificações. Exatamente. Tá? O dado mais próximo possível da origem, tá? Se eu peguei o salário do funcionário e ele tá decomposto em partes, eu devo colocar ele decomposto em partes. Eu não devo colocar só o salário final lá porque pode gerar interpretações errôneas, tá? Eita, ele ganha tanto, na verdade ali era o mês em que ele recebeu uma indenização e aí o salário dele tá alterado, tá entendendo? Então é a primariedade é isso, Bruninha, é ser o mais próximo possível do que ele foi coletado, tá? Aí ela tá perguntando, difere da OGD dessa
1:09:21 aqui, né? Não é a mesma ideia, tá? O mais próximo possível, ó, do que foi coletado na fonte. Perfeito. É mais ou menos a mesma coisa quando diz ali com o máximo de detalhamento. O máximo de detalhamento é sinônimo de maior nível possível de granularidade, entendeu? Então a granularidade seria isso, o maior detalhamento possível e sem agregação à informação, ou seja, sem fazer essas modificações, sem fazer essas associações. Perfeito, Bruninha também não, Flavinha. Tô me controlando que eu estou bem educadinha hoje. Até aqui tudo bem. Então, todo mundo entendeu tudo, tirei todas as dúvidas. Vamos fazer o seguinte. Agora já são
1:10:07 quase 3:30, então a gente vai agora fazer o nosso recreio, tá? Então a gente vai fazer agora a hora do café, água, banheiro. Aí daqui a pouco a gente volta. 15 minutinhos de intervalo para você dar uma esticada, esticar ali a coluna e aí a gente volta, combinado? Tá de boa, não ousem me abandonar que eu sou carente, tá? Então não me deixem, não me deixem, não me deixem, tá certo? Até já, se Deus quiser. Água, café, banheiro e a gente volta. Até já. [Música]
1:13:01 [Aplausos] [Música] เฮ [Música]
1:13:46 เฮ [Música] เฮ [Música]
1:16:33 [Aplausos] [Música]
1:17:45 เฮ [Música]
1:20:04 [Aplausos] [Música] เฮ
1:20:51 [Música] เฮ [Música]
1:21:43 M. [Música]
1:23:36 [Aplausos] [Música]
1:24:22 เฮ [Música] เฮ [Música]
1:25:22 เฮ [Música]
1:26:51 เฮ [Música] เฮ [Música]
1:28:07 [Aplausos] [Música]
1:29:20 เ เฮ [Música]
1:30:49 เฮ [Música]
1:31:38 [Aplausos] [Música]
1:32:49 เฮ [Música] เฮ [Música]
1:34:18 เฮ [Música]
1:35:10 [Aplausos] เฮ [Música] เฮ [Música]
1:36:17 เฮ [Música] Olha [Música]
1:37:16 só, Rodrigo. Tem uma regrinha agora que quem falar, o aluninho que falar em pipoca na minha aula, ele vai ser reprovado imediatamente, tá certo? Eu vou reprová-lo por afronta. Existe isso? Se não existe, eu tô criando. Tá certo? Tá proibido de falar em pipoca na minha aula. Show de bola. Vamos voltar. Todo mundo ativo aí. Agora a gente volta com ciência de dados, tá certo? Jogar a vinheta e a gente toca o barco. OK? Vamos bora. [Música]
1:38:17 Oi, gente. Voltamos, voltamos com mais um bloco da nossa aula. Agora nós vamos falar sobre ciência de dados. Perfeito. Olha só o que temos aqui. Primeira coisa, lembrar que todo esse conceito de dados, essa importância dos dados, esse trabalho com os dados, ele evolui no fim do século passado, na segunda metade do século passado para cá. é com o avanço das tecnologias, com o avanço da TI, com esse dado se tornando digitalizado, que a gente passa a ter ele como sendo o principal ativo das empresas.
1:39:03 Existe uma máxima hoje que diz que o dado é o ouro desse século. O dado hoje é o principal ativo das empresas. É isso. Então, ora, eu tenho esse meu dado digitalizado. Eu poderia utilizar técnicas matemáticas, técnicas estatísticas. Para quê? Para ir lá, ó, conversar com esses dados. Os dados agora tão lá no repositório dizendo: "Ei, ei, eu tô aqui, ei, eu quero falar, eu quero falar."
1:39:50 E aí a gente vai desenvolvendo técnicas para encontrar padrões nesses dados, tendências nesses dados, que é o que a mineração de dados faz. Aí a mineração de dados vai usar aprendizado de máquina, vai usar mineração de texto. Aí tudo isso vai se desenvolvendo, vai se desenvolvendo. Só que aí onde é que entra a TI? ATI precisa de padrões. A gente trabalha muito com padrões. Por quê? Porque senão cada um começa a fazer do seu jeito. Eu vou fazer esses passos porque eu acho que esse passo funciona melhor. Aí o outro, não, mas eu gosto de fazer assim. Não, mas o outro eu go Tá entendendo? Aí o que é que vai acontecer? Então vamos desenvolver uma ciência que é capaz de
1:40:38 quê? De definir regras, de definir padrões. Para quê? para tratar desses dados que estabelece metas a serem alcançadas, métricas para que eu possa validar se tudo aquilo que tá sendo aplicado tá sendo útil ou não. E daí vem a ciência de dados. Então, é uma ciência muito recente. A gente tá falando basicamente dos últimos 20 anos, mais ou menos. E aí busca exatamente definir padrões, formatos, métricas, metas a serem atingidos com
1:41:24 trabalho com os dados, no trabalho com os dados, na no trato desses dados. Perfeito, tranquilo. Pronto. Simples assim. Agora observa que é uma ciência super interdisciplinar. Super. Quem trabalha com ciência de dados, geralmente conhece um pouquinho de matemática, de estatística, conhece da regra de negócio da empresa, conhece de TI, sabe um pouquinho de programação. Então é interdisciplinar. Por quê? Porque eu tô trabalhando com os dados e esses dados eles são interdisciplinares e eu aplico diversas técnicas nesse meu trabalho com os dados. Perfeito? Então, o que temos aqui?
1:42:10 Ciência de dados. Vamos falar aqui de cima. Alto nível. A ciência de dados é o conjunto de princípios fundamentais, ó, princípios que orientam, tá vendo? Então, a ciência para quê? Para orientar, para padronizar, tá? para indicar o caminho. Para extração e conhecimento dos dados, trata-se de um conceito bastante relacionado também à mineração dos dados, isto é, a extração real do conhecimento por meio de tecnologias, lembra da mineração de dados que eu falei agora a pouco? E de tecnologias que incorporam esses princípios, ou seja, que buscam esses mesmos objetivos, tá?
1:42:59 Desculpa, deixa-me só. Desculpa. Uma água. Desculpa. Então, esses princípios, essas técnicas, elas são aplicadas em todas as áreas do negócio. Agora, então a gente tem, né, a difusão desses dados. E mais uma vez eu insisto, o dado passa a ser o principal ativo da empresa. Perfeito. É isso. Então, o dado passa a ser o principal ativo da empresa. Tudo isso
1:43:45 parte de um princípio que surge lá no começo desse século, que é exatamente essa ideia do dado vem se tornar digitalizado. dado tá no meu repositório querendo falar e aí surge a ideia do DDD que é o data drive decision. Gente, cuidado, porque a gente usa essa sigla DDD em outros contextos. Por exemplo, se você é da área de TI, tem um DDD lá no na engenharia de software, mas é outro contexto, tá? Aqui significa decisão orientada. a dados data driving decision, ou seja, agora
1:44:33 com os meus dados digitalizados lá nesse repositório, eu posso usar as técnicas de mineração de dados para quê? Para encontrar padrões, para encontrar tendências nesses dados, para conversar com esses dados. E qual é o efeito disso? O efeito disso é que acaba aquela decisão tomada por intuição, por expertise. Ah, porque eu acho que não. Agora a decisão deve ser orientada a dados,
1:45:19 baseada nos dados, extraída a partir da análise dos dados. Para quê? Para que eu tenha decisões cada vez mais tempestivas e assertivas, eficazes. Vou botar só as siglazinhas, tá? Tempestivas. e assertivas. Perfeito. Assertiva porque eu quero de decisões, por óbvio, cada vez mais eficazes. Tempestivas. Por quê? Porque tudo começa a acontecer muito rápido, né? Eu passo a ter acesso à informação mais rápido e aí a gente passa a ter o quê? O cavalo
1:46:05 selado passando. E esse cavalo selado passando, a gente tem que ir lá e ó, catar. Uma decisão boa, mas tomada fora de tempo, pode ser fatal. Entenderam? É essa a mesma lógica que a gente vai aplicar aqui. Então aqui a ideia é exatamente a mesma, tá? Cavalo selado passando, eu tenho que ir lá e agarrar. Eu não posso deixar ele passar para olhar depois. Então, novamente, qual é a ideia desse DDD? Decisões passam a ser tomadas orientadas a dados. Para quê? para que essas decisões sejam
1:46:53 o máximo possível, tempestivas e assertivas, ou seja, tomadas em tempo hábil e com maior eficácia possível. Perfeito. É essa a ideia, tá? Aí essa ciência de dados, ela é um termo genérico para quê? para todo o gerenciamento científico dos dados e os processos relacionados aos dados, técnicas, habilidades usadas no trato desses dados, na derivação dessas informações, descobertas e conhecimentos viáveis dos dados nos mais diversos campos. Por isso que ela é interdisciplinar, tá? Ela vai lidar com todo o contexto
1:47:40 dos dados. As questões de ciências de dados da FGV, elas costumam ser bem contextuais, tá? E aí, qual é a ideia? Ela lida com a coleta, com a extração, com a limpeza, com a manipulação, enumeração, tabulação, combinação, exame, interpretação, simulação, visualização e todos os outros processos aplicados aos dados. Mais uma vez, daí ela ser interdisciplinar e hoje em dia ser utilizada em praticamente todos os ramos de negócio. Coisa mais comum que você encontra hoje no mercado é a ideia do cientista de dados, né? É o cara procurando cientista
1:48:27 de dados nos mais diversos nichos de negócio. Por quê? Exatamente, porque ele é esse cara interdisciplinar capaz de realizar os processos sobre os dados. Perfeito? Então, a gente vai ter, ó, ciência de dados aqui no meio. Quem trabalha com isso geralmente saca de aprendizagem de máquina, de matemática estatística, de métodos de pesquisa tradicionais. saca um pouquinho do conhecimento do negócio, do negócio para o qual ele tá desenvolvendo a solução, de desenvolvimento de software e de ciência da computação. Por isso que aí a gente viu lá na parte básica, lá na parte de tecnologia e trabalho, que também sou eu que tô
1:49:13 ministrando para vocês, lá em conhecimentos gerais, a necessidade de você ficar ligado nas novas profissões, lembra? Pronto. Ciência de dados, big data que nós vamos falar são ramos de negócio que criaram no mercado a necessidade de várias novas profissões, mas outras em compensação vão morrendo, vão sendo substituídas. Perfeito. Mas veja que esse novo profissional é um cara assim, ó, multidisciplinar. é um cara assim que tem que sacar de várias coisas um pouquinho. É essa a exigência do mercado atual. Perfeito. Aí o que é que nós temos? Uma diferença
1:50:00 que a gente já vai começar a explorar, mas que eu vou aprofundando a medida em que a gente for andando na matéria. Aí eu volto um pouco para isso. Big data. O big data, nós vamos estudar ele já já, mas eu já vou antecipar que o big data é uma arquitetura capaz de processar um grande volume de dados num curto espaço de tempo, realizando análise desses dados. Mas a gente vai estudar melhor isso daqui a pouco. Então, big data é isso, é isso, é essa arquitetura,
1:50:46 é essa estrutura. Perfeito. Beleza. Aí o que é que nós temos aqui? Aí nós temos, ó, ela se referindo a esse enorme conjunto de dados. Dentro dessa estrutura, a gente tem a ciência de dados orientando, orientando as técnicas para realizar coleta, mineração, manipulação, gerenciamento desses dados. Então, meio que uma padronização, meio que uma referência, o norte, a palavra mais adequada é uma
1:51:32 orientação. E dentro da estrutura nós temos o analytics. E o que é esse analytics? O analytics é a parte dentro dessa estrutura de big data que faz a análise dos dados, que nós também vamos estudar um pouquinho mais para frente, tá? Então, big data e analytics, a gente vai estudar mais, fique tranquilo. Mas agora eu quero só fazer essa comparação aí. Quando for lá na frente, que a gente estudar big data, que a gente estudar analytics, eu volto a fazer essa comparação com vocês. Perfeito? Então, pensa no big data. como maquinário, a estrutura necessária para ir lá catar esses dados e armazenar esses dados. A ciência de dados, o
1:52:19 processo que tá orientando tudo isso e o analytics, a parte que vai de fato realizar a análise desses dados, extrair aí elementos desses dados. Perfeito. Aí que que nós temos? Ciclo de vida do processo de ciência de dados. Então, o que é que vai acontecer aqui? Nós vamos ter toda vez que a gente fala em ciclo de vida, gera controvérsias toda vez. Por quê? Porque é raríssimo ciclo de vida de alguma coisa que a gente tenha unanimidade entre os doutrinadores.
1:53:07 A gente vai ter autor que pensa de um jeito, autor que pensa do outro, tem sempre uma divergênciazinha, tá? Mas aí, como a FGV gosta dessa história de ciclo, eu trouxe para vocês e aí eu trouxe aqueles mais comuns, porque o que cair na prova você desenrola, tá certo? Então o que que nós temos? Nós temos o primeiro ciclo de dados que divide a o ciclo de vida como um todo em seis fases. Então aqui nós temos a descoberta dos dados. Então eu vou encontrar quais são os dados com os quais eu vou trabalhar.
1:53:54 Eu vou escolher dentre aquele volume de dados quais são aqueles que eu vou usar para minha análise, que eu vou aplicar o meu processo de análise. Perfeito? Lembrando que eu posso em um determinado momento tá realizando ali a o processo de ciência de dados, tá ali fazendo a mineração de dados em um determinado contexto para buscar uma determinada coisa. Em outro momento eu posso estar usando para outro contexto. Então é por isso que eu vou primeiro escolher quais os dados que eu vou usar. Por quê? Porque eu tô agora trabalhando para aquela solução específica. Então eu vou escolher quais os dados que eu vou usar
1:54:40 para esse objetivo que eu tenho nesse primeiro momento ou nesse momento agora, tá? Escolhi meus dados. Aí eu vou preparar os meus dados. Qual é a ideia desse preparar os dados? É melhorar a qualidade dos dados. Por quê? Porque se entrar dado ruim, se entrar dado sujo, provavelmente o meu resultado vai ser ruim, o meu resultado também vai ser sujo. Se entra dados viciados, provavelmente meu resultado vai ser viciado. Entenderam? Então eu vou trabalhar a qualidade dos meus dados. Nessa preparação dos dados, eu posso
1:55:26 precisar trocar tipos de dados, por exemplo, numa determinada tabela, de uma determinada fonte. O sexo, o gênero vem como numeral 1 2 3. Aí em outra tabela, de outra fonte, o gênero vem como eh string masculino, feminino e não declarado, por exemplo, entendeu? Aí eu tenho que unificar isso. Aí eu percebo que eu tenho um monte de registro com dado faltando. Como é que eu vou tratar esses dados que estão faltando? Aí eu posso perceber que tem consistências que tem o mesmo CPF cujo nome tem Emanuele com 2 N2 L. Aí no outro tá Emanuele com N e um L só. Aí no
1:56:12 outro tá Manu. Aí no outro tá Daniela. E tudo pro mesmo CPF. Então como é que eu ajusto isso? Perfeito. Aí essa é a preparação dos dados. Aí a gente vai ter o planejamento do modelo. Já escolhi os dados com os quais eu vou trabalhar, que é a descoberta dos dados. Já preparei os meus dados. Aí agora eu vou fazer o quê? Agora eu vou planejar o meu modelo. Pronto. Então agora eu vou trabalhar com planejamento do meu modelo. O modelo de quê? de análise dos dados que eu vou usar. Aí eu vou dizer: "Ah, eu quero fazer uma
1:56:57 classificação, então eu vou usar nave base, porque para esse caso é o melhor. Não, eu vou usar uma árvore de decisão. Não, eu vou fazer aqui uma regressão linear. Não, não, não, eu quero usar um KNN. Bem, eu vou escolher qual é a técnica que eu vou utilizar e preparar e planejar o meu modelo. Em seguida, eu vou implementar, construir o meu modelo. Aí nessa construção, que é o algoritmo que tá realizando a análise ali dos dados, aí eu vou verificar e depois eu posso ir melhorando. Aí eu posso verificar que não tava tão bom. Aí eu ajusto, aí não
1:57:42 tava bom, eu ajusto de novo. E aí eu vou refinando o meu modelo. Por isso que essa construção ela envolve várias etapas. Quando eu termino de construir o modelo, aí eu vou comunicar os resultados. O que é comunicar os resultados? é chamar para teste, para validação. Inclusive, nesse momento, eu posso ter usuários que não são da TI, usuários que tão lá no no na tomada de negócios, por exemplo. Tá entendendo? Mas são os stakeholders na tomada de decisão, desculpa, são os stakeholders. E aí eu trago eles também.
1:58:30 para comunicar esses resultados. Para quê? Para eles validarem. Tá bom, era isso mesmo, tá tudo certo? É o que vocês queriam? Era aprovado. Aí a gente vai lá e, ó, põe em operação. Perfeito. Observe que é tudo cíclico. Ó, você tá vendo? Pode ir, pode voltar. Por quê? Porque pode ser que quando eu esteja construindo o meu modelo, eu descubra um erro nos dados. Aí eu posso de repente voltar para cá, ó. Para quê? para preparar novamente, melhorar esses meus dados e fazer todo o resto do processo novamente. Então, em
1:59:17 todos os passos, em todas as fases, pode ser que seja necessário voltar, depois avançar, ir de novo e por aí vai. Perfeito, tranquilo? Então, esse é o ciclo clássico dos dados. Eu coloquei aqui a tabelazinha com a explicação um pouquinho mais prolongada de cada um. Mas é basicamente o que eu acabei de falar, tá? Então o processo da descoberta, preparação dos dados. Ai, pera aí que tá vo passou de jeito demais. Pera aí, pera aí só um minutinho que meu stream deck pirou aqui. Pronto, voltamos. Então, a descoberta, a preparação dos dados, o planejamento do modelo, a construção do
2:00:03 modelo, a comunicação dos resultados e a operacionalização. Perfeito? Então, tudo que eu expliquei, só que agora bonitinho aqui um textinho para você dar uma lidinha, mas é exatamente o que eu acabei de explicar, tá bom? Aí, esse é o ciclo clássico. É o ciclo que a gente considera como ciclo clássico. Mas como eu falei, que bom seria se a gente tivesse unanimidade, né? Mas não tem. Aí o que é que a Microsoft faz? cria o próprio ciclo dela. Então, a Microsoft chegou à conclusão que ela ia criar o ciclo dela. Aí, como
2:00:50 é o ciclo da Microsoft? O ciclo da Microsoft, ao invés de ter as seis fases, como a gente tem aqui, descoberta, preparação, planejamento, construção do modelo, comunicação dos
…
