Acima, um desenho exemplo de layout do projeto de uma rede de computadores do tipo BIG DATA. Esse desenho foi feito utilizando o software Trace-Route utilizado pela Cisco Networking Academy da Cisco Systems. Esse desenho de layout foi feito por Bunyamin Önel shared this Cisco Packet Tracer scenario... (If you have #PacketTracer scenarios to share, send them over to netacadfb@gmail.com with some info and we will share them on this page) - Anastasia at #Cisco https://lnkd.in/dMJu7Yd
Abaixo, meu resumo do estudo de BIG DATA - ANALYTICS, retirando um grau de complicação técnica, para simplificar o meu entendimento desse assunto.
ANÁLISE DE DADOS (ESTATÍSTICA)
Os estudos estatísticos estão relacionados às situações que envolvem planejamentos, coleta de dados, organização de informações, análise das informações coletadas, interpretação e divulgação de forma clara e objetiva. Os métodos de pesquisa podem ser classificados de duas formas: pesquisas de opinião ou pesquisas de mercado. Nas pesquisas de opinião, o objetivo principal é colher informações sobre determinando assunto com base em entrevistas pessoais. As pesquisas de mercado são realizadas através da análise de mercado sobre determinado produto.
A coleta, a organização, a descrição dos dados, o cálculo e a interpretação de coeficientes pertencem à Estatística Descritiva, enquanto a análise e a interpretação dos dados, associados a uma margem de incerteza, ficam a cargo da Estatística Indutiva ou Inferencial, também chamada como a medida da incerteza ou métodos que se fundamentam na teoria da probabilidade.
A utilização de tabelas e gráficos são frequentes na Estatística. As tabelas servem para organizar e tabular os dados, já os gráficos transmitem as informações com clareza e transparência, contribuindo para uma leitura objetiva.
===============================================
ANÁLISE DE DADOS (SISTEMA DE INFORMAÇÕES)
ANÁLISE DE DADOS - O que é?
- É o processo pelo qual se dá ordem, estrutura e significado aos dados (informações).
- Consiste na transformação dos dados colectados em conclusões e/ou lições, úteis e verdadeiras.
- A partir dos tópicos pré-estabelecidos processam-se os dados, procurando tendências, diferenças e variações nas informações obtidas.
- Os processos, técnicas e ferramentas usadas são baseadas em certos pressupostos e como tal tem limitações.
- O processo é utilizado para descrever e resumir os dados, identificar as relações e as diferenças existentes entre variáveis, comparar variáveis e fazer previsões.
ANÁLISE DE DADOS QUALITATIVO
- Indaga o porque de determinado fato ou problema estar ocorrendo;
- Estuda as motivações;
- É indutivo;
- Ajuda a definir hipóteses;
- É exploratório;
- Permite conhecer tendências, comportamentos, atitudes, etc;
- Fornece informações detalhadas a tendências, atividades, etc;
- Fornece informações detalhadas a perguntas ou problemas sobre um projeto ou atividade do mesmo;
- Não permite inferir os resultados a toda uma população.
- Descreve uma amostra populacional utilizando Tabelas de Frequências com sexo grupo etário e ocupação.
- Organiza os comentários e as respostas em categorias similares (exemplo: preocupações, sugestões, pontos fortes, pontos fracos, etc)
- Identificar os padrões, as tendências, as relações, bem como associações de causa-efeito.
FORMAS DE APRESENTAÇÃO DE DADOS QUALITATIVO:
- Narrativas das respostas dos participantes
- Diagramas de Causa-Efeito
- Matrizes
- Taxinomia
- Diagrama de relações das várias categorias e o respectivo significado dado pelos participantes
TÓPICOS DO ROTEIRO E SEUS PRINCIPAIS OBJETIVOS QUALITATIVOS:
- Identificar as características comuns ao grupo de trabalho, e as diferenças em relação aos outros grupos.
- Inferir sobre os processos de socialização para o trabalho das cooperadas e se tais processos estariam associados, de algum modo, às formas como elas se percebem atualmente no trabalho.
- Identificar as experiências comuns, a partir de sua inserção cooperativa, e seu impacto na vida pessoal, familiar e social
ANÁLISE DE DADOS QUANTITATIVO
- Estuda as ações ou intervenções;
- É dedutivo;
- Fornece dados para provar hipóteses;
- É conclusivo;
- Mede o nível das intervenções, tendências, atividades, etc;
- Produz informações quantificáveis sobre a magnitude de um problema, mas não fornece informações sobre o motivo do fato estar ocorrendo;
- É possível inferir os resultados a toda uma população.
- Utiliza-se os métodos estatísticos para representar os dados (informações)
- Estatística descritiva envolve: coletar dados, apresentar dados e caracterizar dados, com a finalidade de descrever os dados.
- Estatística inferencial envolve: estimativas e testes de hipóteses, com a finalidade de tomar decisões sobre as características de uma população a partir da amostra.
ETAPAS DA ANÁLISE DE DADOS QUANTITATIVOS
- Organizar os dados, preocupando-se em dar uma ordem lógica aos dados, colocando todos os elementos da amostra e as variáveis em estudo em uma tabela.
- Agrupamento e resumo dos dados através de tabelas de frequências, exemplo: idade = (fi = ni / n)
- Resumo das principais estatísticas (variável, média, mediana, moda, desvio padrão e variância)
- Medidas de tendência central
- Medidas de dispersão
- Analisar e Interpretar os dados
- Fazer o cruzamento de Tabelas (cross-tables)
- Fazer uma análise de correlação
ANÁLISE E INTERPRETAÇÃO DOS DADOS QUANTITATIVOS
- Geralmente, a análise e interpretação de dados envolve fazer comparações de grandezas estatísticas das varáveis de interesse.
- As conclusões destas comparações baseiam-se na rejeição ou aceitação de hipóteses formuladas durante as questões avaliativas.
- A aceitação ou rejeição de hipóteses baseia-se nos resultados obtidos nos chamados testes estatísticos.
- Os testes mais usados são: T-student , Chi-Quadrado e Anova
- Baseline versus Resultados Alcançados: faz a comparação da situação antes e após a implementação do programa.
- Grupo Alvo versus Grupo de Controle: faz a comparação de atitudes ou práticas entre participantes e não participantes de um programa.
- O grupo de tratamento – é um grupo de participantes de intervenção, cujas medidas de outcomes (resultado de equação lógica) são comparadas com às de um grupo de controle.
- Controle grupo – é um grupo de "untreated" (não-tratados), cujos alvos são comparados com grupos experimentais nos outcomes.
FERRAMENTAS PARA ANÁLISE DE DADOS (sistema de informações)
- Atualmente existe diversas empresas de tecnologia que fornecem softwares para tratamento e análise de dados.
====================================================
ANÁLISE DE DADOS = DATA SCIENCE
Exemplo de Fórmula de Cálculo = Gregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President) em Which Big Data, Data Mining, and Data Science Tools go together? e o artigo de Kirk Borne (Principal Data Scientist at Booz Allen Hamilton) em With Prescriptive Analytics, the future ain't what it used to be
Recomendação de Bibliografia Data Science = Gregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President) em More Free Data Mining, Data Science Books and Resources
The list below based on the list compiled by Pedro Martins, but we added the book authors and year, sorted alphabetically by title, fixed spelling, and removed the links that did not work.
- An Introduction to Data Science by Jeffrey Stanton, Robert De Graaf, 2013.
An introductory level resource developed by Syracuse University - An Introduction to Statistical Learning: with Applications in R by G. Casella, S, Fienberg, I Olkin, 2013.
Overview of statistical learning based on large datasets of information. The exploratory techniques of the data are discussed using the R programming language. - A Programmer’s Guide to Data Mining by Ron Zacharski, 2012.
A guide through data mining concepts in a programming point of view. It provides several hands-on problems to practice and test the subjects taught on this online book. - Bayesian Reasoning and Machine Learning by David Barber, 2012.
focusing on applying it to machine learning algorithms and processes. It is a hands-on resource, great to absorb all the knowledge in the book. - Big Data, Data Mining, and Machine Learning: Value Creation for Business Leaders and Practitioners by Jared Dean, 2014.
On this resource the reality of big data is explored, and its benefits, from the marketing point of view. It also explains how to storage these kind of data and algorithms to process it, based on data mining and machine learning. - Data Mining and Analysis: Fundamental Concepts and Algorithms by Mohammed J. Zaki, Wagner Meira, Jr., Data Mining and Analysis: Fundamental Concepts and Algorithms, Cambridge University Press, May 2014.
A great cover of the data mining exploratory algorithms and machine learning processes. These explanations are complemented by some statistical analysis. - Data Mining and Business Analytics with R by Johannes Ledolter, 2013.
Another R based book describing all processes and implementations to explore, transform and store information. It also focus on the concept of Business Analytics. - Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J.A. Berry, Gordon S. Linoff, 2004.
A data mining book oriented specifically to marketing and business management. With great case studies in order to understand how to apply these techniques on the real world. - Data Mining with Rattle and R: The Art of Excavating Data for Knowledge Discovery by Graham Williams, 2011.
The objective of this book is to provide you lots of information on data manipulation. It focus on the Rattle toolkit and the R language to demonstrate the implementation of these techniques. - Gaussian Processes for Machine Learning by Carl Edward Rasmussen and Christopher K. I. Williams, 2006.
This is a theoretical book approaching learning algorithms based on probabilistic Gaussian processes. It’s about supervised learning problems, describing models and solutions related to machine learning.
Read the full post on KDnuggets: http://www.kdnuggets.com/2015/03/free-data-mining-data-science-books-resources.html
Gregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President)
=======================================================
Recomendação de Bibliografia Data Science = Kirk Borne@KirkDBorne Download 50+ Free #DataScience Books:http://bit.ly/1Or1j5Z #abdsc #BigData #Analytics
Very interesting compilation published here, with a strong machine learning flavor (maybe machine learning book authors - usually academics - are more prone to making their books available for free). Many are O'Reilly books freely available. Here we display those most relevant to data science. I haven't checked all the sources, but they seem legit. If you find some issue, let us know in the comment section below. Note that at DSC, we also have our free books:
- Data Science by Analyticbridge (internal to DSC, one of the first books about data science)
- Data Science 2.0 (internal to DSC, check the red-starred articles)
- 27 free data mining books
There are several sections in the listing in question:
- Data Science Overviews (4 books)
- Data Scientists Interviews (2 books)
- How To Build Data Science Teams (3 books)
- Data Analysis (1 book)
- Distributed Computing Tools (2 books)
- Data Mining and Machine Learning (29 books)
- Statistics and Statistical Learning (5 books)
- Data Visualization (2 books)
- Big Data (3 books)
Here we mention #1, #5 and #6:
Data Science Overviews
- An Introduction to Data Science (Jeffrey Stanton, 2013)
- School of Data Handbook (2015)
- Data Jujitsu: The Art of Turning Data into Product (DJ Patil, 2012)
- Art of Data Science (Roger D. Peng & Elizabeth Matsui, 2015)
Distributed Computing Tools
- Hadoop: The Definitive Guide (Tom White, 2011)
- Data-Intensive Text Processing with MapReduce (Jimmy Lin & Chris Dyer, 2010)
Data Mining and Machine Learning
- Introduction to Machine Learning (Amnon Shashua, 2008)
- Machine Learning (Abdelhamid Mellouk & Abdennacer Chebira)
- Machine Learning – The Complete Guide (Wikipedia)
- Social Media Mining An Introduction (Reza Zafarani, Mohammad Ali Abbasi, & Huan Liu, 2014)
- Data Mining: Practical Machine Learning Tools and Techniques (Ian H. Witten & Eibe Frank, 2005)
- Mining of Massive Datasets (Jure Leskovec, Anand Rajaraman, & Jeff Ullman, 2014)
- A Programmer’s Guide to Data Mining (Ron Zacharski, 2015)
- Data Mining with Rattle and R (Graham Williams, 2011)
- Data Mining and Analysis: Fundamental Concepts and Algorithms (Mohammed J. Zaki & Wagner Meria Jr., 2014)
- Mining the Social Web: Data Mining Facebook, Twitter, LinkedIn, Goo... (Matthew A. Russell, 2014)
- Probabilistic Programming & Bayesian Methods for Hackers (Cam Davidson-Pilon, 2015)
- Data Mining Techniques For Marketing, Sales, and Customer Relations... (Michael J.A. Berry & Gordon S. Linoff, 2004)
- Inductive Logic Programming: Techniques and Applications (Nada Lavrac & Saso Dzeroski, 1994)
- Pattern Recognition and Machine Learning (Christopher M. Bishop, 2006)
- Machine Learning, Neural and Statistical Classification (D. Michie, D.J. Spiegelhalter, & C.C. Taylor, 1999)
- Information Theory, Inference, and Learning Algorithms (David J.C. MacKay, 2005)
- Data Mining and Business Analytics with R (Johannes Ledolter, 2013)
- Bayesian Reasoning and Machine Learning (David Barber, 2014)
- Gaussian Processes for Machine Learning (C. E. Rasmussen & C. K. I. Williams, 2006)
- Reinforcement Learning: An Introduction (Richard S. Sutton & Andrew G. Barto, 2012)
- Algorithms for Reinforcement Learning (Csaba Szepesvari, 2009)
- Big Data, Data Mining, and Machine Learning (Jared Dean, 2014)
- Modeling With Data (Ben Klemens, 2008)
- KB – Neural Data Mining with Python Sources (Roberto Bello, 2013)
- Deep Learning (Yoshua Bengio, Ian J. Goodfellow, & Aaron Courville, 2015)
- Neural Networks and Deep Learning (Michael Nielsen, 2015)
- Data Mining Algorithms In R (Wikibooks, 2014)
- Data Mining and Analysis: Fundamental Concepts and Algorithms (Mohammed J. Zaki & Wagner Meira Jr., 2014)
- Theory and Applications for Advanced Text Mining (Shigeaki Sakurai, 2012)
DSC Resources- Career: Training | Books | Cheat Sheet | Apprenticeship | Certification | Salary Surveys | Jobs
- Knowledge: Research | Competitions | Webinars | Our Book | Members Only | Search DSC
- Buzz: Business News | Announcements | Events | RSS Feeds
- Misc: Top Links | Code Snippets | External Resources | Best Blogs | Subscribe | For Bloggers
Additional Reading- 50 Articles about Hadoop and Related Topics
- 10 Modern Statistical Concepts Discovered by Data Scientists
- Top data science keywords on DSC
- 4 easy steps to becoming a data scientist
- 13 New Trends in Big Data and Data Science
- 22 tips for better data science
- Data Science Compared to 16 Analytic Disciplines
- How to detect spurious correlations, and how to find the real ones
- 17 short tutorials all data scientists should read (and practice)
- 10 types of data scientists
- 66 job interview questions for data scientists
- High versus low-level data science
Follow us on Twitter: @DataScienceCtrl | @AnalyticBridge
====================================================
The information management big data and analytics capabilities include :
- Data Management & Warehouse: Gain industry-leading database performance across multiple workloads while lowering administration, storage, development and server costs; Realize extreme speed with capabilities optimized for analytics workloads such as deep analytics, and benefit from workload-optimized systems that can be up and running in hours.
- Hadoop System: Bring the power of Apache Hadoop to the enterprise with application accelerators, analytics, visualization, development tools, performance and security features.
- Stream Computing: Efficiently deliver real-time analytic processing on constantly changing data in motion and enable descriptive and predictive analytics to support real-time decisions. Capture and analyze all data, all the time, just in time. With stream computing, store less, analyze more and make better decisions faster.
- Content Management: Enable comprehensive content lifecycle and document management with cost-effective control of existing and new types of content with scale, security and stability.
- Information Integration & Governance: Build confidence in big data with the ability to integrate, understand, manage and govern data appropriately across its lifecycle.
Fonte: IBM.COM = http://www-01.ibm.com/software/data/bigdata/
====================================================
BIG DATA - DataBase Definição
BIG DATA - SQL (manutenção anual)
BIG DATA – Data Science
Por: ANA MERCEDES GAUNA (13/10/2015)
O desenho acima é o layout de "
O desenho acima é o layout de 