빅데이터, 공공데이터

검증 과정은 무엇이 잘못됐는지 직접 찾아내지 못하지만, 그 과정은 때때로 우리에게 모델의 안정성에 문제가 있다는 것을 보여줄 수 있다. 데이터는 머신 러닝의 근원입니다. 기계 학습 및 딥 러닝 모델이 아무리 강력하더라도, 나쁜 데이터로 우리가 원하는 것을 결코 할 수 없다. 랜덤 노이즈 (즉, 패턴을 보기 어려운 데이터 포인트), 특정 범주형 변수 의 낮은 빈도, 대상 범주의…

데이터 분석의 전통적인 학문은 통계학이다. 통계학은 모집단의 성질을 파악하기 위하여 표본을 가지고 분석하여 모집단의 모수를 추정 및 검증하는 분석 기법이다. 통계적 분석은 모집단 전체를 조사하는 비용에 비하여 적은 비용으로 효율적으로 결과를 얻을 수 있는 분석 방법으로서 다양한 분야에서 보편적으로 활용되고 있다. 그러다 빅데이터 시대의 도래로 다양하고 대량의 데이터를 이용하여 그…

과기정통부가 공공과 민간이 협업하여 활용도 높은 양질의 데이터를 생산·구축을 위하여 구축된 10개 빅데이터 플랫폼 o 통신 빅데이터 플랫폼: bdp.kt.co.kr o 교통 빅데이터 플랫폼: diamond-e.kr o 문화 빅데이터 플랫폼: culture.go.kr/bigdata o 환경 빅데이터 플랫폼: envbigdata.kr o 중소기업 빅데이터 플랫폼:…

빅데이터는 다양하고 대량의 데이터 자체를 지칭하나 오늘날 빅데이터가 중요하게 여기는 것은 데이터 자체가 아니라 데이터를 통하여 다양한 문제를 해결하는데 원천이라는 점에서 그 중요성을 가진다. 이는 빅데이터의 특성으로 통찰력(insight)을 찾기 위해서는 정보의 수집뿐만 아니라 이를 분석하는 기술이 중요한 요인으로 자리 잡고 있다. 과거 분석기술은 개념적 지식화 모델인…

빅데이터의 데이터 분류체계 빅데이터의 데이터 분류체계는 데이터 유형에 따른 “데이터 유형 분류체계”와 데이터의 저장 구조에 따른 “데이터 구조 분류체계”로 정의한다. 데이터 유형 분류체계는 생산 주체에 따라 “프로세스가 생성”, “기계가 생성”, “사람이 생성”으로 분류하며, 자료출처에 의하여 “업무정보”,“생체정보”,“사물인터넷정보”,“지식정보”,“웹/SNS정보” 등으로 분류…