빅데이터 수집

3 tier : 클라이언트 , 서버, DB

​

빅데이터 수집의 주체는 서버이다. 웹에서 봇이 크롤링하여 공개된 자료를 수집한다. 이때 수집되는 형태는 json, xml, html 등의 document형태이다. 정방형이 아닌 비정방형 2차원 배열형태의 자료를 저장하기위한 데이터베이스는 R-DBMS이라고한다.(R은 릴레이션쉽, 관계형 디비) 새로운 형태의 데이터베이스는 차세대기술로 no-sql 카테고리로 정의됨. mongoDB가 대표적으로 json형태의 파일을 저장하는것, select 쿼리대신에 find() 을 집어넣는다.

​

- R 프로그램

통계와 확률등의 수학함수가 많이 들어 가 있다. data -> control -> view 중 컨트롤할때 R에서 제공하는 수학함수를 사용하고 중요도에따른 dataView를 할 수 있다.

​

​

- json

json으로 주고받을때 안에있는 객체, 원소, 멤버등을 파싱하는 작업을 가진다.

서버에서는 DB의 정보를 json형태로 받아와서 클라이언트측으로 전송한다.

프론트엔드는 json으로 자료를 받아 요청한 형태로(html, swing, view, 안드, 아이폰 등 ) 뿌려줌

백엔드는 DB에서 자료를 json(표준)으로 만들어줌

 

​

​

- Json의 형태

json객체 {}

json배열 []

안의 원소는 , 로 구분 하나의 원소는 key, value를 가진다.