Hadoop Platform and applications course(Coursera)

예전부터 빅데이터란 것이 도대체 무엇인가 막연한 궁금증이 있어와서 겨울방학을 틈타 Coursera 에서 Hadoop Platform and applications course라는 입문 강의를 들었다. 강좌는 총 5 주에 걸쳐서 진행되며 각 주의 내용은 다음과 같았다.

• Week1: 하둡과 그 위에서 돌아가는 다양한 것들(Yarn, Hive, Pig, Spark)에 대한 소개. 실습이 이루어질 Cloudera VM 설치
• Week2: 하둡과 그 위에서 돌아가는 다양한 것들에 대한 소개를 조금 더 자세히 하고, Pig 와 Hive 쿼리를 날려본다
• Week3: HDFS 에 대한 더 깊은 소개
• Week4: Map reduce 에 대한 소개. 숙제로 간단한 join 쿼리를 짜본다
• Week5: Spark 에 대한 소개. 숙제로 간단한 join 쿼리를 짜본다

뭔가 다 듣기는 들었는데, 애초에 대상이 프로그래머들을 대상으로 한 것이 아니라 데이터를 분석해야 하는 일반인을 대상으로 한 것이어서 프로그래밍 숙제가 몹시 쉽고, 강의도 내용이 그렇게 깊지가 못하다. 나름대로 연습을 해보려고 숙제들은 ClouderaVM 대신 AWS 로 아주 작은 EMR 클러스터를 띄워서 해보았는데, 두 환경 모두 세팅이 너무나도 잘 되있어서 편리했다. 내가 사용했던 클러스터의 요금이 시간 당 1000 원 꼴이었으니 한 달이면 72 만원이라서 꽤나 비싸긴하지만, 어느 수준까지는 전문가를 고용하는 것보다 경제적이겠다는 생각이 들었다. 어쨌든, 강좌를 듣게 했던 원래 물음인 ‘빅데이터가 무엇일까’에 대한 답이 나름대로 생기긴 했다. 지금으로써는

큰 데이터를 마치 작은 데이터처럼, 그냥 MySQL 이나 R 에서 다루듯이 쉽게 다루게 해주는 것

이 빅데이터 기술들이 아닐까? 정도의 답변이 내가 할 수 있는 최선의 답변 같다. 점점 좋은 프레임워크들이 나올테니 결국 알고리즘을 잘 짜는 것이 중요할 것 같은데…공부할 것도 많고, 공부할 기회도 많은 세상이다ㅎㅎ

p.s1) 이 강좌의 수료증 가격은 무려 $79. 아무리 부모님 카드로 긁는다지만 속이 쓰려서 긁지를 못하겠다ㅜㅜ. 예전에 정말 빡세게 들은 강의들은 무료로 수료증을 줬는데, 이 강좌는 널럴하면서도 가격이 비싸다. 직장인들이 이런 거를 들으면 정말 커리어에 도움이 되는 것일까. 어쨌든 수료는 했다 p.s2) 최근에 읽은 책에서 함수형 프로그래밍이 단순히 프로그래머의 오류를 잡아줘서 좋은게 아니라 병렬화 등의 작업을 자동으로 수행하기 더 적합하므로 앞으로 점점 중요해진다고 했는데 진짜로(!) Spark 에서 그런 느낌을 받을 수 있었다.