All Articles

2019๋…„ ํ•˜๋ฐ˜๊ธฐ ํšŒ๊ณ 

์ง€๋‚œ ๋ฒˆ์— ์˜ฌํ•ด ์ƒ๋ฐ˜๊ธฐ๋ฅผ ๋Œ์•„๋ณด๋Š” ๊ธ€์„ ์ผ์—ˆ๋Š”๋ฐ ์–ด๋Š์ƒˆ 2019๋…„์ด ๋๋‚˜๊ฐ€์„œ ๊ฐ„๋‹จํžˆ ํšŒ๊ณ ๋ฅผ ๋‚จ๊ฒจ๋ณด๋ ค๊ณ  ํ•œ๋‹ค.

ํšŒ์‚ฌ์ผ

์ง€๋‚œ ๋ฒˆ์—๋Š” ํšŒ์‚ฌ ํด๋Ÿฌ์Šคํ„ฐ์— API๋ฅผ ์˜ฌ๋ฆฌ๋Š” ์ž‘์—…์ด๋ž‘ ์šฐ๋ฆฌ ์„œ๋น„์Šค ๋กœ๊ทธ ์ฒ˜๋ฆฌํ•˜๋Š” ์ผ์„ ํ–ˆ๋Š”๋ฐ ํ•˜๋ฐ˜๊ธฐ์—๋Š” ํ•ด๋†“์•˜๋˜ ์ผ๋“ค์— ์ง€์†์ ์œผ๋กœ ์‹ ๊ฒฝ์„ ์จ์ฃผ๋ฉด์„œ ์„œ๋น„์Šค ๊ฐœํŽธ ์—…๋ฌด์— ์ฐธ์—ฌํ•ด์„œ ์ฒ˜์Œ์œผ๋กœ ๋‚ด๊ฐ€ ๋งŒ๋“  ์ปดํฌ๋„ŒํŠธ๋“ค์ด ์„œ๋น„์Šค์— ๋‚˜๊ฐ€๊ฒŒ ๋˜์—ˆ๋‹ค. ๋„ค์ด๋ฒ„์—์„œ ์ƒํ’ˆ์„ ๊ฒ€์ƒ‰ํ•˜๊ณ  ์ƒ์„ธ๋ณด๊ธฐ๋ฅผ ํด๋ฆญํ•˜๋ฉด ์ƒํ’ˆ ์ƒ์„ธ์ •๋ณด ํŽ˜์ด์ง€๊ฐ€ ๋‚˜์˜ค๋Š”๋ฐ ์ตœ๊ทผ์— ๋ชจ๋ฐ”์ผ ๋ฒ„์ „ ํŽ˜์ด์ง€๋ฅผ ๊ฐœํŽธํ–ˆ๋‹ค (์˜ˆ์‹œ). ์‚ฌ์‹ค ๊ฒ‰์œผ๋กœ ๋ณด๊ธฐ์—๋Š” ์ธํ„ฐ๋ž™์…˜์ด ๋ณ„๋กœ ์—†๋Š” ๊ฐ„๋‹จํ•œ ํŽ˜์ด์ง€์ธ๋ฐ, ๋ณด์—ฌ์ฃผ๋Š” ๋ฐ์ดํ„ฐ ์ข…๋ฅ˜๊ฐ€ ๋งŽ๊ณ , ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๊ณณ๋“ค๋„ ์กฐ๊ธˆ์”ฉ ๋‹ค๋ฅด๊ณ , ๋…ธ์ถœ ๊ด€๋ จํ•œ ๋กœ์ง์ด ๋งŽ์•„์„œ ๊ตฌ์กฐ์— ๋Œ€ํ•œ ๊ด€์‹ฌ์ด ๋งŽ์•„์ง€๋Š” ๊ณ„๊ธฐ๊ฐ€ ๋˜์—ˆ๋‹ค. ์šด์˜ ํ™˜๊ฒฝ์„ ์œ„ํ•œ QA๋„ ์ฒ˜์Œ ๊ฒฝํ—˜ํ•ด๋ณด์•˜๋Š”๋ฐ ์ „๋‹ด QA๋ถ„๋“ค์ด ์ƒ๊ฐ์ง€๋„ ๋ชปํ•œ ๋ถ€๋ถ„๊นŒ์ง€ ๊ผผ๊ผผํžˆ ์ผ€์ด์Šค๋ฅผ ์ฐพ์•„์ฃผ์…”์„œ ์•ž์œผ๋กœ ๊ฐœ๋ฐœ์‹œ์— ์กฐ๊ธˆ์€ ๋” ๋งŽ์€ ์ผ€์ด์Šค๋ฅผ ๊ณ ๋ คํ•ด์„œ ๊ฐœ๋ฐœ์„ ํ•  ์ˆ˜ ์žˆ์ง€ ์•Š์„๊นŒ ์‹ถ๋‹ค. ๋กœ๊ทธ ์ฒ˜๋ฆฌ ๊ด€๋ จํ•ด์„œ๋Š” ์ด ๋กœ๊ทธ๋“ค์„ ๊ฐ€์ง€๊ณ  ๋Œ€์‹œ๋ณด๋“œ๋ฅผ ๋งŒ๋“œ๋Š” ์ชฝ์œผ๋กœ ๊ณ ๋ฏผ์„ ๋งŽ์ด ํ–ˆ์—ˆ๋‹ค. rollup ํ•˜๋Š” ์ŠคํŒŒํฌ ์žก์„ ๋งŒ๋“ค์–ด์„œ ES์— ๋„ฃ์–ด์„œ ํ‚ค๋ฐ”๋‚˜๋กœ๋„ ๋„์›Œ๋ณด๊ณ , superset์ด๋‚˜ metabase๋ฅผ ๋ฐ”๋กœ ์ŠคํŒŒํฌ๋‚˜ ๋“œ๋ฃจ์ด๋“œ์— ๋ถ™์—ฌ๋„ ๋ณด์•˜๋Š”๋ฐ ์ƒ๊ฐ๋ณด๋‹ค ๊ธฐํš์ž๋ถ„๋“ค์ด zeppelin + Spark SQL ๋กœ๋„ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ž˜ ๋ฝ‘์œผ์…”์„œ (๋ฌผ๋ก  SQL ์ฟผ๋ฆฌ๋Š” ์‚ฌ์ „์— ์„ค๋ช…์„ ์ข€ ๋“œ๋ ค์•ผ ํ•œ๋‹ค) ๊ตณ์ด BI ํˆด๋“ค์„ ๋ถ™์ด๋Š”๋ฐ ๋งŽ์€ ๊ณ ๋ฏผ์„ ๋งŽ์ด ํ•„์š”๊ฐ€ ์—†์—ˆ๋‹ค๊ณ  ๋’ค๋Šฆ๊ฒŒ ๊นจ๋‹ฌ์•˜๋‹ค. ์ผํ•˜๋‹ค๊ฐ€ ๋ถ€๋”ชํžŒ ์ด์Šˆ ๋•Œ๋ฌธ์— airflow๋ฅผ ํ•œ ์ค„ ๊ณ ์นœ ๊ฒƒ์ด ์žˆ๋Š”๋ฐ ์‚ฌ์‹ค ์—…๋ฌด์™€๋Š” ์ด์ œ ์ƒ๊ด€์—†์–ด์กŒ์ง€๋งŒ ๊ทธ๋ž˜๋„ ๋งค์šฐ ๊ธฐ๋ปค๋‹ค. API ๊ด€ํ•ด์„œ๋Š” ๊ฐ€๋”์”ฉ ๋‚˜์˜ค๋Š” ์—๋Ÿฌ๋ฅผ ํ™•์ธํ•˜๋Š” ๊ฒƒ ๋นผ๊ณ ๋Š” ํฌ๊ฒŒ ํ•  ์ผ์ด ์—†์—ˆ๋‹ค (๋ฌผ๋ก  false alarm์ด ๋งŽ์•„์„œ ์—ฌ์ „ํžˆ ๊ณ ๋ฏผ์ด ๋งŽ๊ธฐ๋Š” ํ•˜๋‹ค). ๊ด€๋ จํ•ด์„œ ์ž์˜์™€ ํƒ€์˜๊ฐ€ ์„ž์—ฌ์„œ ํšŒ์‚ฌ ์ฑ„์šฉํ–‰์‚ฌ์—์„œ ๋ฐœํ‘œ๋ฅผ ํ•˜๋‚˜ ํ–ˆ์—ˆ๋Š”๋ฐ (์Šฌ๋ผ์ด๋“œ) ํ™•์‹คํžˆ ๋ฐœํ‘œ ์ค€๋น„ํ•˜๋ฉด์„œ ์‚ฌ๋žŒ์ด ๊ณต๋ถ€๋ฅผ ๋งŽ์ด ํ•˜๊ฒŒ ๋œ๋‹ค๊ณ  ๋Š๊ผˆ๋‹ค.

๊ฐœ์ธ์ ์ธ ๊ณต๋ถ€

๊ฒฐ๋ก ๋ถ€ํ„ฐ ๋งํ•˜๋ฉด ์žก๋‹คํ•˜๊ฒŒ ๊ณต๋ถ€๋ฅผ ํ•˜๋ฉด์„œ ๊ฒฐ๊ตญ ๋‚ด ๋ถ„์•ผ๋ฅผ ํ•˜๋‚˜ ์ž˜ ์žก์•„์„œ ํŒŒ์•ผ ํ•œ๋‹ค๋Š” ๊ตํ›ˆ์„ ์–ป์—ˆ๋‹ค. ๋ธ”๋ผ์—์„œ ๋‹ค๋“ค ๊ดœ์ฐฎ๋‹ค๊ณ  ํ•˜๋Š” educative์˜ ์‹œ์Šคํ…œ ๋””์ž์ธ ๊ฐ•์˜๋„ ๋ด๋ณด๊ณ , ๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จํ•ด์„œ ์‚ฌ๋‚ด ๊ต์œก์ด๋‚˜ ๋ถ€์„œ ์Šคํ„ฐ๋””์—๋„ ์ฐธ์—ฌํ–ˆ์—ˆ๊ณ , ์œ ํŠœ๋ธŒ์—์„œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๊ฐ•์˜๋„ ํ•˜๋‚˜ ๋ด๋ณด๊ธฐ ์‹œ์ž‘ํ–ˆ๋Š”๋ฐ ์‚ฌ์‹ค ์žฌ๋ฏธ๋กœ ๋”ฐ์ง€๋ฉด ์ฃผ์ค‘์— ํšŒ์‚ฌ์—์„œ ์•ˆํ•˜๋Š” ๋‚ด์šฉ๋“ค์ด ๊ณต๋ถ€ํ•  ๋•Œ ํ›จ์”ฌ ์žฌ๋ฐŒ๊ธด ํ•˜๋‹ค. ํ•˜์ง€๋งŒ ์–ด๋–ค ๋ถ„์•ผ๋ฅผ ๊ณต๋ถ€๋ฅผ ํ•˜๋˜์ง€ ๊ฒฐ๊ตญ ์ดํ•ด๊ฐ€ ์ž˜ ์•ˆ๋˜๋Š” ์ง€์ ์ด ๋‚˜์˜ค๊ธฐ ๋งˆ๋ จ์ด๊ณ  ์ด๊ฑธ ํŒŒ์„œ ์งš๊ณ  ๋„˜์–ด๊ฐ€๋ƒ, ์•„๋‹ˆ๋ฉด ๋ชจ๋ฅด๊ณ  ๋„˜์–ด๊ฐ€๋ƒ๊ฐ€ ๋‚ด ์ˆ˜์ค€์„ ์ •ํ•˜๊ธฐ ๋งˆ๋ จ์ด๋‹ค (๊ทธ๋ฆฌ๊ณ  ์ด๋Ÿฐ ๊ณผ์ •๋“ค์ด ์‹œ๊ฐ„์ด ์˜ค๋ž˜ ๊ฑธ๋ฆฐ๋‹ค). ๋ชจ๋“  ๋ถ„์•ผ๋ฅผ ๊นŠ๊ฒŒ ์•Œ ์ˆ˜๋Š” ์—†๊ณ  T์žํ˜• ์‚ฌ๋žŒ์ด ๋˜๋Š” ๊ฒƒ์ด ํ˜„์‹ค์ ์ธ๋ฐ ๋‚ด๊ฐ€ ์ง€๊ธˆ ๋‹ค๋ฃจ๋Š” ํ”„๋ก ํŠธ์—”๋“œ ์„œ๋น„์Šค ๊ฐœ๋ฐœ&์šด์˜์—์„œ ๊นŠ์ด๋ฅผ ๊ฐ€์ง€์ง€ ๋ชปํ•˜๋ฉด ๊ฒฐ๊ตญ - ์žํ˜• ์‚ฌ๋žŒ์ด ๋  ์ˆ˜ ๋ฐ–์— ์—†๋‹ค๊ณ  ๋Š๊ผˆ๋‹ค. ๋ฌผ๋ก  ๋‹ค๋ฅธ ๋ถ„์•ผ ๊ณต๋ถ€๋ฅผ ์กฐ๊ธˆ์”ฉ ํ•ด๋ณด๋Š” ๊ฒƒ๋„ T์—์„œ ๊ฐ€๋กœ ํš์„ ๋„“ํžˆ๋Š”๋ฐ ๋„์›€์ด ๋˜๊ณ  ์‹œ์•ผ๋ฅผ ๋„“ํžˆ๋Š”๋ฐ ๋„์›€์ด ๋œ๋‹ค. ํ•˜์ง€๋งŒ ๊ทธ๋ณด๋‹ค ๋” ์ค‘์š”ํ•œ ๊ฒƒ์€ ์„ค๋ น ์žฌ๋ฏธ๊ฐ€ ์—†๋”๋ผ๋„ ๋‚ด๊ฐ€ ์ผํ•˜๋ฉด์„œ ๋ฐ”์˜๋‹ค๋Š” ํ•‘๊ณ„๋กœ ๋„˜๊ฒจ๋ฒ„๋ฆฐ ๋ฌธ์ œ๋“ค์„ ํŒŒ๊ณ  ๋“ค์–ด๊ฐ€๋Š” ๊ฒƒ์ด๊ณ , ๊ทธ๋Ÿฐ ๋…ธ๋ ฅ๋“ค์ด ์Œ“์—ฌ์•ผ T์˜ ์„ธ๋กœ ํš์ด ์กฐ๊ธˆ์ด๋‚˜๋งˆ ๊ธธ์–ด์งˆ ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

๋‚ด๋…„

์˜ฌํ•ด๋Š” ํ•™์ƒ์—์„œ ํ˜„์ง ๊ฐœ๋ฐœ์ž๊ฐ€ ๋˜์—ˆ๋‹ค๋ณด๋‹ˆ ๊ฐœ๋ฐœ์ ์œผ๋กœ ๊ฐ•์ œ๋กœ ๋งŽ์€ ์„ฑ์žฅ์„ ํ–ˆ๋‹ค๊ณ  ๋Š๋ผ๋Š”๋ฐ, ๋‚ด๋…„์—๋„ ๋น„์Šทํ•œ ์ •๋„๋กœ ์„ฑ์žฅ์„ ํ–ˆ๋‹ค๊ณ  ์Šค์Šค๋กœ ๋Š๋ผ๋ฉด ์ข‹๊ฒ ๋‹ค. ๊ฐœ๋ฐœ ์™ธ์ ์œผ๋กœ๋Š” ์ฒด์ค‘์„ ์ข€ ์ค„์˜€์œผ๋ฉด ์ข‹๊ฒ ๋‹ค. ์žฅ๊ธฐ์ ์œผ๋กœ ๊ฑด๊ฐ•์ƒ์˜ ์ด์œ ๋„ ์žˆ๊ณ , ๋‚˜๋ฅผ ์ƒ๊ฐํ•ด์ฃผ๋Š” ์‚ฌ๋žŒ๋“ค์ด ๋œ ๊ฑฑ์ •์„ ํ–ˆ์œผ๋ฉด ํ•˜๋Š” ์ด์œ ๋„ ์žˆ๋‹ค.

Published Dec 29, 2019

If I keep marking the dots, someday they will ๐Ÿ”—๐Ÿ”—