Data Engineer
[ÁÖ¿ä¾÷¹«] Data Engineer ´Â ÁÖ·Î ÀÌ·± ¾÷¹«¸¦ ÇØ¿ä
Big-data ±â¹Ý OpenSource(s)°¡ ¼³Ä¡µÈ On-Premise Cluster¸¦ °ü¸® ¹× ¿î¿ëÇÕ´Ï´Ù
AWS Cloud ±â¹ÝÀÇ È¯°æ¿¡¼ Glue EC2 EKS µîÀ» Ȱ¿ëÇÏ¿© µ¥ÀÌÅÍ ¼öÁý ¹× ó¸® ¼ºñ½º¸¦ ¿î¿ëÇÏ°í °ü¸®ÇÕ´Ï´Ù
¼ºñ½º¿¡¼ ¹ß»ýÇÑ Database Log ¹× 3rd-Party Service¿¡¼ ¼öÁýÇÕ´Ï´Ù
¼öÁýµÈ ´Ù¾çÇÑ À¯ÇüÀÇ µ¥ÀÌÅÍ(Á¤Çü ºñÁ¤Çü ¹ÝÁ¤Çü)¸¦ Àüó¸®ÇÏ¿© Á¤ÇüÈ ¹× Ç¥ÁØÈÇÕ´Ï´Ù
Á¤ÇüÈµÈ µ¥ÀÌÅ͸¦ ±â¹ÝÀ¸·Î SQL Query¸¦ Ȱ¿ëÇÏ¿© Ÿ ºÎ¼¿¡ µ¥ÀÌÅ͸¦ Á¦°ø ¹× ½Ã°¢ÈµÈ ´ë½Ãº¸µå¸¦ Á¦°øÇÕ´Ï´Ù
🙋¡Î️ [ÀÚ°Ý¿ä°Ç] ÀÌ·± ºÐ°ú ÇÔ²²ÇÏ°í ½Í¾î¿ä
5³â ÀÌ»ó µ¥ÀÌÅÍ ¿£Áö´Ï¾î ¾÷¹« °æ·Â
Hadoop ecosystem ±â¹ÝÀÇ Open Source ¼³Ä¡ ¹× ¿î¿µ °æÇè
Spark ±â¹ÝÀÇ ETL ó¸® °æÇè
Airflow ±â¹ÝÀÇ ½ºÄÉÁ층 ¹× DAG ±¸¼º °æÇè
Ansi-SQL ±â¹ÝÀÇ Äõ¸® ÀÛ¼º ¹× °í±Þ ÇÔ¼ö »ç¿ë °æÇè
Python Java Kotlin µî ÇÁ·Î±×·¡¹Ö ¾ð¾î °³¹ß °æÇè
µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ¿î¿µ ¹× ¸ð´ÏÅ͸µ µîÀÇ °æÇè
🔮 [¿ì´ë»çÇ×] ÀÌ·± ºÐÀº ´õ¿í ¹Ý°¡¿ö¿ä
Glue EC2 EKS µî AWS ¼ºñ½º °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Äõ¸® ½ÇÇà °èȹ ¹× ·Î±× µîÀ» ÅëÇÑ ETL ¼º´É ÃÖÀûÈ °æÇè
ML Engineer¿ÍÀÇ °³¹ß ¹× Çù¾÷ °æÇè
°³¹ß ºñ°³¹ß Á÷±ºÀ» ¸ðµÎ Æ÷ÇÔÇÏ¿© ¹®Á¦Á¡ ³íÀÇ ¹× ÇØ°á ¹æ¾È¿¡ ´ëÇÑ ¼³¸í µî ¿øÈ°ÇÑ Ä¿¹Â´ÏÄÉÀÌ¼Ç °æÇè
½ºÇ¬ ¼ºñ½º¸¦ Àû±ØÀûÀ¸·Î »ç¿ëÇØº¸½Å ºÐ
📑 [Á¦Ãâ ¼·ù] Áö¿øÀÚ´ÔÀ» Àß ¾Ë±â À§Çؼ´Â ´ÙÀ½°ú °°Àº ¼·ù°¡ ÇÊ¿äÇØ¿ä
À̷¼(Çʼö)
»çÀüÁú¹® (Çʼö)
1.Data Engineer·Î¼ °¡Àå Àλó ±í¾ú´ø ¾÷¹« °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä.
±â¼úÀûÀÎ Áö½Ä ¹× ¹è¿î Á¡ ±×¸®°í °³¼±µÈ ÁöÇ¥ µîÀ» Æ÷ÇÔÇÏ¸é ´õ ÁÁ½À´Ï´Ù.
2.Data Engineer ¾÷¹« Áß, Æ®·¯ºí½´ÆÃ ¹× ¼º´É °³¼± °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä.
3.´Ù¾çÇÑ ºÎ¼¿ÍÀÇ Çù¾÷ °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä.
Æ÷Æ®Æú¸®¿À(¼±ÅÃ)
🎯 [ÇÕ·ù ÇÁ·Î¼¼½º] ´ÙÀ½°ú °°Àº °úÁ¤À» °ÅÃÄ ½ºÇ¬·¦½º¿¡ ÇÕ·ùÇÏ°Ô µÅ¿ä
¼·ù ÀüÇü
Àλç´ã´çÀÚ¿Í Çö¾÷ ´ã´çÀÚ°¡ ÇÔ²² ¼·ù¸¦ ²Ä²ÄÈ÷ °ËÅäÇϸç Áö¿øÀÚ´ÔÀ» ÆÄ¾ÇÇÕ´Ï´Ù.
1Â÷ ÀÎÅͺä ÀüÇü
Data Tech ÆÀ°ú Architecture ÆÀ ¸®µå¿ÍÀÇ ½Ç¹« ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù.
´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù.
2Â÷ ÀÎÅͺä ÀüÇü
½ºÇ¬·¦½º Àλç´ã´çÀÚ¿ÍÀÇ Á¶Á÷ÀûÇÕµµ ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù.
´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù.
ÀÌÈÄ 3Â÷ ÀÎÅͺ䰡 ¹Ù·Î ÁøÇàµË´Ï´Ù. (2, 3Â÷ ÀÎÅͺä´Â ÇÏ·ç¿¡ ¿¬À̾î ÁøÇàµË´Ï´Ù.)
3Â÷ ÀÎÅͺä ÀüÇü
Development ±×·ìÀå°ú ½Ç¹« ¹× Á¶Á÷ ÀûÇÕµµ Á¾ÇÕ ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù.
´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù.
·¹ÆÛ·±½º üũ
ó¿ì ÇùÀÇ
ÃÖÁ¾ ÇÕ°Ý
»óȲ¿¡ µû¶ó ä¿ë ÀýÂ÷°¡ »ý·« ȤÀº Ãß°¡µÉ ¼ö ÀÖ½À´Ï´Ù. (°úÁ¦ ÀüÇü/ÄÚµù Å×½ºÆ®/Ä¿ÇÇê/Ãß°¡ ÀÎÅÍºä µî)
À̷¼ ¹× Á¦Ãâ ¼·ù¿¡ ÇãÀ§ »ç½ÇÀÌ ¹ß°ßµÇ°Å³ª ±Ù¹« ÀÌ·Â Áß Â¡°è»çÇ×ÀÌ È®À뵃 °æ¿ì, ä¿ëÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù.
½ºÇ¬·¦½º Ãë¾÷±ÔÄ¢ Á¦10Á¶(ä¿ë°á°Ý)¿¡ µû¶ó °á°Ý»çÀ¯¿¡ ÇØ´çÇÏ´Â Àڴ ä¿ëÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù.