Data Engineer
[ÁÖ¿ä¾÷¹«] Data Engineer ´Â ÁÖ·Î ÀÌ·± ¾÷¹«¸¦ ÇØ¿ä Big-data ±â¹Ý OpenSource(s)°¡ ¼³Ä¡µÈ On-Premise Cluster¸¦ °ü¸® ¹× ¿î¿ëÇÕ´Ï´Ù AWS Cloud ±â¹ÝÀÇ È¯°æ¿¡¼­ Glue EC2 EKS µîÀ» Ȱ¿ëÇÏ¿© µ¥ÀÌÅÍ ¼öÁý ¹× ó¸® ¼­ºñ½º¸¦ ¿î¿ëÇÏ°í °ü¸®ÇÕ´Ï´Ù ¼­ºñ½º¿¡¼­ ¹ß»ýÇÑ Database Log ¹× 3rd-Party Service¿¡¼­ ¼öÁýÇÕ´Ï´Ù ¼öÁýµÈ ´Ù¾çÇÑ À¯ÇüÀÇ µ¥ÀÌÅÍ(Á¤Çü ºñÁ¤Çü ¹ÝÁ¤Çü)¸¦ Àüó¸®ÇÏ¿© Á¤ÇüÈ­ ¹× Ç¥ÁØÈ­ÇÕ´Ï´Ù Á¤ÇüÈ­µÈ µ¥ÀÌÅ͸¦ ±â¹ÝÀ¸·Î SQL Query¸¦ Ȱ¿ëÇÏ¿© Ÿ ºÎ¼­¿¡ µ¥ÀÌÅ͸¦ Á¦°ø ¹× ½Ã°¢È­µÈ ´ë½Ãº¸µå¸¦ Á¦°øÇÕ´Ï´Ù 🙋‍¡Î️ [ÀÚ°Ý¿ä°Ç] ÀÌ·± ºÐ°ú ÇÔ²²ÇÏ°í ½Í¾î¿ä 5³â ÀÌ»ó µ¥ÀÌÅÍ ¿£Áö´Ï¾î ¾÷¹« °æ·Â Hadoop ecosystem ±â¹ÝÀÇ Open Source ¼³Ä¡ ¹× ¿î¿µ °æÇè Spark ±â¹ÝÀÇ ETL ó¸® °æÇè Airflow ±â¹ÝÀÇ ½ºÄÉÁ층 ¹× DAG ±¸¼º °æÇè Ansi-SQL ±â¹ÝÀÇ Äõ¸® ÀÛ¼º ¹× °í±Þ ÇÔ¼ö »ç¿ë °æÇè Python Java Kotlin µî ÇÁ·Î±×·¡¹Ö ¾ð¾î °³¹ß °æÇè µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ¿î¿µ ¹× ¸ð´ÏÅ͸µ µîÀÇ °æÇè 🔮 [¿ì´ë»çÇ×] ÀÌ·± ºÐÀº ´õ¿í ¹Ý°¡¿ö¿ä Glue EC2 EKS µî AWS ¼­ºñ½º °æÇèÀÌ ÀÖÀ¸½Å ºÐ Äõ¸® ½ÇÇà °èȹ ¹× ·Î±× µîÀ» ÅëÇÑ ETL ¼º´É ÃÖÀûÈ­ °æÇè ML Engineer¿ÍÀÇ °³¹ß ¹× Çù¾÷ °æÇè °³¹ß ºñ°³¹ß Á÷±ºÀ» ¸ðµÎ Æ÷ÇÔÇÏ¿© ¹®Á¦Á¡ ³íÀÇ ¹× ÇØ°á ¹æ¾È¿¡ ´ëÇÑ ¼³¸í µî ¿øÈ°ÇÑ Ä¿¹Â´ÏÄÉÀÌ¼Ç °æÇè ½ºÇ¬ ¼­ºñ½º¸¦ Àû±ØÀûÀ¸·Î »ç¿ëÇØº¸½Å ºÐ 📑 [Á¦Ãâ ¼­·ù] Áö¿øÀÚ´ÔÀ» Àß ¾Ë±â À§Çؼ­´Â ´ÙÀ½°ú °°Àº ¼­·ù°¡ ÇÊ¿äÇØ¿ä À̷¼­(Çʼö) »çÀüÁú¹® (Çʼö) 1.Data Engineer·Î¼­ °¡Àå Àλó ±í¾ú´ø ¾÷¹« °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä. ±â¼úÀûÀÎ Áö½Ä ¹× ¹è¿î Á¡ ±×¸®°í °³¼±µÈ ÁöÇ¥ µîÀ» Æ÷ÇÔÇÏ¸é ´õ ÁÁ½À´Ï´Ù. 2.Data Engineer ¾÷¹« Áß, Æ®·¯ºí½´ÆÃ ¹× ¼º´É °³¼± °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä. 3.´Ù¾çÇÑ ºÎ¼­¿ÍÀÇ Çù¾÷ °æÇè¿¡ ´ëÇØ ÀÛ¼ºÇØ ÁÖ¼¼¿ä. Æ÷Æ®Æú¸®¿À(¼±ÅÃ) 🎯 [ÇÕ·ù ÇÁ·Î¼¼½º] ´ÙÀ½°ú °°Àº °úÁ¤À» °ÅÃÄ ½ºÇ¬·¦½º¿¡ ÇÕ·ùÇÏ°Ô µÅ¿ä ¼­·ù ÀüÇü Àλç´ã´çÀÚ¿Í Çö¾÷ ´ã´çÀÚ°¡ ÇÔ²² ¼­·ù¸¦ ²Ä²ÄÈ÷ °ËÅäÇϸç Áö¿øÀÚ´ÔÀ» ÆÄ¾ÇÇÕ´Ï´Ù. 1Â÷ ÀÎÅͺä ÀüÇü Data Tech ÆÀ°ú Architecture ÆÀ ¸®µå¿ÍÀÇ ½Ç¹« ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù. ´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù. 2Â÷ ÀÎÅͺä ÀüÇü ½ºÇ¬·¦½º Àλç´ã´çÀÚ¿ÍÀÇ Á¶Á÷ÀûÇÕµµ ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù. ´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù. ÀÌÈÄ 3Â÷ ÀÎÅͺ䰡 ¹Ù·Î ÁøÇàµË´Ï´Ù. (2, 3Â÷ ÀÎÅͺä´Â ÇÏ·ç¿¡ ¿¬À̾î ÁøÇàµË´Ï´Ù.) 3Â÷ ÀÎÅͺä ÀüÇü Development ±×·ìÀå°ú ½Ç¹« ¹× Á¶Á÷ ÀûÇÕµµ Á¾ÇÕ ÀÎÅͺ並 ÁøÇàÇÕ´Ï´Ù. ´ë¸éÀ¸·Î ÁøÇàµÇ¸ç, ¿¹»ó ¼Ò¿ä½Ã°£Àº ¾à 1½Ã°£ÀÔ´Ï´Ù. ·¹ÆÛ·±½º üũ ó¿ì ÇùÀÇ ÃÖÁ¾ ÇÕ°Ý »óȲ¿¡ µû¶ó ä¿ë ÀýÂ÷°¡ »ý·« ȤÀº Ãß°¡µÉ ¼ö ÀÖ½À´Ï´Ù. (°úÁ¦ ÀüÇü/ÄÚµù Å×½ºÆ®/Ä¿ÇÇê/Ãß°¡ ÀÎÅÍºä µî) À̷¼­ ¹× Á¦Ãâ ¼­·ù¿¡ ÇãÀ§ »ç½ÇÀÌ ¹ß°ßµÇ°Å³ª ±Ù¹« ÀÌ·Â Áß Â¡°è»çÇ×ÀÌ È®À뵃 °æ¿ì, ä¿ëÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù. ½ºÇ¬·¦½º Ãë¾÷±ÔÄ¢ Á¦10Á¶(ä¿ë°á°Ý)¿¡ µû¶ó °á°Ý»çÀ¯¿¡ ÇØ´çÇÏ´Â Àڴ ä¿ëÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù.