[´ã´ç¾÷¹«] ´ã´ç¾÷¹« ¤ýµ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ±¸Ãà ¹× ÀλçÀÌÆ® µµÃâ (¼öÁý, Á¤Á¦, ºÐ¼®, È°¿ë) ¤ýµ¥ÀÌÅÍ ÀÎÇÁ¶ó ±¸Ãà ¹× °ü¸®(AWS ±â¹Ý Ŭ¶ó¿ìµå) ¤ýAirflow ±â¹Ý ETL ÆÄÀÌÇÁ¶óÀÎ ±¸Ãà ¹× °ü¸® ¤ýµ¥ÀÌÅÍ °Å¹ö³Í½º ¹× ±ÇÇÑ Ã¼°è ±¸Ãà ¤ýµ¥ÀÌÅÍ Ç°Áú, ó¸® ¼º´É ¸ð´ÏÅ͸µ ¤ýµ¥ÀÌÅÍ Ç÷§Æû ÀÎÇÁ¶ó ÃÖÀûÈ ¤ýµ¥ÀÌÅÍ ½Ã°¢È
[±Ù¹«ºÎ¼ ¹× Á÷±Þ/Á÷Ã¥] Á÷±Þ/Á÷Ã¥: ´ë¸®, °úÀå, ÆÀ¿ø
|
¿ä±¸ÀÚ°Ý ¤ýµ¥ÀÌÅÍ ¿£Áö´Ï¾î¸µ À¯°ü ¾÷¹« 3³â ÀÌ»ó °æ·ÂÀÌ ÀÖÀ¸½Å ºÐ ¤ýºÐ»ê ó¸® ½Ã½ºÅÛ ±¸Ãà ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ(Hadoop & Spark µî) ¤ýKafka & Kafka Connect, Streaming µî Kafka ±¸Ãà ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ýÇÁ·Î±×·¡¹Ö ¾ð¾î(Python, Scala µî)¿Í Database Àü¹Ý¿¡ ´ëÇÑ ÀÌÇصµ°¡ ÀÖÀ¸½Å ºÐ ¤ý¶Ù¾î³ Ä¿¹Â´ÏÄÉÀÌ¼Ç ¿ª·®À¸·Î ÆÀ¿øµé°ú ¼ÒÅëÇÏ°í ´Éµ¿ÀûÀÎ Çù·ÂÀÌ °¡´ÉÇϽŠºÐ
¿ì´ë»çÇ× ¤ýAWS Redshift »ç¿ë °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ý´ë¿ë·® µ¥ÀÌÅÍ Ã³¸®¸¦ À§ÇÑ ºÐ»ê½Ã½ºÅÛ±¸Ãà ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ý Airflow, Airbyte µî Workflow manager ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ýApache Iceberg È°¿ë °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ýDocker/Kubernetes¿Í °°Àº ÄÁÅ×ÀÌ³Ê È¯°æ¿¡¼ÀÇ ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ ¤ýµ¥ÀÌÅÍ °Å¹ö³Í½º ±¸Ãà ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ
|