ÆÀ ¼Ò°³
µ¥ÀÌÅÍÇ÷§Æû°³¹ßÆÀÀº īī¿À¿£ÅÍÅ×ÀÎ¸ÕÆ®ÀÇ µ¥ÀÌÅÍ ºÐ¼®°¡/µ¥ÀÌÅÍ »çÀÌ¾ðÆ¼½ºÆ®/µ¥ÀÌÅÍ ¿£Áö´Ï¾îµéÀÌ °¡Ä¡ÀÖ´Â µ¥ÀÌÅ͸¦ âÃâÇÒ ¼ö ÀÖ´Â Ç÷§ÆûÀ» °³¹ß ¹× ¿î¿µÇÕ´Ï´Ù. ¹èÄ¡·Î µ¥ÀÌÅ͸¦ ¼öÁý, ÀûÀçÇÏ´Â °ÍÀ» ¶Ù¾î³Ñ¾î CDC¿¡ ±â¹ÝÇÑ ½Ç½Ã°£ ¼öÁý ¹× ÀûÀç ½Ã½ºÅÛÀ» ±¸ÃàÇϰí, µ¥ÀÌÅÍ Á¶Á÷ ³»ºÎ »Ó¸¸ ¾Æ´Ï¶ó ¼ºñ½º³ª Ÿ Á¶Á÷¿¡¼µµ ½±°Ô µ¥ÀÌÅ͸¦ Ȱ¿ëÇÒ ¼ö ÀÖµµ·Ï µ¥ÀÌÅÍ Ç÷§ÆûÀ» °íµµÈ ½Ãŵ´Ï´Ù.
¾÷¹« ³»¿ë
īī¿À¿£ÅÍÅ×ÀÎ¸ÕÆ® ±Û·Î¹ú ¼ºñ½ºÀÇ ´Ù¾çÇÑ Á¾·ùÀÇ µ¥ÀÌÅÍÀÇ º¯È¸¦ ÃßÀû ¹× ¼öÁýÇÏ¿© Data Lake ±¸Ãà
µ¥ÀÌÅ͸¦ ´Ù·ç±â À§ÇÑ ±â¹Ý ȯ°æ(ÇÏµÓ Å¬·¯½ºÅÍ, Spark, Kafka, Presto µî) ±¸Ãà ¹× ¿î¿µ
´Ù¾çÇÑ µ¥ÀÌÅÍ ±â¹Ý Ç÷§Æû °³¹ß ¹× ¿î¿µ
: µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÌ´×, ½Ç½Ã°£ Data API Á¦°ø, À¯Àú Ÿ°ÙÆÃ µî°ú °°ÀÌ ¼ºñ½º¿¡¼ ´Ù¾çÇÏ°Ô µ¥ÀÌÅ͸¦ Ȱ¿ëÇÒ ¼ö ÀÖ´Â
Ç÷§Æû °³¹ß ¹× ¿î¿µ
Áö¿ø ÀÚ°Ý
µ¥ÀÌÅÍ Ç÷§Æû ¿£Áö´Ï¾î °æ·Â 3³â ÀÌ»óÀ̽ŠºÐ
Java, Scala, Kotlin Áß ÇϳªÀÇ ¾ð¾î¸¦ ´É¼÷ÇÏ°Ô ´Ù·ç½Ç ¼ö ÀÖÀ¸½Å ºÐ
Data Lake ±¸Ãà °æÇè ȤÀº µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ Ç÷§ÆûÀ» ±¸Ãà °æÇèÀÌ ÀÖÀ¸½Å ºÐ
´ë·®ÀÇ µ¥ÀÌÅ͸¦ ½Ç½Ã°£À¸·Î ó¸®ÇÏ¿© ÀûÀçÇÏ´Â ¾î·Á¿òÀ» ÀÌÇØÇϰí, ÃÖ¼±ÀÇ ¹æ¹ýÀ» °í¹ÎÇÏ°í °³¼±ÇØ ¿À½Å ºÐ
¿ì´ë »çÇ×
Kafka Connect, Spark Streaming µî ºÐ»ê ½ºÆ®¸®¹Ö ¾îÇø®ÄÉÀÌ¼Ç °ü·Ã ÀÌÇØµµ°¡ ³ôÀ¸½Å ºÐ
Debezium°ú °°Àº CDC(Change Data Capture) Ç÷§Æû °æÇèÀÌ ÀÖÀ¸½Ã°Å³ª CDC¿Í ¿¬°üµÈ ÀÌÇØµµ°¡ ³ôÀ¸½Å ºÐ
Data API ±¸Ãà ¹× Á¦°ø°ú °ü·ÃµÈ ÀÌÇØ°¡ ³ô°Å³ª °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Apache Hudi, Apache Iceberg, Delta Lake µîÀÇ Å×ÀÌºí Æ÷¸Ë¿¡ ´ëÇÑ ÀÌÇØµµ°¡ ³ôÀ¸½Å ºÐ
Kubernetes¸¦ ÅëÇÑ ºòµ¥ÀÌÅÍ °ü·Ã ¾îÇø®ÄÉÀÌ¼Ç °ü¸® ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Ŭ¶ó¿ìµå ȯ°æÀÇ ºòµ¥ÀÌÅÍ¿Í °ü·ÃµÈ Ç÷§Æû Ȱ¿ë °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Kafka, Spark, Hadoop, Presto, Airflow µîÀÇ ±â¹Ý ȯ°æ ±¸Ãà °æÇèÀÌ Àְųª °ü·Ã ±â¼úÀÇ ÀÌÇØµµ°¡ ³ôÀ¸½Å ºÐ
µ¥ÀÌÅÍ Ä«Å»·Î±×, °Å¹ö³Í½º µîÀ» À§ÇÑ µµ±¸ ±¸Ãà °æÇèÀÌ ÀÖÀ¸½Å ºÐ