ÆÀ ¼Ò°³
µ¥ÀÌÅÍÇ÷§Æû°³¹ßÆÀÀº īī¿À¿£ÅÍÅ×ÀÎ¸ÕÆ®ÀÇ µ¥ÀÌÅÍ ºÐ¼®°¡, »çÀÌ¾ðÆ¼½ºÆ®, BI ¿£Áö´Ï¾î µî µ¥ÀÌÅÍ Á¶Á÷Àº ¹°·Ð Àü»ç ±¸¼º¿øÀÌ °¡Ä¡ ÀÖ´Â µ¥ÀÌÅ͸¦ âÃâÇϰí Ȱ¿ëÇÒ ¼ö ÀÖµµ·Ï µ½´Â Ç÷§ÆûÀ» °³¹ß ¹× ¿î¿µÇÕ´Ï´Ù.
´Ü¼øÇÑ ¹èÄ¡(Batch) ÀûÀ縦 ³Ñ¾î, CDC ±â¹ÝÀÇ ½Ç½Ã°£ µ¥ÀÌÅÍ ¼öÁý ½Ã½ºÅÛÀ» ±¸ÃàÇϰí, Ÿ Á¶Á÷¿¡¼µµ ¼Õ½±°Ô µ¥ÀÌÅ͸¦ Ȱ¿ëÇÒ ¼ö ÀÖµµ·Ï Ç÷§ÆûÀÇ API ¹× ¼ºù ·¹À̾ °íµµÈÇÕ´Ï´Ù.
¿ì¸®´Â ƯÁ¤ µ¥ÀÌÅÍ ÇÁ·¹ÀÓ¿öÅ© »ç¿ë °æÇ躸´Ù´Â, ´ë¿ë·® µ¥ÀÌÅ͸¦ ¾ÈÁ¤ÀûÀ¸·Î ó¸®ÇÒ ¼ö ÀÖ´Â ¾ÆÅ°ÅØÃ³ ¼³°è ´É·Â°ú źźÇÑ ¿£Áö´Ï¾î¸µ ±âº»±â¸¦ °¡Àå Áß¿äÇÏ°Ô »ý°¢ÇÕ´Ï´Ù. µ¥ÀÌÅÍ ¿£Áö´Ï¾î¸µ ºÐ¾ß·Î Ä¿¸®¾î¸¦ È®ÀåÇÏ°í ½ÍÀº ºÐµéÀÇ µµÀüÀ» ±â´Ù¸³´Ï´Ù.
¾÷¹« ³»¿ë
ÆäŸ¹ÙÀÌÆ®±Þ µ¥ÀÌÅ͸¦ ó¸®Çϱâ À§ÇÑ Data Lake ¹× ±â¹Ý ½Ã½ºÅÛ(Hadoop, Spark, Kafka µî)ÀÇ ¾ÆÅ°ÅØÃ³ ¼³°è ¹× ¿î¿µ
»ç³»¿Ü Á¶Á÷ÀÌ µ¥ÀÌÅ͸¦ ½±°Ô Ȱ¿ëÇÒ ¼ö ÀÖµµ·Ï µ½´Â µ¥ÀÌÅÍ Ç÷§Æû µµ±¸ ¹× API ¼ºù ·¹ÀÌ¾î °³¹ß
½Ç½Ã°£ µ¥ÀÌÅÍ ¼öÁý(CDC) ¹× ÆÄÀÌÇÁ¶óÀÎ °úÁ¤¿¡¼ ¹ß»ýÇÏ´Â À̽´ ÇØ°á ¹× ½Ã½ºÅÛ Æ©´×
Áö¿ø ÀÚ°Ý
Software Engineering °æ·Â 3³â ÀÌ»óÀ̽ŠºÐ
Java, Scala, Kotlin Áß ÇϳªÀÇ ¾ð¾î¸¦ ´É¼÷ÇÏ°Ô ´Ù·ç½Ç ¼ö ÀÖÀ¸½Å ºÐ
CS ±âº»±â(ÀڷᱸÁ¶, ¾Ë°í¸®Áò, OS µî)°¡ źźÇϸç, ¹®Á¦¸¦ ³¡±îÁö ÆÄ°íµé¾î ÇØ°áÇÏ´Â Áý¿äÇÔÀÌ ÀÖÀ¸½Å ºÐ
´ë¿ë·® Æ®·¡ÇÈ È¤Àº µ¥ÀÌÅÍ Ã³¸®¿¡ È£±â½ÉÀ» °®°í, ÃÖ¼±ÀÇ ¾ÆÅ°ÅØÃ³¸¦ °í¹ÎÇÏ¸ç °³¼±ÇØ º» °æÇèÀÌ ÀÖÀ¸½Å ºÐ
¿ì´ë »çÇ×
Data Lake ±¸Ãà °æÇè ȤÀº µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ Ç÷§ÆûÀ» ±¸Ãà °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Kafka, Spark, Hadoop, Airflow µî ºòµ¥ÀÌÅÍ ¿¡ÄڽýºÅÛ »ç¿ë °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Iceberg, Hudi °°Àº ÃֽŠTable FormatÀ̳ª Debezium(CDC) ±â¼ú °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Kubernetes¸¦ ÅëÇÑ ºòµ¥ÀÌÅÍ °ü·Ã ¾îÇø®ÄÉÀÌ¼Ç °ü¸® ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ
Ŭ¶ó¿ìµå ȯ°æÀÇ ºòµ¥ÀÌÅÍ¿Í °ü·ÃµÈ Ç÷§Æû Ȱ¿ë °æÇèÀÌ ÀÖÀ¸½Å ºÐ
µ¥ÀÌÅÍ Ä«Å»·Î±×, °Å¹ö³Í½º µîÀ» À§ÇÑ µµ±¸ ±¸Ãà ¹× ¿î¿µ °æÇèÀÌ ÀÖÀ¸½Å ºÐ