¸®¿öµå·Î ¸¸µå´Â ÃÊ°³ÀÎÈ ¸¶ÄÉÆà Ç÷§Æû, ¹öÁîºô
¸¶ÄÉÆúÎÅÍ ¼öÀÍȱîÁö, ºê·£µåÀÇ ¼ºÀå ´Ü°èº° Çʼö ¼Ö·ç¼ÇÀ» SaaS ÇüÅ·ΠÁ¦°øÇÏ°í ÀÖ½À´Ï´Ù. ¹öÁîºôÀº ÀÏ¹Ý ¹è³Ê ±¤°í¿¡ ºñÇØ 4¹è ÀÌ»óÀÇ ÀüȯÀ²À» ÀÚ¶ûÇÏ´Â ÆÛÆ÷¸Õ½º ±¤°í·Î °í°´À» À¯Ä¡ÇÏ°í, ¼öÀÍÈ Á¦Ç°À» ÅëÇØ ¾ÛÀÇ °í¼Ó ¼ºÀåÀ» À§ÇÑ Àç¿ø ¸¶·Ã¿¡ ±â¿©ÇÕ´Ï´Ù. ¶ÇÇÑ, ÀÌ·¸°Ô ¸¶·ÃµÈ Àç¿øÀº ´Ù¾çÇÑ ¸¶ÄÉÆà À̺¥Æ® ±âȹ ¹× ¿î¿µ¿¡ È°¿ëµÇ¾î ¾Û È°¼ºÈ¿¡ ±â¿©ÇÕ´Ï´Ù.
±¤°í°¡ »ç¿ëÀÚ¿¡°Ô ÁøÂ¥ ÇýÅÃÀ» Á¦°øÇؾßÇÑ´Ù´Â ¹ÏÀ½À¸·Î ½ÃÀÛµÈ ¹öÁîºôÀÇ ¸®¿öµå ±¤°í´Â °í°´»çÀÇ ¸ñ¼Ò¸®¸¦ ¹ÙÅÁÀ¸·Î ¼öÀÍÈ¿Í ¸¶ÄÉÆÃÀ¸·Î±îÁö ±× ¹üÀ§¸¦ È®ÀåÇØ¿Ô½À´Ï´Ù. À̵¿Åë½Å 3»ç, SK, CJ, Ä«Ä«¿À¹ðÅ©¿Í Ä«Ä«¿ÀÆäÀÌ µî Àü¼¼°è 150°³ ÀÌ»óÀÇ ÇÁ¸®¹Ì¾ö Á¦ÈÞ»ç È®º¸ ¹× ²ÙÁØÇÑ ¸ÅÃâ ¼ºÀå¼¼¸¦ ÅëÇØ ±× Àú·ÂÀ» ÀÎÁ¤¹Þ¾Ò½À´Ï´Ù.
2024³â, ¹öÁîºôÀº IPO¶ó´Â °úÁ¦¿¡ ¾Õ¼ AI ±â¼ú ÅõÀÚ¸¦ ÅëÇÑ ±¤°í È¿À² °³¼±, ¹ü¿ë Æ÷ÀÎÆ® Á¦ÈÞ¸¦ ÅëÇÑ ¼ºÀå, SaaS ¼Ö·ç¼Ç ÅëÇÕ µî ´Ù¼öÀÇ ½Å±Ô ÇÁ·ÎÁ§Æ®¸¦ ÁøÇà Áß¿¡ ÀÖ½À´Ï´Ù. ÀÚÀ²ÀûÀÎ Á¶Á÷ ¹®È(ÀâÇ÷¡´Ö ÆòÁ¡ 4.0Á¡) ¼Ó¿¡¼ ¸ôÀÔÀÇ Áñ°Å¿òÀ» ÇÔ²² ´À³¢½Ç ºÐ, ¶Ù¾î³ µ¿·á¿Í ÇÔ²² ¼ºÀåÇÏ½Ç ºÐ, ¹«¾ùº¸´Ù °í°´ Áß½ÉÀû »ç°í¸¦ ¹ÙÅÁÀ¸·Î ±¤°í/¸¶ÄÉÆÃÀÇ Çõ½ÅÀ» ÇÔ²² ¸¸µé¾î°¥ ¹Ì·¡ÀÇ ¹öÁîºô¸®¾ðÀ» ã½À´Ï´Ù.
🔎 ¹öÁîºô ±¤°í »óÇ° ÀÚ¼¼È÷ ¾Ë¾Æº¸±â
🔎 ¹öÁîºô X »ïÇÁ·ÎTV CEO ÀÎÅͺä
¹öÁîºôÀÇ µ¥ÀÌÅÍ ¿£Áö´Ï¾î¸µÆÀÀº µ¥ÀÌÅÍ°¡ »ý»êµÇ´Â ·¹À̾îºÎÅÍ µ¥ÀÌÅÍ°¡ ¼ÒºñµÇ´Â ·¹À̾î±îÁö¸¦ ¾Æ¿ì¸£´Â µ¥ÀÌÅÍ Ç÷§Æû°ú ¿öÅ©Ç÷οìÀÇ ¼³°è ¹× ¿î¿µÀ» ´ã´çÇÏ´Â Á¶Á÷ÀÔ´Ï´Ù. ÇöÀç 1,500¸¸ MAU, 30¿©°³ÀÇ ¸¶ÀÌÅ©·Î ¼ºñ½º·ÎºÎÅÍ Èê·¯µé¾î¿À´Â TBs/day º¼·ýÀÇ µ¥ÀÌÅÍ°¡ scalableÇÏ°Ô ÀûÀçÀû¼Ò¿¡ È°¿ë µÉ ¼ö ÀÖ´Â µ¥ÀÌÅÍ Ç÷§ÆûÀ» ¸¸µé¾î°¡°í ÀÖ½À´Ï´Ù.
µ¥ÀÌÅÍÀÇ ¿øõÀ¸·ÎºÎÅÍ µ¥ÀÌÅÍ ·¹ÀÌÅ©(S3, Athena)±îÁö Èê·Áº¸³»´Â ELT ¿öÅ©Ç÷οìµéÀº Airflow¸¦ ÅëÇØ °ü¸®ÇÏ°í ÀÖÀ¸¸ç, AWS EKS Ŭ·¯½ºÅÍ À§¿¡¼ ¾à 800°³ÀÇ DAG¸¦ ¿î¿µÇÏ°í ÀÖ½À´Ï´Ù. Airflow¸¦ °íµµÈÇÏ¿© YAML ¸í¼¼ ±â¹Ý ¿öÅ©ÇÃ·Î¿ì °ü¸®¸¦ Æ÷ÇÔÇÑ ´Ù¾çÇÑ ½Ãµµ¸¦ ÅëÇØ ºÐ¼®°¡³ª ¼¹ö/ML °³¹ßÀÚ°¡ Á÷Á¢ ¿öÅ©Ç÷ο츦 µî·ÏÇÏ´Â self-serving Ç÷§ÆûÀ» ÁöÇâÇÏ°í ÀÖ½À´Ï´Ù. S3, Athena, Kafka, Fluentbit, Loki¸¦ Æ÷ÇÔÇÑ Àü¹ÝÀûÀÎ µ¥ÀÌÅÍ ÀÎÇÁ¶ó´Â AWS¿Í Kubernetes »ó¿¡¼ Terraform°ú HelmÀ» ÅëÇØ °ü¸®ÇÏ°í ÀÖÀ¸¸ç, Airflow´Â Argo-CD¸¦ ÅëÇØ Docker ±â¹ÝÀ¸·Î ¹èÆ÷¸¦ ÇÏ°í ÀÖ½À´Ï´Ù.
#SSOT
°ÅÀÇ ¸ðµç µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎÀÌ ¹èÄ¡ ¿öÅ©Ç÷οìÀ¸·Î ¿î¿µµÇ°í ÀÖ¾î, ½Ç½Ã°£À¸·Î µ¥ÀÌÅ͸¦ º¸°í½ÍÀº ´ÏÁ ÃæÁ·½ÃÄÑÁÖÁö ¸øÇÏ´Â »óȲÀÌ°í, unified logging systemÀÌ ¾ø¾î À¯Áöº¸¼öÇϴµ¥ ¸¹Àº ½Ã°£À» ½ñ°í ÀÖ½À´Ï´Ù. ÇöÀç Confluent Kafka·Î ±âÁ¸ÀÇ µ¥ÀÌÅÍ ½ºÆ®¸®¹Ö ÀÎÇÁ¶ó¸¦ ÀÌÀüÇÏ°í ÀÖÀ¸¸ç, ÇÔ²² unified logging systemÀ» ¸¸µé¾î °¡°íÀÚ ÇÕ´Ï´Ù.
#DataDiscovery
AmundsenÀ̶ó´Â µ¥ÀÌÅÍ Ä«Å»·Î±× ÅøÀ» µµÀÔÇßÀ¸³ª »ç¿ë¼ºÀÌ ³·¾Æ À̸¦ ±³Ã¼ÇÏ´Â ÀÛ¾÷À» °èȹÇÏ°í ÀÖ½À´Ï´Ù. µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎÀÇ È÷½ºÅ丮¸¦ ü°èÀûÀ¸·Î °ü¸®ÇÏ°í µ¥ÀÌÅÍ ¸ÞŸµ¥ÀÌÅ͸¦ ½±°Ô È®ÀÎÇÒ ¼ö ÀÖ´Â ¹æ¹ýÀ» ÇÔ²² °í¹ÎÇÏ°íÀÚ ÇÕ´Ï´Ù.
#DataQuality
2024³â 2ºÐ±âºÎÅÍ µ¥ÀÌÅÍ Ä÷¸®Æ¼ÀÇ Ã¼°èÀûÀÎ °ü¸® ¹× º¸ÀåÀ» À§ÇØ ¿©·¯ initiative¸¦ ½ÃµµÇÏ°í ÀÖ½À´Ï´Ù. µ¥ÀÌÅÍ »ý»êÀÚ¿Í ¼ÒºñÀÚ°¡ SLO¿Í expectationÀ» ¸ÂÃç º¼ ¼ö ÀÖ´Â ±³°¢À» ¸¸µå´Â ÀÏÀ» ÇÔ²² ÇØÁÖ¼ÌÀ¸¸é ÁÁ°Ú½À´Ï´Ù.
#DataLake
2024³â 2ºÐ±â¿¡ µ¥ÀÌÅÍ Ç÷§Æû ´Ü¼øȸ¦ À§ÇØ µ¥ÀÌÅÍ ¿þ¾îÇϿ콺·Î »ç¿ëÇÏ´ø Redshift¸¦ Á¦°ÅÇÏ°í S3/AthenaÀÎ µ¥ÀÌÅÍ ·¹ÀÌÅ©·Î µ¥ÀÌÅÍ Ç÷§ÆûÀ» ÅëÇÕÇÏ´Â ÀÛ¾÷À» ÁøÇàÇß½À´Ï´Ù. ±× °úÁ¤¿¡¼ Iceberg Å×À̺í Æ÷¸ËÀ» µµÀÔÇÏ¿© ACID Æ®·£Àè¼ÇÀ̳ª ¾÷µ¥ÀÌÆ® ÀÛ¾÷µî À¯¿¬ÇÑ ±â´ÉµéÀ» Á¦°øÇÏ°í ÀÖ½À´Ï´Ù. µ¥ÀÌÅÍ Ç÷§Æû »ó¿¡¼ÀÇ ºñÈ¿À²À» Æ÷ÂøÇÏ°í ÃÖÀûÈÇÏ´Â ÀÏÀ» °°ÀÌ ÁøÇàÇغ¸°í ½Í½À´Ï´Ù.
🔎 ¹öÁîºô °³¹ß¹®È¸¦ ¼Ò°³ÇÕ´Ï´Ù.
🔎 HTTP connection pool in Go explained
🎤 Âü°í»çÇ×
🧐 ¸ôÀÔÀ» À§ÇÑ ÃÖÀûÀÇ È¯°æÀ» Á¦°øÇÕ´Ï´Ù.
👑 Á¸Áß°ú ¿ë±â¸¦ ´ã¾Æ Ä¿¹Â´ÏÄÉÀÌ¼Ç ÇÕ´Ï´Ù.
🍭Àß ¸Ô°í Àß ½¯ ¼ö ÀÖµµ·Ï Áö¿øÇÕ´Ï´Ù.
🌟¼ºÀåÀ» À§Çؼ¶ó¸é ¾Æ³¢Áö ¾Ê½À´Ï´Ù.
💰 ¾ËÂù ¸®¿öµå ÇýÅðú ÇÔ²²ÇÕ´Ï´Ù.
🧑🤝🧑 ¼ºÀåÀ» À§ÇÑ °³¹ß ¹®È¿Í ÈǸ¢ÇÑ µ¿·á
¹öÁîºôÀº ȸ»ç¿Í ÆÀ, °³ÀÎ ¸ðµÎÀÇ ¼ºÀåÀ» Àû±ØÀûÀ¸·Î Áö¿øÇÕ´Ï´Ù. ÁÁÀº ¹®È¿Í ÈǸ¢ÇÑ µ¿·á ´öºÐ¿¡ ºü¸¥ ¼ºÀåÀ» °æÇèÇÒ ¼ö ÀÖ½À´Ï´Ù.
📈 ±¤°í µµ¸ÞÀÎ ÇнÀ ¹× ´ë¿ë·® Æ®·¡ÇÈ °ü¸®
¿À·¡µÈ ±¤°í ¾÷°èÀÇ ¿ª»ç¿¡µµ ºÒ±¸ÇÏ°í ±¤°í¾÷Àº ¿©ÀüÈ÷ ºü¸£°Ô ¼ºÀåÇÏ°í ÀÖ½À´Ï´Ù. µðÁöÅÐ ±¤°í, ƯÈ÷ ¸ð¹ÙÀÏ ±¤°í ½ÃÀåÀÇ ¼ºÀå¼¼´Â ÀÌ¹Ì Á¸ÀçÇÏ´ø ±âÁ¸ ±¤°í ½ÃÀåÀÇ Å©±â¸¦ ³Ñ¾î¼¹°í, ´õ ºü¸£°Ô ¿Ã¶ó°¡°í ÀÖ½À´Ï´Ù. ±¤°í ºÐ¾ßÀÇ µµ¸ÞÀÎ Áö½ÄÀº ¸Å¿ì ±í°í ³ÐÀ¸¸é¼µµ, ´ë¿ë·® Æ®·¡ÇÈÀ» ´Ù·ç±â¿¡ È°¿ëµµ°¡ ³ô½À´Ï´Ù.
¹öÁîºô¿¡¼ ±¤°í ¾÷°è Àü¹ÝÀÇ Áö½ÄÀ» ½ÀµæÇÒ ¼ö ÀÖ°í, À̸¦ ¹ÙÅÁÀ¸·Î ´Ù¾çÇÑ ºÐ¾ß¿¡¼ ¼öÀÍÈ°¡ ¼ö¹ÝµÈ Çõ½ÅÀ» ¸¸µé ¼ö ÀÖ½À´Ï´Ù. °ü½É ÀÖ´Â °³¹ßÀÚµéÀÇ ¸¹Àº Áö¿ø ºÎŹµå¸³´Ï´Ù.