ºÎ¼¼Ò°³
ÀúÈñ ºÎ¼´Â ÆÀ³×À̹ö AI/MLÀÇ ÇÙ½ÉÀÎ MLOps Ç÷§ÆûÀ» °³¹ß ¹× ¿î¿µÇϸç, ´ë±Ô¸ð GPU Ŭ·¯½ºÅ͸¦ È¿À²ÀûÀ¸·Î Ȱ¿ëÇÏ´Â ¾÷¹«¸¦ ´ã´çÇϰí ÀÖ½À´Ï´Ù. µ¥ÀÌÅÍ °ü¸®ºÎÅÍ ´ë±Ô¸ð ºÐ»ê ÇнÀ, ¸ðµ¨ ¼ºù±îÁö ¾Æ¿ì¸£´Â ML ¶óÀÌÇÁ»çÀÌŬ Àü¹ÝÀ» Áö¿øÇÏ´Â ÅëÇÕ Ç÷§ÆûÀ» Á¦°øÇÕ´Ï´Ù.
[µ¥ÀÌÅÍ] ML ¿£Áö´Ï¾î¿Í ¿¬±¸ÀÚµéÀÌ ´ë±Ô¸ð µ¥ÀÌÅ͸¦ È¿À²ÀûÀ¸·Î °ü¸® ¹× Ȱ¿ëÇÒ ¼ö ÀÖµµ·Ï Hugging Face ÀÎÅÍÆäÀ̽º ±â¹Ý µ¥ÀÌÅÍ Ç÷§Æû°ú Çϵå¿þ¾î °¡¼Ó ±â¼úÀ» Àû¿ëÇÑ ´ë±Ô¸ð º´·Ä 󸮿ë ETL ½Ã½ºÅÛÀ» °³¹ßÇÕ´Ï´Ù.
[ÇнÀ] ±¹³» ÃÖ°í ¼öÁØÀÇ GPU ÀÎÇÁ¶ó¿¡¼ ´ë±Ô¸ð ML ºÐ»ê ÇнÀ ¿öÅ©·Îµå°¡ ¾ÈÁ¤ÀûÀ¸·Î ¼öÇàµÇµµ·Ï, Kubernetes ±â¹Ý MLOps Ç÷§ÆûÀÇ ÇÙ½É ±¸¼º ¿ä¼Ò¸¦ °íµµÈÇÕ´Ï´Ù.
[¼ºù] AI/ML ¸ðµ¨ÀÇ ¾ÈÁ¤ÀûÀÎ ¹èÆ÷¸¦ Áö¿øÇϰí, Æ¯È ±â´ÉÀ» Á¦°øÇÏ´Â È®Àå °¡´ÉÇÑ Ç÷§ÆûÀ» °³¹ß ¹× ¿î¿µÇϰí ÀÖ½À´Ï´Ù.
ÆÀ³×À̹öÀÇ ´Ù¾çÇÑ ¼ºñ½º¿¡¼ °ËÁõµÈ ÀúÈñ Ç÷§ÆûÀº ³×À̹öŬ¶ó¿ìµåÀÇ ´ë±Ô¸ð ÄÄÇ»ÆÃ ȯ°æÀ» ±â¹ÝÀ¸·Î ÇÑ ´Ù¾çÇÑ GPUaaS ¼ºñ½ºÀÇ ÄÚ¾î Ç÷§ÆûÀ¸·Î¼ ±Û·Î¹ú ½ÃÀåÀ¸·Î È®ÀåÇϰí ÀÖ½À´Ï´Ù. ±Ã±ØÀûÀ¸·Î ML ¿£Áö´Ï¾î¿Í ¿¬±¸ÀÚµéÀÌ ÀÎÇÁ¶óÀÇ º¹À⼺¿¡¼ ¹þ¾î³ª, ÇÙ½É ¸ðµ¨ÀÇ ½ÇÇè°ú ¹èÆ÷¿¡¸¸ ÁýÁßÇÒ ¼ö Àִ ȯ°æÀ» Á¦°øÇÏ´Â °ÍÀ» ¸ñÇ¥·Î »ï°í ÀÖ½À´Ï´Ù.
[Âü°íÀÚ·á]
[DAN 24] HyperCLOVA X, MLOps·Î Hyperscale AI °³¹ßÀÇ »õ·Î¿î ÀåÀ» ¿´Ù (¸µÅ©)
[DAN 25] MLXP: GPU È¿À²È¸¦ ¼±µµÇÏ´Â ´ë±Ô¸ð MLOps Ç÷§Æû (¸µÅ©)
´ã´ç¾÷¹«
• Kubernetes ±â¹Ý MLOps Ç÷§Æû(µ¥ÀÌÅÍ, ÇнÀ, ¼ºù) ¼³°è, °³¹ß ¹× °íµµÈ (Operator, Scheduler µî ÇÙ½É ±¸¼º ¿ä¼Ò °³¹ß Æ÷ÇÔ)
• ´ë±Ô¸ð µ¥ÀÌÅÍ ÀúÀå, ó¸®, °ü¸®¸¦ À§ÇÑ µ¥ÀÌÅÍ Ç÷§Æû °³¹ß, Çϵå¿þ¾î °¡¼ÓÀÌ Áö¿øµÇ´Â ´ë±Ô¸ð º´·Ä µ¥ÀÌÅÍ Ã³¸® ½Ã½ºÅÛ (Spark, Ray), ETL ÆÄÀÌÇÁ¶óÀÎ(Kubeflow Pipelines, Airflow) ±¸Ãà ¹× ÃÖÀûÈ
• ML ÇнÀ ÇÁ·¹ÀÓ¿öÅ©(PyTorch, DeepSpeed µî) ±â¹Ý ´ë±Ô¸ð ºÐ»ê ÇнÀ È¿À² ÃÖÀûÈ¡¤µð¹ö±ë¡¤ÇÁ·ÎÆÄÀϸµ µµ±¸ °³¹ß, °í¼Ó ³×Æ®¿öÅ© ±â¼ú(InfiniBand, RoCE µî) ¿¬±¸ ¹× Ç÷§Æû Àû¿ë
• ¾ÈÁ¤ÀûÀ̰í È®Àå °¡´ÉÇÑ ML ¸ðµ¨ ¼ºù ½Ã½ºÅÛ ¹× Ã߷Рȯ°æ(vLLM, KServe, llm-d µî) °³¹ß ¹× LLM Gateway(k8s Gateway API ±â¹Ý ǰÁú/ºñ¿ë ÃÖÀûÈ ¶ó¿ìÆÃ, ÀÚµ¿ ¸ðµ¨ Fallback µî) ±â´É ±¸Çö, ¸ðµ¨ ¹èÆ÷ ÀÚµ¿È ÆÄÀÌÇÁ¶óÀÎ ±¸Ãà
• SRE °üÁ¡¿¡¼ MLOps PlatformÀÇ ¾ÈÁ¤Àû ¿î¿µÀ» À§ÇÑ ½Ã½ºÅÛ °íµµÈ (MLOps Observability ±¸Ãà, ¸ð´ÏÅ͸µ, CI/CD, Àå¾Ö ŽÁö ¹× º¹±¸, °¡¿ë¼º °³¼± µî)
• ML ¿£Áö´Ï¾î¿Í ¿¬±¸ÀÚµéÀÌ ½±°Ô »ç¿ëÇÒ ¼ö ÀÖ´Â SDK ¹× API, Event-driven ÀÚµ¿È ½Ã½ºÅÛ °³¹ß
• ³×À̹öŬ¶ó¿ìµåÀÇ ´ë±Ô¸ð ÄÄÇ»ÆÃ ȯ°æ ±â¹Ý GPUaaS ¼ºñ½ºÀÇ ÄÚ¾î Ç÷§Æû °³¹ß ¹× ±Û·Î¹ú ¼ºñ½ºÈ
ÀÚ°Ý¿ä°Ç
• ´ë±Ô¸ð Æ®·¡ÇÈ Ã³¸®¸¦ À§ÇÑ ¹é¿£µå ¾ÖÇø®ÄÉÀÌ¼Ç ¾ÆÅ°ÅØÃ³ ¼³°è ¹× ±¸Çö °æÇè 3³â ÀÌ»óÀ» º¸À¯ÇϽŠºÐ
- ´Ü¼ø API ¿¬µ¿À» ³Ñ¾î, Á÷Á¢ ¼ÒÇÁÆ®¿þ¾î ¾ÆÅ°ÅØÃ³¸¦ ¼³°èÇÏ°í ¸ðµâÈµÈ Äڵ带 ÀÛ¼ºÇØ º» °æÇè
- ¸ÖƼ½º·¹µù ¹× ºñµ¿±â ÇÁ·Î±×·¡¹Ö¿¡ ´ëÇÑ ±íÀº ÀÌÇØ¸¦ ¹ÙÅÁÀ¸·Î ½Ã½ºÅÛ ¸®¼Ò½º(CPU, Memory, I/O) ÃÖÀûÈ ¹× µ¿½Ã¼º ¹®Á¦ ÇØ°á °æÇè
• Go, Rust, Java, Kotlin, Python µî ÃÖ¼Ò Çϳª ÀÌ»óÀÇ ¾ð¾î¿¡ ´ëÇØ ±íÀº ¼öÁØÀÇ ÀÌÇØ¿Í ´É¼÷ÇÑ È°¿ë ´É·ÂÀ» º¸À¯ÇϽŠºÐ
• Å×½ºÆ® ÄÚµå ÀÛ¼º ¹× ÄÚµå ¸®ºä¸¦ ÅëÇØ ÄÚµå ǰÁúÀ» ÁÖµµÀûÀ¸·Î °³¼±ÇØ º» °æÇèÀ» º¸À¯ÇϽŠºÐ
• ´Éµ¿ÀûÀÎ ¹®Á¦ ÇØ°á ¹× Çù¾÷ ¿ª·®À» º¸À¯ÇϽŠºÐ
¿ì´ë»çÇ×
• Spark µî ºÐ»ê ó¸® ÇÁ·¹ÀÓ¿öÅ©¸¦ Ȱ¿ëÇÑ ´ë¿ë·® µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ ¼³°è ¹× ¼º´É ÃÖÀûÈ °æÇèÀ» º¸À¯ÇϽŠºÐ
• LLM ¹× ±âŸ ¸ðµ¨ ¼ºù¡¤ÇнÀ ÃÖÀûÈ ¹× ¿î¿µ °æÇèÀ» º¸À¯ÇϽŠºÐ
• k8s Operator ÆÐÅÏÀ» Ȱ¿ëÇÏ¿© Ä¿½ºÅÒ ¸®¼Ò½º¸¦ Á¤ÀÇÇϰí, À̸¦ Á¦¾îÇÏ´Â Controller, Webhook µîÀÇ °³¹ß °æÇèÀ» º¸À¯ÇϽŠºÐ
• ¸¶ÀÌÅ©·Î¼ºñ½º ¾ÆÅ°ÅØÃ³(MSA)ÀÇ ¹èÆ÷ ÀÚµ¿È ¹× Ŭ¶ó¿ìµå ³×ÀÌÆ¼ºê ¾ÖÇø®ÄÉÀ̼ÇÀÇ ÆÐŰ¡¡¤ÇÁ·ÎºñÀú´× ¼³°è °æÇèÀ» º¸À¯ÇϽŠºÐ
• ºÐ»ê ȯ°æ¿¡¼ÀÇ ·Î±ë, Æ®·¹À̽Ì, µð¹ö±ë °æÇèÀ» º¸À¯ÇϽŠºÐ
• ½Ã½ºÅÛ(SW, ³×Æ®¿öÅ©, OS) Àü¹Ý¿¡ ´ëÇÑ ±íÀº ÀÌÇØµµ¸¦ º¸À¯ÇϽŠºÐ
• ¿ÀǼҽº ÇÁ·ÎÁ§Æ®¿¡ ±â¿©Çϰųª, °øÅë ¶óÀ̺귯¸®¡¤ÇÁ·¹ÀÓ¿öÅ©¸¦ Á÷Á¢ °³¹ßÇÏ¿© »ç³» ÀüÆÄ °æÇèÀ» º¸À¯ÇϽŠºÐ
Á¶Á÷±¸¼º¿ø Talk
"´ë±Ô¸ð GPU Ŭ·¯½ºÅÍ ±â¹ÝÀÇ ±¹°¡ ´ÜÀ§ ML Ç÷§Æû¿¡¼ End-to-End ±â¼ú·Î ÇÔ²² ¼ºÀåÇÒ ºÐÀ» ±â´Ù¸³´Ï´Ù."
[Talk 1]
¿ì¸® MLOps ÆÀ¿¡¼´Â ÀÎÇÁ¶ó °èÃþºÎÅÍ ¾ÖÇø®ÄÉÀÌ¼Ç °èÃþ±îÁö, End-to-End ±â¼ú¿¡ ´ëÇØ ³Ð°í ±íÀÌ ÀÖ°Ô ±â¿©ÇÏ¸ç ¼ºÀåÇÒ ¼ö ÀÖ½À´Ï´Ù. ÆÀ³×À̹ö Àüü ML ¿£Áö´Ï¾î, ¿¬±¸Àںеé»Ó¸¸ ¾Æ´Ï¶ó, ±Û·Î¹ú ±â¾÷, ±¹°¡ ´ÜÀ§·Îµµ ML Ç÷§ÆûÀ» Á¦°øÇØ ÁÖ´Â °æÇèÀ» ÇØº¼ ¼ö ÀÖ½À´Ï´Ù!
[Talk 2]
ÀúÈñ Á¶Á÷Àº AI/ML ¼ºñ½º¸¦ Á¦°øÇϱâ À§ÇÑ Àü °úÁ¤¿¡ ´ëÇØ¼ ÇÊ¿äÇÑ ±â´ÉµéÀ» °í¹ÎÇϰí, ÀϹÝÈÇÏ¿© °³¹ßÇÕ´Ï´Ù. ±×·¸±â¿¡ »õ·Î¿î Æ®·»µå¿¡ ´ëÇØ¼ ´©±¸º¸´Ùµµ ºü¸£°Ô Á¢Çϰí ÀÌÇØÇÏ¸ç ±¸ÇöÇØ¾ß ÇÕ´Ï´Ù. ¶ÇÇÑ ´ë±Ô¸ð GPU Ŭ·¯½ºÅ͸¦ ¿î¿ëÇÏ´Â ¸¸Å È¿À²ÀûÀÎ ·ÎÁ÷À¸·Î ¸¹Àº »ç¿ëÀÚ¿¡°Ô GPU¸¦ È¿À²ÀûÀ¸·Î Á¦°øÇØ¾ß Çϰí, ÁÖ¾îÁø GPU¸¦ 100% ¹ßÈÖÇÒ ¼ö ÀÖµµ·Ï ÃÖÀûÈ ¿¬±¸¸¦ ÁøÇàÇÕ´Ï´Ù. Á÷Á¢ÀûÀÎ ¸ðµ¨ °³¹ßÀ» ÇÏÁø ¾ÊÁö¸¸, ±× ´©±¸º¸´Ùµµ ±íÀÌ ÀÖ°Ô ¾Ë ¼ö ÀÖ¾î¾ß Çϱ⿡ ´Ù¾çÇÑ ¼ºÀå ±âȸ¿Í °æÇèÀ» °¡Áú ¼ö ÀÖ´Â ÆÀÀ̶ó »ý°¢ÇÕ´Ï´Ù. °¢ ÆÀ¸¶´Ù °¢ÀÚÀÇ ¾÷¹«¿¡ ¸ñÇ¥°¡ ÀÖÁö¸¸ ¾î´À ¶§´Â ÇÑ ÆÀó·³ ÇÔ²² ÀÏÇϸç, ÆÀ ¹®È¿¡ Á߿伺À» ¾Ë±â¿¡, ±¸¼º¿ø ÇÑ ºÐ ÇÑ ºÐÀÌ ¹®È¸¦ ¸¸µé¾î³ª°¥ ¼ö ÀÖ´Â ºÐÀ§±âÀÔ´Ï´Ù.
[Talk 3]
¼ö¹é, ¼ö½Ê Å×¶ó¹ÙÀÌÆ®(TB) ±Ô¸ðÀÇ µ¥ÀÌÅÍ ¼ÂÀ» ÀÚÀ¯ÀÚÀç·Î ´Ù·ê ¼ö ÀÖ´Â ½Ã½ºÅÛÀ» °°ÀÌ ¸¸µé¾î ³ª°¡½Ç ºÐÀ» ã°í ÀÖ½À´Ï´Ù. RDMA ±â¹ÝÀÇ °í¼Ó ½ºÅ丮Áö¸¦ ÀÌ¿ëÇÑ µ¥ÀÌÅÍ Ã³¸® ¹× ´ë±Ô¸ð º´·Ä ÇнÀ ÆÄÀÌÇÁ¶óÀÎ, Çϵå¿þ¾î °¡¼ÓÀÌ Áö¿øµÇ´Â µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎ µî Èï¹Ì·Î¿î ÁÖÁ¦°¡ ¿©·¯ºÐÀ» ±â´Ù¸®°í ÀÖ½À´Ï´Ù.
ÀüÇüÀýÂ÷ ¹× ±âŸ»çÇ×
[ÀüÇüÀýÂ÷]
¼·ù ÀüÇü(±â¾÷¹®ÈÀûÇÕµµ °Ë»ç ¹× Á÷¹« Å×½ºÆ® Æ÷ÇÔ) ¢º 1Â÷ ÀÎÅÍºä ¢º ·¹ÆÛ·±½ºÃ¼Å© ¹× 2Â÷ ÀÎÅÍºä ¢º ó¿ìÇùÀÇ ¢º ÃÖÁ¾ÇÕ°Ý
¡Ø ÀüÇü ÀýÂ÷´Â ÀÏÁ¤ ¹× »óȲ¿¡ µû¶ó º¯µ¿ µÉ ¼ö ÀÖÀ¸¸ç, ÀüÇü º° °á°ú¿¡ µû¶ó ÀýÂ÷(Ãß°¡ ÀÎÅÍºä µî)°¡ Ãß°¡µÉ ¼ö ÀÖ½À´Ï´Ù.
¡Ø Á¤ÇØÁø °á°ú ¹ßÇ¥ ÀÏÁ¤Àº ¾øÀ¸¸ç, Áö¿ø¼ °ËÅä ÈÄ ¸éÁ¢ ÀÏÁ¤Àº ´ë»óÀÚ¿¡°Ô °³º°·Î ¾È³» µå¸± ¿¹Á¤ÀÔ´Ï´Ù.
[±Ù¹«Áö]
°æ±â ¼º³²½Ã ºÐ´ç±¸ ºÒÁ¤·Î 6 (±×¸°ÆÑÅ丮)
¡Ø ±Ù¹«Áö´Â ȸ»ç ³»ºÎ »çÁ¤¿¡ µû¶ó º¯µ¿µÉ ¼ö ÀÖ½À´Ï´Ù.