ÀúÈñ ºÎ¼´Â HyperCLOVA ¾ð¾î ¸ðµ¨ÀÇ ´É·Â°ú ¾ÆÅ°ÅØÃ³¸¦ ±â¹ÝÀ¸·Î, À̹ÌÁö¿Í ºñµð¿À µîÀÇ Vision µµ¸ÞÀÎÀ¸·ÎÀÇ ±â´ÉÀ» È®ÀåÇϱâ À§ÇÑ ¾ÆÅ°ÅØÃ³ ¼³°è ¹× ¸ðµ¨ °³¹ßÀ» ´ã´çÇÕ´Ï´Ù. Vision ÀÌÇØ¿¡ ±×Ä¡´Â °ÍÀÌ ¾Æ´Ñ ÃÖÁ¾ÀûÀ¸·Î´Â Native Multimodal ¹× ÀÔÃâ·Â Ãø¸é¿¡¼ Any-to-Any±îÁöÀÇ È®ÀåÀ» ¸ñÇ¥·Î Çϰí ÀÖ½À´Ï´Ù. 2024³â 9¿ù, Çѱ¹ ÃÖÃÊ·Î Vision LLM ±â´ÉÀ» HyperCLOVA X¿¡ ¼ºñ½º ½ÃÀÛÇÏ¿´°í, ¿ÃÇØ 4¿ù¿¡´Â ´ëÇѹα¹ AI »ýŰ踦 À§ÇÏ¿© ±¹³» ÃÖÃÊ·Î »ó¾÷¿ë ¿ÀǼҽº AI ¸ðµ¨À» °ø°³Çϱ⵵ Çß½À´Ï´Ù.
Global Frontier Big Tech ¿Í °æÀïÇÏ´Â °ÍÀº »ó´çÈ÷ µµÀüÀûÀÌ°í ¾î¼¸é ¹«¸ðÇØ º¸ÀÏ ¼ö ÀÖ´Â °úÁ¦Áö¸¸, NAVERÀÇ µ¥ÀÌÅÍ ÀÚ»ê°ú ¿À·£ ±â¼ú ÃàÀû, ±×¸®°í ¿ì¼öÇÑ ÀÎÀçÇ®ÀÌ Àֱ⿡ ÃæºÐÈ÷ ÀÇ¹Ì ÀÖ´Â µµÀüÀÌ µÉ °ÍÀ̶ó »ý°¢ÇÕ´Ï´Ù.
*»ó¾÷¿ë ¿ÀÇ ¼Ò½º AI : https://tinyurl.com/4zbfsdp5
1. Multimodal Pretraining
- °æÀï»ç ¼öÁØÀÇ ÇнÀ·® µµ´Þ ¹× VLM ÃÖÁ¾ ¼º´É Çâ»ó
- VisionÀ» ³Ñ¾î¼± Omni modality(ÀÔÃâ·Â ¹«°ü)·ÎÀÇ È®Àå ¹× À¯°üºÎ¼ Çù¾÷
2. Vision Language Model
- Multimodal È®ÀåÀ» À§ÇÑ È¿°úÀûÀÎ ¾ÆÅ°ÅØÃ³ ¿Ï¼º
- Benchmark Àü¹Ý¿¡ ´ëÇÑ µ¿ÀÏ ÇнÀ ¼öÁØ °æÀï ¸ðµ¨ ´ëºñ ¿ìÀ§ ´Þ¼º
3. Vision Language Model Ops
- ¿øÈ°ÇÑ ¹èÆ÷ ¹× ¹èÆ÷ ÇÁ·Î¼¼½º Á¤¸³
- ÇнÀ ¹× ¹èÆ÷ ÀÚµ¿È
- Open-sourcingÀ» ÅëÇÑ ´ë¿Ü ¿µÇâ·Â È®´ë
4.Vision Reinforcement Learning
- »ý»ê °øÁ¤¿¡¼ÀÇ Vision RL ÇнÀ ¹× °íµµÈ
- Reasoning °ü·Ã Target Benchmark¿¡¼ ÃÖ°í ¼º´É(SOTA) ´Þ¼º
5. Vision Data
- È®º¸µÈ µ¥ÀÌÅÍ ±âÁØ ¸ðµ¨ ¼º´É ¿µÇâµµ °¡½ÃÈ
- Recipe Ž»öÀ» À§ÇÑ µ¥ÀÌÅÍ Å¥·¹ÀÌ¼Ç ¹× ¸ðµ¨ ÇнÀ
- ¹®Á¦ ÇØ°á ¹× Reasoning ¿µ¿ª Æ¯È µ¥ÀÌÅÍ È®º¸ ¹× ¸ðµ¨ ¼º´É Çâ»ó
- ÇнÀ ¹× Å×½ºÆ® set design
- ±¹³»/¿Ü Á¤±Ô´ëÇÐ ¼®»ç ÇÐÀ§ º¸À¯ÀÚ È¤Àº 2³â ÀÌ»óÀÇ À¯°ü ¾÷¹« °æÇèÀÌ ÀÖÀ¸½Å ºÐ
- Vision Language Model (LLaVA, Qwen VL, DeepSeek VL) ¿¡ ´ëÇÑ ±âº»ÀûÀÎ Áö½ÄÀ» º¸À¯ÇϽŠºÐ
- Vision Language Model ÇнÀ °úÁ¤¿¡ ´ëÇÑ ±¸Ã¼ÀûÀÎ ÀÌÇØ ¹× Code Level ÀÇ Hands On °æÇèÀ» º¸À¯ÇϽŠºÐ
- Distributed Training ¹× ¸ðµ¨ °¡¼ÓÈ °ü·Ã °æÇè ¶Ç´Â ÀÌÇØ¸¦ °®Ã߽ŠºÐ(DeepSpeed Zero, Megatron, Nemo, vLLM, sglang µî)
- Vision LLM µ¥ÀÌÅÍ Æ¯¼º ¹× Á¾·ù¿¡ ´ëÇÑ ÀÌÇØ, ½Å±Ô µ¥ÀÌÅÍ ¼³°è ´É·ÂÀ» °®Ã߽ŠºÐ
- Python ¹× LLM °³¹ß °ü·Ã Library, FW, Platform(PyTorch, Hugging Face) Ȱ¿ë ´É·ÂÀ» °®Ã߽ŠºÐ
- LLM ¶Ç´Â VLM °ü·Ã Àü°ø °æÇèÀ» º¸À¯ÇϽŠºÐ
- Challenge Âü°¡ °æÇè ¶Ç´Â »óÀ§ ÀÔ»ó °æÇèÀÌ ÀÖÀ¸½Å ºÐ
- Top-tier ³í¹® 1ÀúÀÚ °æÇèÀ» º¸À¯ÇϽŠºÐ
- ÃÖ¼Ò 3°³¿ù ÀÌ»ó ¼Ò¿äµÈ ÇÁ·ÎÁ§Æ®¿¡¼ ³ôÀº ±â¿©µµ·Î ¼º°ø °æÇèÀ» º¸À¯ÇϽŠºÐ
[ÀüÇüÀýÂ÷]
¼·ù ÀüÇü(±â¾÷¹®ÈÀûÇÕµµ °Ë»ç ¹× Á÷¹« Å×½ºÆ® Æ÷ÇÔ) ¢º 1Â÷ ÀÎÅÍºä ¢º 2Â÷ ÀÎÅÍºä ¢º ·¹ÆÛ·±½º üũ ¹× Á¾ÇÕ ÀÎÅÍºä ¢º ó¿ìÇùÀÇ ¢º ÃÖÁ¾ÇÕ°Ý
¡Ø ÀüÇü ÀýÂ÷´Â ÀÏÁ¤ ¹× »óȲ¿¡ µû¶ó º¯µ¿ µÉ ¼ö ÀÖÀ¸¸ç, ÀüÇüº° °á°ú¿¡ µû¶ó ÀýÂ÷(Ãß°¡ ÀÎÅÍºä µî)°¡ Ãß°¡µÉ ¼ö ÀÖ½À´Ï´Ù.
¡Ø Á¤ÇØÁø °á°ú ¹ßÇ¥ ÀÏÁ¤Àº ¾øÀ¸¸ç, Áö¿ø¼ °ËÅä ÈÄ ¸éÁ¢ ÀÏÁ¤Àº ´ë»óÀÚ¿¡°Ô °³º°·Î ¾È³»µå¸± ¿¹Á¤ÀÔ´Ï´Ù.
[±Ù¹«Áö]
°æ±â ¼º³²½Ã ºÐ´ç±¸ ºÒÁ¤·Î 6 (±×¸°ÆÑÅ丮)
¡Ø ±Ù¹«Áö´Â ȸ»ç ³»ºÎ »çÁ¤¿¡ µû¶ó º¯µ¿µÉ ¼ö ÀÖ½À´Ï´Ù.
[±âŸ»çÇ×]
- º» °ø°í´Â Ÿ °ø°í¿Í Áߺ¹Áö¿øÀÌ ºÒ°¡´ÉÇϸç, ±â ÁøÇàÇÑ Æ÷Áö¼Ç¿¡ ´ëÇÑ ÀüÇüÀÌ ¸ðµÎ ¸¶¹«¸® µÇ¸é ´Ù¸¥ Æ÷Áö¼ÇÀ¸·Î Áö¿øÀÌ °¡´ÉÇÕ´Ï´Ù.
- ÇØ¿Ü ÃâÀå¿¡ °á°Ý »çÀ¯°¡ ¾ø´Â ºÐ¸¸ Áö¿ø °¡´ÉÇÕ´Ï´Ù.
- º´¿ª Àǹ«¸¦ ÇÊÇÑ ÀÚ È¤Àº ¸éÁ¦µÈ ÀÚ(³²¼ºÀÇ °æ¿ì)¿¡ ÇÑÇØ ÀÔ»çÁö¿øÀÌ °¡´ÉÇÕ´Ï´Ù.
- Áö¿ø¼ »ó ÇãÀ§ ±âÀç°¡ Àְųª Á¦Ãâ ¼·ù°¡ ÇãÀ§ÀÎ °æ¿ì ÇÕ°ÝÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù.
- Á¦ÃâµÈ Áö¿ø¼´Â [My page- Áö¿øÇöȲ]¿¡¼ È®ÀÎ °¡´ÉÇϸç, °ø°í ¸¶°¨ Àü±îÁö ȨÆäÀÌÁö¿¡¼ ¼öÁ¤ ¹× Áö¿ø öȸ°¡ °¡´ÉÇÕ´Ï´Ù.
- º» °ø°í´Â ÀÎÀç ¼±¹ß ¿Ï·á ½Ã Á¶±â ¸¶°¨µÉ ¼ö ÀÖÀ¸¸ç, ÇÊ¿ä ½Ã ¸ðÁý ±â°£ÀÌ ¿¬ÀåµÉ ¼ö ÀÖ½À´Ï´Ù.
- ±¹°¡À¯°øÀÚ ¹× Àå¾ÖÀÎ µî Ãë¾÷º¸È£ ´ë»óÀÚ´Â °ü°è¹ý·É¿¡ µû¶ó ¿ì´ëÇÕ´Ï´Ù.
- ±¹°¡À¯°øÀÚÀÇ °¡»êÁ¡ ºÎ¿©¸¦ ¹Þ±â À§Çؼ´Â º»ÀÎÀÌ 'Ãë¾÷Áö¿ø ´ë»óÀÚ Áõ¸í¼'¸¦ ȸ»ç¿¡ Á¦ÃâÇØ¾ß ÇÕ´Ï´Ù.
- Á¦ÃâÇØ ÁֽŠÁö¿ø¼ÀÇ °ËÅä °á°ú ¹ßÇ¥´Â Áö¿ø¼¿¡ µî·ÏÇϽŠÀ̸ÞÀÏ·Î °³º° ¾È³» µå¸³´Ï´Ù.
- ÀÔ»ç ÈÄ 3°³¿ùÀÇ ¼ö½À ±â°£À» Àû¿ëÇÏ¸ç Æò°¡¿¡ µû¶ó ¼ö½À ±â°£ÀÌ ¿¬ÀåµÇ°Å³ª ä¿ëÀÌ Ãë¼ÒµÉ ¼ö ÀÖ½À´Ï´Ù.
- ¹®ÀÇ»çÇ×Àº NAVER Cloud ä¿ë ȨÆäÀÌÁö 1:1 ¹®ÀÇ·Î Á¢¼öÇØÁֽñ⠹ٶø´Ï´Ù.