[চীন, শেনজেন, 14 জুলাই, 2023] আজ, Huawei তার নতুন AI স্টোরেজ সলিউশন উন্মোচন করেছে বৃহৎ-স্কেল মডেলের যুগের জন্য, যা মৌলিক মডেল প্রশিক্ষণ, শিল্প-নির্দিষ্ট মডেল প্রশিক্ষণ, এবং সেগমেন্টেড পরিস্থিতিতে অনুমান করার জন্য সর্বোত্তম স্টোরেজ সমাধান প্রদান করে। নতুন এআই ক্ষমতা প্রকাশ করা।
বড় আকারের মডেল অ্যাপ্লিকেশনগুলির বিকাশ এবং বাস্তবায়নে, উদ্যোগগুলি চারটি প্রধান চ্যালেঞ্জের মুখোমুখি হয়:
প্রথমত, ডেটা প্রস্তুতির জন্য প্রয়োজনীয় সময় দীর্ঘ, ডেটা উত্সগুলি ছড়িয়ে ছিটিয়ে রয়েছে এবং একত্রিতকরণ ধীর, শত শত টেরাবাইট ডেটা প্রিপ্রসেস করতে প্রায় 10 দিন সময় লাগে৷ দ্বিতীয়ত, বিশাল টেক্সট এবং ইমেজ ডেটাসেট সহ মাল্টি-মডেল বড় মডেলগুলির জন্য, বিশাল ছোট ফাইলগুলির জন্য বর্তমান লোডিং গতি 100MB/s এর কম, যার ফলে প্রশিক্ষণ সেট লোড করার দক্ষতা কম। তৃতীয়ত, অস্থির প্রশিক্ষণ প্ল্যাটফর্মের সাথে বড় মডেলগুলির জন্য ঘন ঘন প্যারামিটার সামঞ্জস্য, প্রায় প্রতি 2 দিনে প্রশিক্ষণে বিঘ্ন ঘটায়, প্রশিক্ষণ পুনরায় শুরু করার জন্য চেকপয়েন্ট মেকানিজমের প্রয়োজন হয়, পুনরুদ্ধার এক দিন সময় নেয়। সবশেষে, বড় মডেলের জন্য উচ্চ বাস্তবায়ন থ্রেশহোল্ড, জটিল সিস্টেম সেটআপ, রিসোর্স শিডিউলিং চ্যালেঞ্জ, এবং GPU রিসোর্স ব্যবহার প্রায়ই 40% এর নিচে।
Huawei বড় আকারের মডেলের যুগে AI বিকাশের প্রবণতার সাথে সারিবদ্ধ হচ্ছে, বিভিন্ন শিল্প এবং পরিস্থিতির জন্য উপযোগী সমাধান প্রদান করছে। এটি OceanStor A310 ডিপ লার্নিং ডেটা লেক স্টোরেজ এবং FusionCube A3000 ট্রেনিং/ইনফারেন্স সুপার-কনভার্জড অ্যাপ্লায়েন্স প্রবর্তন করে। OceanStor A310 ডিপ লার্নিং ডেটা লেক স্টোরেজ উভয় মৌলিক এবং শিল্প-স্তরের বৃহৎ মডেল ডেটা লেক পরিস্থিতিতে লক্ষ্য করে, ডেটা একত্রিতকরণ থেকে ব্যাপক AI ডেটা ব্যবস্থাপনা অর্জন, মডেল প্রশিক্ষণ থেকে প্রি-প্রসেসিং, এবং অনুমান অ্যাপ্লিকেশন। OceanStor A310, একটি একক 5U র্যাকে, শিল্প-নেতৃস্থানীয় 400GB/s ব্যান্ডউইথ এবং 12 মিলিয়ন IOPS পর্যন্ত, 4096 নোড পর্যন্ত লিনিয়ার স্কেলেবিলিটি সহ, বিরামহীন ক্রস-প্রটোকল যোগাযোগ সক্ষম করে। গ্লোবাল ফাইল সিস্টেম (GFS) সমস্ত অঞ্চল জুড়ে বুদ্ধিমান ডেটা বুননের সুবিধা দেয়, ডেটা একত্রিতকরণ প্রক্রিয়াগুলিকে স্ট্রিমলাইন করে৷ নিয়ার-স্টোরেজ কম্পিউটিং কাছাকাছি-ডেটা প্রি-প্রসেসিং উপলব্ধি করে, ডেটা মুভমেন্ট হ্রাস করে এবং প্রি-প্রসেসিং দক্ষতা 30% উন্নত করে।
FusionCube A3000 ট্রেনিং/ইনফারেন্স সুপার-কনভারজড অ্যাপ্লায়েন্স, শিল্প-স্তরের বড় মডেল প্রশিক্ষণ/অনুমান পরিস্থিতির জন্য ডিজাইন করা হয়েছে, বিলিয়ন প্যারামিটার সহ মডেলের সাথে জড়িত অ্যাপ্লিকেশনগুলি পূরণ করে। এটি OceanStor A300 হাই-পারফরম্যান্স স্টোরেজ নোড, ট্রেনিং/ইনফারেন্স নোড, সুইচিং ইকুইপমেন্ট, এআই প্ল্যাটফর্ম সফটওয়্যার এবং ম্যানেজমেন্ট এবং অপারেশন সফ্টওয়্যারকে একীভূত করে, একটি ওয়ান-স্টপ ডেলিভারির জন্য বৃহৎ মডেল অংশীদারদের প্লাগ-এন্ড-প্লে স্থাপনের অভিজ্ঞতা প্রদান করে। ব্যবহারের জন্য প্রস্তুত, এটি 2 ঘন্টার মধ্যে স্থাপন করা যেতে পারে। প্রশিক্ষণ/অনুমান এবং স্টোরেজ নোড উভয়ই স্বাধীনভাবে এবং অনুভূমিকভাবে বিভিন্ন মডেল স্কেলের প্রয়োজনীয়তা মেলে প্রসারিত হতে পারে। ইতিমধ্যে, FusionCube A3000 উচ্চ-পারফরম্যান্স কন্টেনার ব্যবহার করে একাধিক মডেল প্রশিক্ষণ এবং অনুমান কাজগুলিকে GPU শেয়ার করার জন্য সক্ষম করে, যা সম্পদের ব্যবহার 40% থেকে 70% এর উপরে বৃদ্ধি করে। FusionCube A3000 দুটি নমনীয় ব্যবসায়িক মডেল সমর্থন করে: হুয়াওয়ে অ্যাসেন্ড ওয়ান-স্টপ সলিউশন এবং তৃতীয় পক্ষের অংশীদার ওপেন কম্পিউটিং, নেটওয়ার্কিং এবং এআই প্ল্যাটফর্ম সফ্টওয়্যার সহ ওয়ান-স্টপ সলিউশন।
হুয়াওয়ের ডাটা স্টোরেজ প্রোডাক্ট লাইনের প্রেসিডেন্ট ঝোউ ইউফেং বলেছেন, “বড় মাপের মডেলের যুগে ডেটা AI বুদ্ধিমত্তার উচ্চতা নির্ধারণ করে। ডেটার বাহক হিসাবে, ডেটা স্টোরেজ AI বৃহৎ-স্কেল মডেলগুলির জন্য মূল ভিত্তিগত অবকাঠামো হয়ে ওঠে। Huawei ডেটা স্টোরেজ উদ্ভাবন অব্যাহত রাখবে, AI বৃহৎ মডেলের যুগের জন্য বৈচিত্র্যপূর্ণ সমাধান এবং পণ্য সরবরাহ করবে, বিস্তৃত শিল্পে AI ক্ষমতায়ন চালাতে অংশীদারদের সাথে সহযোগিতা করবে।”
পোস্টের সময়: আগস্ট-০১-২০২৩
