বৃহৎ ট্রান্সফরমার মডেলগুলি আধুনিক AI কার্যগুলিতে প্রাধান্য পেয়েছে, প্রাকৃতিক ভাষা বোঝা থেকে কম্পিউটারের দৃষ্টিভঙ্গি এবং মাল্টিমোডাল স্বীকৃতি পর্যন্ত। যাইহোক, স্ট্যান্ডার্ড ট্রান্সফরমার আর্কিটেকচারগুলি ব্যাপক কম্পিউটিং শক্তি, মেমরি ব্যান্ডউইথ এবং শক্তি খরচের দাবি করে। এই ভারী সম্পদের প্রয়োজন মোবাইল চিপ, এমবেডেড কন্ট্রোলার, ইন্ডাস্ট্রিয়াল সেন্সর এবং কম-পাওয়ার মাইক্রোকন্ট্রোলারের মতো প্রান্তের হার্ডওয়্যারগুলিতে সরাসরি স্থাপনাকে ব্লক করে। এটি একটি বাস্তব প্রশ্ন উত্থাপন করে: ছোট ট্রান্সফরমারগুলি আসলে কী, এবং তারা কি এই সীমিত-সম্পদ ডিভাইসগুলিতে স্থানীয়ভাবে চালানোর সময় ব্যবহারযোগ্য কর্মক্ষমতা বজায় রাখতে পারে?
ক ছোট ট্রান্সফরমার কেবল ভ্যানিলা ট্রান্সফরমারের একটি ডাউনস্কেল কপি নয়। এটি টার্গেটেড লাইটওয়েট অপ্টিমাইজেশানের সাথে নির্মিত। বিকাশকারীরা সাধারণত এনকোডার স্তরের সংখ্যা কমিয়ে দেয়, লুকানো এম্বেডিং মাত্রা সঙ্কুচিত করে, মনোযোগের মাথা কেটে দেয়, বা স্থানীয়, জানালাযুক্ত বা স্পার্স অ্যাটেনশন মেকানিজম দিয়ে সম্পূর্ণ স্ব-মনোযোগ প্রতিস্থাপন করে। কম কম্পিউটেশনাল খরচে স্থানীয় বৈশিষ্ট্যগুলিকে ক্যাপচার করার জন্য অনেকগুলি ডিজাইন কনভোলিউশনাল স্তরগুলির সাথে মনোযোগ মডিউলগুলিকে একত্রিত করে। মূল লক্ষ্য হল সার্বজনীন ওভার-প্যারামিটারাইজড সাধারণীকরণ অনুসরণ করার পরিবর্তে অপ্রয়োজনীয় মডেল ক্ষমতা ছিনিয়ে নেওয়া এবং নির্দিষ্ট ডাউনস্ট্রিম কাজের জন্য প্রয়োজনীয় শুধুমাত্র বৈশিষ্ট্য নিষ্কাশন ক্ষমতা সংরক্ষণ করা।
ছোট ট্রান্সফরমারের সবচেয়ে বড় মান হল কম লেটেন্সি, প্রাইভেসি-ফ্রেন্ডলি এজ ইনফারেন্স। বড় ফাউন্ডেশন মডেলগুলি সাধারণত ক্লাউড জিপিইউ-এর উপর নির্ভর করে, যা নেটওয়ার্ক বিলম্ব, ডেটা ট্রান্সমিশন ঝুঁকি এবং পুনরাবৃত্ত ক্লাউড পরিষেবা খরচ প্রবর্তন করে। একটি ভাল-অপ্টিমাইজ করা ছোট ট্রান্সফরমার স্থানীয়ভাবে ডেটা প্রক্রিয়া করে। এটি অন-ডিভাইস স্পিচ রিকগনিশন, লাইটওয়েট ইন্ডাস্ট্রিয়াল ডিফেক্ট ইন্সপেকশন, শর্ট-টেক্সট ইন্টেন্ট শ্রেণীবিভাগ এবং রিয়েল-টাইম রোবট উপলব্ধির জন্য পুরোপুরি ফিট করে। পণ্য এবং প্রকৌশল দলের জন্য, স্থানীয় স্থাপনা স্থিতিশীল ইন্টারনেট সংযোগের উপর নির্ভরতা হ্রাস করে।
তবুও, পারফরম্যান্স ট্রেড-অফ অনিবার্য রয়ে গেছে। বড় ফাউন্ডেশন মডেলের সাথে তুলনা করে, ছোট ট্রান্সফরমারগুলি সাধারণত ওপেন-ডোমেন যুক্তি, দীর্ঘ-ক্রমের কাজ এবং অস্পষ্ট নমুনাগুলিতে দুর্বল সাধারণীকরণ দেখায়। নির্ভুলতার ব্যবধান কমাতে, গবেষকরা ব্যাপকভাবে জ্ঞান পাতন, কাঠামোগত ছাঁটাই, পরিমাপকরণ এবং কার্য-নির্দিষ্ট সূক্ষ্ম-টিউনিং গ্রহণ করেন। জ্ঞান পাতন সবচেয়ে কার্যকরী কৌশলগুলির মধ্যে একটি: একটি শক্তিশালী বৃহৎ ট্রান্সফরমার শিক্ষক হিসাবে কাজ করে, অন্তর্নিহিত বৈশিষ্ট্যের নিদর্শনগুলিকে কম্প্যাক্ট ছাত্র মডেলে স্থানান্তর করে, তাই ছোট মডেলটি অনেক কম পরামিতি সহ আরও সমৃদ্ধ উপস্থাপনা শেখে।
উত্তর শর্তসাপেক্ষ। ছোট ট্রান্সফরমারগুলি বড় ফাউন্ডেশন মডেলগুলির গভীর যুক্তির ক্ষমতার সাথে মেলে না, তবে তারা অনেকগুলি লক্ষ্যযুক্ত লাইটওয়েট পরিস্থিতিতে নির্ভরযোগ্য নির্ভুলতা অর্জন করতে পারে। তারা বড় ক্লাউড মডেলগুলি প্রতিস্থাপন করবে না, তবে একটি ক্লাউড-এজ সহযোগিতামূলক কর্মপ্রবাহ তৈরি করবে। বড় মডেলগুলি দূরবর্তীভাবে জটিল জেনারেটিভ এবং যুক্তিযুক্ত কাজগুলি পরিচালনা করে, যখন ছোট ট্রান্সফরমারগুলি টার্মিনাল হার্ডওয়্যারে দ্রুত, কম খরচে উপলব্ধি প্রদান করে। এটি ছোট ট্রান্সফরমারকে ট্রান্সফরমার গবেষণার একটি গুরুত্বপূর্ণ শাখা করে তোলে, স্ব-মনোযোগ স্থাপত্যকে উচ্চ-সম্পন্ন সার্ভারের বাইরে সর্বব্যাপী প্রান্ত বুদ্ধিমত্তার দিকে প্রসারিত করে।