ٹوکن، سیاق و سباق اور یادداشت: اے آئی کی گفتگو میں ان کا کیا مطلب ہے؟
اے آئی استعمال کرتے ہوئے کچھ اصطلاحات بار بار سامنے آتی ہیں۔ ان میں ٹوکن، سیاق و سباق اور یادداشت خاص طور پر اہم ہیں۔
یہ تینوں ایک دوسرے سے متعلق ضرور ہیں، لیکن ایک ہی چیز نہیں ہیں۔
اس سبق میں ہم آسان مثالوں سے سمجھیں گے کہ زبان کا ماڈل متن کو کس طرح چھوٹے حصوں میں دیکھتا ہے، جواب دیتے وقت کون سی معلومات سامنے رکھ سکتا ہے، اور بعض اے آئی خدمات کی یادداشت موجودہ گفتگو کے سیاق و سباق سے کیسے مختلف ہوتی ہے۔
اس سبق سے آپ کیا سیکھیں گے؟
- ٹوکن کیا ہوتا ہے
- ایک لفظ اور ایک ٹوکن ہمیشہ برابر کیوں نہیں ہوتے
- دیے گئے مواد اور جواب کے ٹوکن میں کیا فرق ہے
- سیاق و سباق سے کیا مراد ہے
- سیاق کی گنجائش کیا ہوتی ہے
- یادداشت اور موجودہ سیاق و سباق میں کیا فرق ہے
- لمبی گفتگو میں ہر نظر آنے والی بات لازماً ماڈل کے سامنے کیوں نہیں ہوتی
سب سے پہلے ٹوکن کیا ہوتا ہے؟
ٹوکن متن کی ایک چھوٹی اکائی ہوتی ہے جسے زبان کا ماڈل متن کے ساتھ کام کرتے وقت استعمال کرتا ہے۔
ٹوکن لازماً ایک مکمل لفظ نہیں ہوتا۔ یہ:
- پورا لفظ
- لفظ کا حصہ
- ایک حرف
- عدد
- علامت
ہوسکتا ہے۔
ہم تحریر کو مکمل الفاظ اور جملوں کی شکل میں پڑھتے ہیں، جبکہ زبان کا ماڈل متن کو اپنے مقررہ طریقے کے مطابق چھوٹے ٹوکنز میں تقسیم کرکے اس کے ساتھ کام کرتا ہے۔
ایک لفظ اور ایک ٹوکن ایک ہی چیز ہیں؟
ضروری نہیں۔
مثلاً ہم یہ جملہ مکمل الفاظ کی شکل میں دیکھتے ہیں:
“آج موسم بہت خوبصورت ہے۔”
لیکن ماڈل ضروری نہیں کہ اسے اتنے ہی ٹوکنز میں تقسیم کرے جتنے ہمیں الفاظ نظر آرہے ہیں۔
تقسیم کا طریقہ زبان، ماڈل اور اس میں استعمال ہونے والے نظام کے مطابق مختلف ہوسکتا ہے۔
اس لیے یہ اصول درست نہیں:
“1 لفظ ہمیشہ 1 ٹوکن ہوتا ہے۔”
Tokenization یعنی متن کو ٹوکنز میں تقسیم کرنا
متن کو چھوٹے ٹوکنز میں تقسیم کرنے کے عمل کو انگریزی میں Tokenization کہا جاتا ہے۔
جب آپ زبان کے ماڈل کو تحریر دیتے ہیں تو وہ متن ٹوکنز کی شکل میں اس کے کام کا حصہ بنتا ہے۔
جواب تیار ہوتے وقت بھی متن چھوٹے ٹوکنز کی صورت میں آگے بڑھتا ہے، اور آخر میں یہی حصے مل کر مکمل عبارت کی شکل میں نظر آتے ہیں۔
کیا مختلف زبانوں میں ٹوکنز برابر ہوتے ہیں؟
نہیں۔
ایک ہی تعداد کے الفاظ مختلف زبانوں میں مختلف تعداد کے ٹوکنز بنا سکتے ہیں۔
اس لیے انگریزی کے بارے میں دی جانے والی کسی عام Token مثال کو اردو پر لازماً اسی طرح لاگو نہیں کرنا چاہیے۔
الفاظ اور ٹوکنز کے درمیان کوئی ایک مستقل فارمولا تمام زبانوں اور تمام ماڈلز کے لیے درست نہیں۔
Input Tokens یعنی دیے گئے مواد کے ٹوکن کیا ہیں؟
Input Tokens سے مراد وہ ٹوکنز ہیں جو جواب بنانے کے لیے ماڈل کو دیے گئے دستیاب مواد میں شامل ہوتے ہیں۔
یہ صرف آپ کے تازہ سوال تک محدود نہیں ہوتے۔ صورتِ حال کے مطابق ان میں یہ چیزیں بھی شامل ہوسکتی ہیں:
- آپ کا موجودہ سوال یا ہدایت
- موجودہ گفتگو کا دستیاب سابقہ حصہ
- نظام کی ہدایات
- فراہم کردہ عبارت یا دستاویز سے متعلق معلومات
- ٹول یا سروس کے ذریعے ماڈل کو دی گئی دوسری متعلقہ معلومات
مثلاً اگر آپ لکھتے ہیں:
“پانی کی اہمیت آسان اردو میں سمجھائیں۔”
آپ کا یہ سوال دیے گئے مواد کا حصہ ہے، لیکن بعض حالات میں اس کے ساتھ دوسری دستیاب معلومات بھی ماڈل کو دی جاسکتی ہیں۔
Output Tokens یعنی جواب کے ٹوکن کیا ہیں؟
جواب بناتے وقت ماڈل جو نئے ٹوکنز تیار کرتا ہے انہیں انگریزی میں Output Tokens کہا جاتا ہے۔ آسان اردو میں انہیں جواب کے ٹوکن سمجھیں۔
سادہ ترتیب:
دی گئی معلومات → ٹوکنز → ماڈل → جواب کے ٹوکن → مکمل جواب
یہ صرف ابتدائی سمجھ کے لیے ایک آسان نقشہ ہے؛ حقیقی نظام اس سے زیادہ پیچیدہ ہوسکتا ہے۔
اب Context یعنی سیاق و سباق کیا ہوتا ہے؟
Context یعنی سیاق و سباق سے مراد وہ متعلقہ معلومات ہیں جو ماڈل کسی موجودہ جواب کو تیار کرتے وقت سامنے رکھ سکتا ہے۔
اس میں حالات کے مطابق یہ چیزیں شامل ہوسکتی ہیں:
- موجودہ سوال یا ہدایت
- گفتگو کا دستیاب سابقہ حصہ
- آپ کی فراہم کردہ عبارت
- منسلک فائل سے دستیاب متعلقہ معلومات
- سروس یا ٹول کے ذریعے فراہم کی گئی دوسری ضروری معلومات
اس لیے سیاق و سباق صرف آخری سوال نہیں بلکہ جواب بناتے وقت سامنے موجود متعلقہ معلومات کا مجموعہ ہوسکتا ہے۔
سیاق و سباق کو ایک آسان مثال سے سمجھیں
فرض کریں آپ پہلے لکھتے ہیں:
“مجھے آم کے بارے میں مختصر معلومات دیں۔”
جواب آنے کے بعد آپ لکھتے ہیں:
“اس کے 5 فائدے بھی بتائیں۔”
دوسری ہدایت میں آپ نے “آم” کا لفظ دوبارہ نہیں لکھا۔
اگر پہلی بات موجودہ دستیاب سیاق و سباق میں شامل ہے تو ماڈل سمجھ سکتا ہے کہ “اس کے” سے مراد آم ہے۔
یہ گفتگو میں سیاق و سباق کے استعمال کی ایک آسان مثال ہے۔
Context Window یعنی سیاق کی گنجائش کیا ہوتی ہے؟
ہر زبان کا ماڈل ایک وقت میں لامحدود مقدار میں معلومات سامنے نہیں رکھ سکتا۔
وہ ایک تعامل کے دوران کتنی معلومات اپنے دستیاب سیاق میں رکھ سکتا ہے، اس کی ایک حد ہوتی ہے۔ انگریزی میں اسے Context Window کہا جاتا ہے۔ آسان اردو میں اسے سیاق کی گنجائش سمجھیں۔
یہ حد عموماً ٹوکنز میں ظاہر کی جاتی ہے، اور مختلف ماڈلز میں مختلف ہوسکتی ہے۔
لمبی گفتگو میں کیا پوری گفتگو ہمیشہ سامنے ہوتی ہے؟
ضروری نہیں۔
آپ کی اسکرین پر پوری سابقہ گفتگو نظر آ سکتی ہے، لیکن اس کا مطلب یہ نہیں کہ وہ تمام گفتگو ہر نئے جواب کے وقت ماڈل کے سامنے بھی اسی شکل میں موجود ہو۔
لمبی گفتگو میں سروس مختلف طریقے استعمال کرسکتی ہے، مثلاً:
- پرانے حصوں کو مختصر شکل میں پیش کرنا
- صرف متعلقہ حصے ماڈل کو دینا
- کچھ پرانی معلومات موجودہ جواب کے سیاق میں شامل نہ کرنا
اسی لیے اگر کوئی پرانی ہدایت موجودہ کام کے لیے بہت اہم ہو تو اسے مختصر اور واضح انداز میں دوبارہ بیان کرنا مفید ہوسکتا ہے۔
بڑی سیاق کی گنجائش کا کیا فائدہ ہے؟
زیادہ سیاق کی گنجائش کسی ماڈل کو نسبتاً زیادہ مواد ایک ساتھ سامنے رکھنے کی صلاحیت دے سکتی ہے۔
یہ مثلاً ان کاموں میں مفید ہوسکتی ہے:
- لمبی گفتگو
- بڑی دستاویز کا جائزہ
- کئی صفحات کے مواد پر کام
- متعدد متعلقہ ہدایات کے ساتھ کام
لیکن زیادہ گنجائش کا مطلب یہ نہیں کہ ہر معلومات لازماً درست طور پر استعمال ہوگی یا ہر جواب درست ہوگا۔
زیادہ سیاق ہمیشہ بہتر نہیں ہوتا
اے آئی کو ہر ممکن معلومات دینا ضروری نہیں۔ بہتر یہ ہے کہ کام کے لیے ضروری اور متعلقہ معلومات دی جائیں۔
بہت زیادہ غیر متعلقہ تفصیل اصل مقصد کو کم واضح کرسکتی ہے۔
لمبے کام میں آپ:
- غیر متعلقہ معلومات ہٹا سکتے ہیں
- بڑے کام کو مناسب حصوں میں تقسیم کرسکتے ہیں
- ضروری پس منظر واضح رکھ سکتے ہیں
- اہم ہدایات مختصر انداز میں دوبارہ بیان کرسکتے ہیں
اب Memory یعنی یادداشت کیا ہوتی ہے؟
Memory یعنی یادداشت سے مراد بعض اے آئی خدمات میں ایسی سہولت ہوسکتی ہے جس کے ذریعے کچھ معلومات موجودہ گفتگو سے آگے بھی بعد کی گفتگو میں استعمال کی جاسکیں۔
مثلاً کوئی سروس، اگر اس میں یہ سہولت دستیاب اور فعال ہو، آپ کی بعض ترجیحات یا سابقہ معلومات کو بعد کے جواب میں استعمال کرسکتی ہے۔
اسے انسانی یادداشت جیسا نہیں سمجھنا چاہیے۔ یہ مکمل طور پر اس بات پر منحصر ہے کہ متعلقہ سروس کون سی معلومات محفوظ یا دوبارہ استعمال کرتی ہے۔
Personalization یعنی ذاتی ترجیحات کے مطابق جواب
بعض خدمات سابقہ معلومات یا صارف کی ترجیحات کو استعمال کرکے جواب کو اس شخص کے لیے زیادہ موزوں بنانے کی کوشش کرسکتی ہیں۔ انگریزی میں اسے Personalization کہا جاتا ہے۔
آسان الفاظ میں اسے ذاتی ترجیحات کے مطابق جواب سمجھ سکتے ہیں۔
لیکن اس کی نوعیت، دستیابی اور ترتیبات ہر سروس میں مختلف ہوسکتی ہیں۔
یادداشت اور سیاق و سباق میں اصل فرق کیا ہے؟
سیاق و سباق وہ معلومات ہیں جو کسی موجودہ جواب کو بناتے وقت ماڈل کے سامنے دستیاب ہیں۔
یادداشت ایسی الگ سہولت ہوسکتی ہے جس میں کچھ معلومات بعد کی گفتگو کے لیے محفوظ یا قابلِ استعمال رہتی ہیں۔
دونوں مختلف تصورات ہیں، لیکن ان کے درمیان تعلق بھی ہوسکتا ہے۔
اگر یادداشت میں محفوظ کوئی معلومات کسی نئے جواب کے لیے ماڈل کو فراہم کی جائیں تو وہ معلومات اس مخصوص جواب کے سیاق و سباق کا حصہ بن سکتی ہیں۔
یعنی یادداشت معلومات کے محفوظ یا دوبارہ استعمال ہونے سے متعلق ہے، جبکہ سیاق و سباق اس بات سے متعلق ہے کہ موجودہ جواب بناتے وقت ماڈل کے سامنے حقیقتاً کون سی معلومات دستیاب ہیں۔
ایک مثال سے فرق سمجھیں
فرض کریں موجودہ گفتگو میں آپ کہتے ہیں:
“اس مضمون کو آسان اردو میں لکھیں۔”
آپ کی دی ہوئی عبارت اور یہ ہدایت موجودہ جواب کے سیاق کا حصہ ہوسکتی ہیں۔
اب فرض کریں کسی سروس نے پہلے سے آپ کی یہ ترجیح محفوظ کر رکھی ہے کہ آپ آسان اردو پسند کرتے ہیں۔
اگر وہ محفوظ ترجیح نئے جواب کے لیے ماڈل کو فراہم کردی جائے تو وہ بھی اس جواب کے سیاق میں شامل ہوسکتی ہے۔
اس مثال میں محفوظ ترجیح یادداشت سے آئی، لیکن جواب بناتے وقت فراہم ہونے کے بعد وہ موجودہ سیاق کا حصہ بن گئی۔
کیا اے آئی کی یادداشت ہر چیز یاد رکھتی ہے؟
نہیں۔ ایسا فرض نہیں کرنا چاہیے۔
یادداشت کی سہولت مختلف مصنوعات، اکاؤنٹس اور ترتیبات میں مختلف ہوسکتی ہے۔ کوئی سروس لازماً ہر گفتگو کی ہر بات محفوظ نہیں کرتی اور نہ ہر محفوظ معلومات ہر جواب میں استعمال ہوتی ہے۔
اگر کوئی بات موجودہ کام کے لیے بہت اہم ہو تو صرف اس امید پر نہ رہیں کہ اے آئی اسے پہلے سے یاد رکھے گی۔ ضروری معلومات دوبارہ واضح کرنا زیادہ قابلِ اعتماد طریقہ ہے۔
ایک مکمل عملی مثال
فرض کریں آپ لکھتے ہیں:
“میں 12 سال کے بچوں کے لیے پانی کی اہمیت پر سبق تیار کررہا ہوں۔ آسان اردو استعمال کریں اور 5 اہم نکات دیں۔”
اس مثال میں:
- آپ کی تحریر دیے گئے مواد کا حصہ ہے
- متن ٹوکنز میں تقسیم ہوکر ماڈل کے کام کا حصہ بنتا ہے
- عمر، موضوع، زبان اور 5 نکات کی شرط موجودہ سیاق میں شامل ہوسکتی ہیں
- ماڈل انہی دستیاب معلومات اور تربیت میں سیکھے ہوئے نمونوں کی بنیاد پر جواب تیار کرتا ہے
اب اگر اگلی ہدایت ہو:
“تیسرے نکتے کو مزید آسان کریں۔”
اور پچھلا جواب دستیاب سیاق میں ہو تو ماڈل سمجھ سکتا ہے کہ آپ کس تیسرے نکتے کی بات کررہے ہیں۔
یہ موجودہ سیاق و سباق کی مثال ہے؛ اسے خود بخود مستقل یادداشت نہیں سمجھنا چاہیے۔
ٹوکن، سیاق و سباق اور یادداشت کو یاد رکھنے کا آسان طریقہ
ٹوکن: متن کی چھوٹی اکائی
سیاق و سباق: موجودہ جواب بناتے وقت ماڈل کے سامنے دستیاب متعلقہ معلومات
یادداشت: بعض اے آئی خدمات میں ایسی سہولت جو کچھ معلومات کو بعد کی گفتگو میں دوبارہ استعمال کرنے میں مدد دے سکتی ہے
ایک چھوٹی عملی مشق
اپنے گفتگو والے اے آئی ٹول میں پہلے لکھیں:
“میں جماعت 7 کے طالب علم کے لیے درختوں کی اہمیت پر سبق تیار کررہا ہوں۔ 4 آسان نکات دیں۔”
جواب کے بعد صرف لکھیں:
“دوسرے نکتے کو مزید آسان کریں۔”
پھر دیکھیں کہ ٹول پچھلے جواب کے دوسرے نکتے کو درست طور پر سمجھتا ہے یا نہیں۔
اس مشق کا مقصد یہ دیکھنا ہے کہ موجودہ گفتگو کا دستیاب سیاق اگلی ہدایت کو سمجھنے میں کس طرح مدد دے سکتا ہے۔
اگر ٹول کسی الگ سابقہ گفتگو کی معلومات بھی استعمال کرے تو فوراً یہ نتیجہ نہ نکالیں کہ تمام پچھلی گفتگو اسے یاد ہے۔ ایسی صورت اس سروس کی یادداشت، ذاتی ترجیحات اور موجودہ جواب کے لیے فراہم کیے گئے سیاق پر منحصر ہوسکتی ہے۔
اس سبق کا حاصل
ٹوکن متن کی ایک چھوٹی اکائی ہے، اور ایک ٹوکن لازماً ایک مکمل لفظ نہیں ہوتا۔
سیاق و سباق وہ متعلقہ معلومات ہیں جو موجودہ جواب بناتے وقت ماڈل کے سامنے دستیاب ہوتی ہیں، جبکہ سیاق کی گنجائش اس مقدار کی حد سے متعلق ہے جسے ماڈل ایک وقت میں سامنے رکھ سکتا ہے۔
یادداشت اس سے الگ تصور ہے۔ بعض اے آئی خدمات کچھ معلومات کو بعد کی گفتگو کے لیے محفوظ یا دوبارہ استعمال کرسکتی ہیں۔ اگر وہ محفوظ معلومات کسی نئے جواب کے لیے ماڈل کو فراہم کی جائیں تو وہ اس جواب کے سیاق کا حصہ بن سکتی ہیں۔
اور یہ بھی یاد رکھیں کہ اسکرین پر پوری پرانی گفتگو نظر آنے کا مطلب یہ نہیں کہ اس کا ہر حصہ لازماً موجودہ جواب بناتے وقت ماڈل کے سامنے بھی موجود ہو۔
ماخذ اور مزید رہنمائی
- OpenAI — ٹوکن کیا ہوتے ہیں؟
- Google AI for Developers — ٹوکن اور سیاق کی گنجائش کو سمجھنا
- OpenAI — یادداشت کی سہولت کی وضاحت
اگلا سبق
اے آئی ایجنٹ اور خودکاری کیا ہیں؟ آسان مثالوں سے سمجھیں
اگلے سبق میں ہم سمجھیں گے کہ خودکاری کیا ہوتی ہے، اے آئی ایجنٹ عام چیٹ بوٹ سے کس طرح مختلف ہوسکتا ہے اور کسی کام کو خود انجام دینے میں مختلف اوزار اور انسانی اجازت کہاں اہم ہوتی ہے۔