جیسا کہ میں نے پچھلی پوسٹ میں ذکر کیا ہے، Fabrice AI کو تیار کرنا توقع سے زیادہ پیچیدہ ثابت ہوا، جس نے مجھے بہت سے مختلف طریقوں کو تلاش کرنے پر مجبور کیا۔

ابتدائی نقطہ نظر: لاما انڈیکس – ویکٹر تلاش

Fabrice AI کی بازیافت کی صلاحیتوں کو بڑھانے میں میری پہلی کوشش میں ویکٹر کی تلاش کے لیے لاما انڈیکس کا استعمال شامل تھا۔ تصور آسان تھا: میرے بلاگ سے مواد لیں، اسے Langchain دستاویزات میں تبدیل کریں، اور پھر انہیں Llama دستاویزات میں تبدیل کریں۔ یہ لاما دستاویزات پھر ایک ویکٹر انڈیکس میں محفوظ ہوں گی، جس سے میں متعلقہ معلومات کے لیے اس انڈیکس سے استفسار کر سکوں گا۔

تاہم، جیسے ہی میں نے سسٹم کو جانچنا شروع کیا، یہ ظاہر ہو گیا کہ یہ طریقہ وہ نتائج نہیں دے رہا ہے جس کی میں نے امید کی تھی۔ خاص طور پر، جب میں نے سیاق و سباق سے متعلق بھاری سوالات کے ساتھ سسٹم سے استفسار کیا جیسے "مارکیٹ پلیس کے بانی سب سے بڑی غلطیاں کیا کرتے ہیں؟” AI معنی خیز جوابات فراہم کرنے میں ناکام رہا۔ اس باریک مواد کو بازیافت کرنے کے بجائے جس کے بارے میں میں جانتا تھا کہ ڈیٹا میں سرایت کیا گیا تھا، اس نے غیر متعلقہ یا نامکمل جوابات واپس کردیئے۔

اس ابتدائی ناکامی نے مجھے اپنے نقطہ نظر پر نظر ثانی کرنے پر مجبور کیا۔ میں نے محسوس کیا کہ صرف ویکٹر انڈیکس میں مواد کو ذخیرہ کرنا کافی نہیں تھا۔ پوچھے جانے والے سوالات کے سیاق و سباق اور باریکیوں کو سمجھنے کے لیے بازیافت کا طریقہ کار درکار ہے۔ یہ احساس بہت سے اسباق میں سے پہلا تھا جو Fabrice AI کے ارتقاء کو تشکیل دے گا۔

ذخیرہ کرنے کا علم: MongoDB دستاویز کا ذخیرہ اور بازیافت

لاما انڈیکس اپروچ کی حدود کو ذہن میں رکھتے ہوئے، میں نے اگلی بار مونگو ڈی بی میں لاما دستاویزات کو ذخیرہ کرنے کی کھوج کی۔ MongoDB کا لچکدار اسکیما اور دستاویز پر مبنی ڈھانچہ ان متنوع قسم کے مواد کو منظم کرنے کے لیے ایک امید افزا حل کی طرح لگتا ہے جو میں نے سالوں میں جمع کیا تھا۔

منصوبہ ایک زیادہ متحرک اور جوابدہ تلاش کا تجربہ تخلیق کرنا تھا۔ تاہم، یہ نقطہ نظر تیزی سے مسائل میں بھاگ گیا. تلاش کی فعالیت، جس کی میں نے زیادہ مضبوط ہونے کی توقع کی تھی، توقع کے مطابق کارکردگی دکھانے میں ناکام رہی۔ ایسے سوالات جن کو متعلقہ دستاویزات کو واپس کرنا چاہیے تھا اس کے بجائے کوئی نتیجہ یا غیر متعلقہ مواد نہیں ملا۔

یہ دھچکا مایوس کن تھا، لیکن اس نے ایک اہم سبق پر بھی زور دیا: ذخیرہ کرنے کا طریقہ اتنا ہی اہم ہے جتنا کہ بازیافت کی حکمت عملی۔ میں نے دوسرے اختیارات پر غور کرنا شروع کیا، جیسے کہ ویکٹر کی تلاش کے لیے MongoDB Atlas کا استعمال، جو ممکنہ طور پر مجھے درکار درستگی اور اسکیل ایبلٹی فراہم کر سکتا ہے۔ تاہم، اس متبادل کا ارتکاب کرنے سے پہلے، میں اس بات کا تعین کرنے کے لیے دوسرے طریقوں کو تلاش کرنا چاہتا تھا کہ آیا کوئی زیادہ موثر حل ہو سکتا ہے۔

میٹا ڈیٹا ریٹریور اور ویکٹر اسٹور: مخصوصیت کی تلاش

اگلی راہوں میں سے ایک جس کی میں نے تلاش کی وہ ویکٹر اسٹور کے ساتھ مل کر میٹا ڈیٹا ریٹریور کا استعمال تھا۔ اس نقطہ نظر کے پیچھے خیال یہ تھا کہ Fabrice AI کے اندر معلومات کی وسیع صف کی درجہ بندی کی جائے اور پھر ان زمروں کی بنیاد پر جوابات کی بازیافت کی جائے۔ میٹا ڈیٹا کے ساتھ ڈیٹا کی ساخت بنا کر، میں نے مخصوص، ہدف شدہ جوابات فراہم کرنے کی AI کی صلاحیت کو بہتر بنانے کی امید کی۔

تاہم، اس طریقہ کار کی بھی اپنی حدود تھیں۔ اگرچہ یہ سطح پر امید افزا لگ رہا تھا، AI نے تمام قسم کے سوالات کے درست جوابات دینے کے لیے جدوجہد کی۔ مثال کے طور پر، جب میں نے پوچھا، "کیا مصنف پر امید ہے؟” سسٹم متعلقہ مواد کے تناظر میں سوال کی تشریح کرنے میں ناکام رہا۔ میٹا ڈیٹا کی بنیاد پر ایک بصیرت انگیز تجزیہ فراہم کرنے کے بجائے، اس نے یا تو مبہم جوابات واپس کیے یا کوئی نہیں۔

اس نقطہ نظر نے مجھے AI میں سیاق و سباق کی اہمیت کے بارے میں ایک قیمتی سبق سکھایا۔ صرف معلومات کی درجہ بندی کرنا کافی نہیں ہے۔ AI کو یہ بھی سمجھنا چاہیے کہ یہ زمرے کس طرح آپس میں تعامل کرتے ہیں اور مواد کی ہم آہنگ تفہیم کو تشکیل دیتے ہیں۔ تفہیم کی اس گہرائی کے بغیر، حاصل کرنے کے انتہائی نفیس طریقے بھی کم ہو سکتے ہیں۔

ساختی علم: دی سمری ٹری انڈیکس

جیسا کہ میں نے Fabrice AI کو بہتر کرنا جاری رکھا، میں نے سمری ٹری انڈیکس بنانے کا تجربہ کیا۔ اس نقطہ نظر کا مقصد تمام دستاویزات کو ایک درخت کی شکل میں خلاصہ کرنا تھا، جس سے AI کو ان خلاصوں کے ذریعے تشریف لے جانے اور مواد کی ساخت کی بنیاد پر متعلقہ معلومات حاصل کرنے کی اجازت ملتی ہے۔

خیال یہ تھا کہ دستاویزات کا خلاصہ کرکے، AI فوری طور پر اہم نکات کی شناخت کر سکتا ہے اور مختصر، درست معلومات کے ساتھ سوالات کا جواب دے سکتا ہے۔ تاہم، اس طریقہ کار کو بھی اہم چیلنجوں کا سامنا کرنا پڑا۔ AI نے پیچیدہ سوالات کے بامعنی جوابات فراہم کرنے کے لیے جدوجہد کی، جیسے کہ "زندگی میں اہم فیصلے کیسے کیے جائیں؟” خلاصوں میں ذخیرہ شدہ امیر، باریک مواد سے ڈرائنگ کرنے کے بجائے، AI کے جوابات اکثر کم یا نامکمل ہوتے تھے۔

اس تجربے نے AI میں چوڑائی اور گہرائی کو متوازن کرنے کی دشواری کو واضح کیا۔ اگرچہ خلاصے ایک اعلیٰ سطحی جائزہ فراہم کر سکتے ہیں، لیکن ان میں زیادہ پیچیدہ سوالات کے جوابات کے لیے درکار تفصیلی سیاق و سباق کی کمی ہوتی ہے۔ میں نے محسوس کیا کہ کسی بھی موثر حل کے لیے تفصیلی مواد اور اعلیٰ سطحی خلاصے دونوں کو یکجا کرنے کی ضرورت ہوگی، جس سے AI کو ضرورت کے مطابق دونوں کو اپنی طرف متوجہ کرنے کی اجازت ہوگی۔

یہی وجہ ہے کہ فیبریس اے آئی کے ورژن میں جو فی الحال لائیو ہے، میں نے مزید تفصیلات میں جانے سے پہلے AI کو پہلے جواب کا خلاصہ دینا ہے۔

افق کو پھیلانا: نالج گراف انڈیکس

پچھلے طریقوں کی حدود کو تسلیم کرتے ہوئے، میں نے ایک زیادہ نفیس نقطہ نظر کی طرف رجوع کیا: نالج گراف انڈیکس۔ اس نقطہ نظر میں غیر ساختہ متن سے علم کا گراف بنانا، AI کو وجود پر مبنی استفسار میں مشغول کرنے کے قابل بنانا شامل تھا۔ اس کا مقصد مواد کی ایک زیادہ متحرک اور باہم مربوط تفہیم پیدا کرنا تھا، جس سے Fabrice AI پیچیدہ، سیاق و سباق سے متعلق بھاری سوالات کا زیادہ مؤثر طریقے سے جواب دے سکے۔

اپنے وعدے کے باوجود، نالج گراف انڈیکس کو بھی اہم رکاوٹوں کا سامنا کرنا پڑا۔ AI نے درست نتائج پیدا کرنے کے لیے جدوجہد کی، خاص طور پر ان سوالات کے لیے جن کے لیے سیاق و سباق کی گہری سمجھ کی ضرورت تھی۔ مثال کے طور پر، جب پوچھا گیا، "منصفانہ بیج اور سیریز A کی قیمتیں کیا ہیں؟” AI دوبارہ متعلقہ جواب فراہم کرنے میں ناکام رہا، غیر ساختہ متن کو مربوط علمی گراف میں ضم کرنے کی دشواری کو اجاگر کرتا ہے۔

یہ نقطہ نظر، بالآخر ناکام ہونے کے باوجود، AI میں علمی گراف استعمال کرنے کے چیلنجوں میں اہم بصیرت فراہم کرتا ہے۔ اعداد و شمار کی پیچیدگی اور عین مطابق سیاق و سباق کی ضرورت کا مطلب یہ ہے کہ ایک اچھی طرح سے تعمیر شدہ علمی گراف بھی مطلوبہ نتائج فراہم کرنے کے لیے جدوجہد کر سکتا ہے۔ نالج گراف انڈیکس کے ساتھ ایک اور خرابی اس کی سست رفتار تھی۔ متعلقہ دستاویزات حاصل کرنے کا جوابی وقت ویکٹر اسٹور انڈیکس کی نسبت بہت زیادہ تھا۔

ڈیٹا کا دوبارہ جائزہ لینا: جیمنی۔

کئی ناکامیوں کے بعد، میں نے گوگل کے AI، Gemini سے فائدہ اٹھاتے ہوئے ایک مختلف طریقہ اختیار کرنے کا فیصلہ کیا۔ خیال یہ تھا کہ JSON-CSV فائلوں سے ڈیٹاسیٹس بنائیں اور پھر اس ڈیٹا کو استعمال کرتے ہوئے ایک حسب ضرورت ماڈل LLM کو تربیت دیں۔ مجھے امید تھی کہ منظم ڈیٹا اور ایک مضبوط تربیتی ماڈل کا استعمال کرتے ہوئے، میں ان چند چیلنجوں پر قابو پا سکوں گا جو پچھلی کوششوں سے دوچار تھے۔

تاہم، اس نقطہ نظر کو بھی مشکلات کا سامنا کرنا پڑا. ڈیٹا کی غلط فارمیٹنگ کی وجہ سے ٹریننگ کا عمل روک دیا گیا، جس کی وجہ سے ماڈل کو موثر طریقے سے تربیت نہیں دی جا سکی۔ اس دھچکے نے AI تربیت میں ڈیٹا کی سالمیت کی اہمیت کو واضح کیا۔ مناسب طریقے سے فارمیٹ شدہ اور سٹرکچرڈ ڈیٹا کے بغیر، حتیٰ کہ جدید ترین ماڈل بھی توقع کے مطابق کارکردگی دکھانے میں ناکام ہو سکتے ہیں۔

اس تجربے نے مجھے JSON ڈیٹا کو ذخیرہ کرنے کے لیے BigQuery استعمال کرنے کی صلاحیت پر غور کرنے پر مجبور کیا، جس سے Fabrice AI کو مؤثر طریقے سے تربیت دینے کے لیے درکار بڑے ڈیٹا سیٹس کا انتظام کرنے کے لیے ایک زیادہ قابل توسیع اور قابل اعتماد پلیٹ فارم مہیا ہوا۔

طاقتوں کا امتزاج: پائنیکون کے ساتھ لینگچین دستاویزات

اب تک درپیش چیلنجوں کے باوجود، میں نے ایک ایسا حل تلاش کرنے کا تہیہ کر رکھا تھا جو Fabrice AI کو مؤثر طریقے سے علم کو ذخیرہ کرنے اور بازیافت کرنے کی اجازت دے گا۔ اس عزم نے مجھے Langchain دستاویزات اور Pinecone کے ساتھ تجربہ کرنے پر مجبور کیا۔ اس نقطہ نظر میں لینگچین دستاویزات اور اوپن اے آئی ایمبیڈنگز کا استعمال کرتے ہوئے ایک پائنیکون ویکٹر اسٹور بنانا، پھر استفسار کی بنیاد پر ملتے جلتے ٹاپ دستاویزات کو بازیافت کرنا شامل تھا۔

اس طریقہ نے وعدہ دکھایا، خاص طور پر جب استفسار میں دستاویز کا عنوان شامل تھا۔ مثال کے طور پر، جب پوچھا، "خوشی کی کلید کیا ہے؟” AI درست طریقے سے متعلقہ مواد کو بازیافت اور خلاصہ کرنے کے قابل تھا۔ تاہم، ابھی بھی حدود موجود تھیں، خاص طور پر جب استفسار میں مخصوص مطلوبہ الفاظ یا عنوانات کی کمی تھی۔

اس نقطہ نظر نے AI کی کارکردگی کو بڑھانے کے لیے مختلف ٹیکنالوجیز کو یکجا کرنے کی صلاحیت کو ظاہر کیا۔ Pinecone کے ویکٹر اسٹور کے ساتھ Langchain دستاویزات کو ضم کرکے، میں کچھ حدود کے باوجود، AI کے جوابات کی مطابقت اور درستگی کو بہتر بنانے میں کامیاب رہا۔

مستقل مزاجی کا حصول: جی پی ٹی بلڈر اوپن اے آئی

مختلف طریقوں اور ٹیکنالوجیز کو دریافت کرنے کے بعد، میں نے Fabrice AI کے اندر ذخیرہ شدہ علم کو مضبوط اور بہتر بنانے کے لیے Open AI کے GPT Builder کا رخ کیا۔ تمام مواد کو GPT نالج بیس میں اپ لوڈ کر کے، میں نے اپنے علم کی بازیافت اور اس کے ساتھ تعامل کے لیے ایک زیادہ مستقل اور قابل اعتماد پلیٹ فارم بنانا تھا۔

یہ نقطہ نظر سب سے زیادہ کامیاب ثابت ہوا، جس میں AI سوالات کی ایک حد میں بہتر نتائج فراہم کرنے میں کامیاب رہا۔ اس کامیابی کی کلید تمام علم کا ایک واحد، مربوط نظام میں انضمام تھا، جس سے AI کو سوالات کے جوابات دیتے وقت مواد کی مکمل وسعت حاصل کرنے کی اجازت ملتی تھی۔

جیسا کہ میری پچھلی پوسٹ میں بتایا گیا ہے، میں اسے اپنی ویب سائٹ پر چلانے کے لیے حاصل نہیں کر سکا، اور یہ صرف چیٹ جی پی ٹی کے ادا شدہ سبسکرائبرز کے لیے دستیاب تھا جسے میں نے محسوس کیا کہ یہ بہت محدود ہے۔ اس کے علاوہ، جب کہ یہ بہتر تھا، مجھے پھر بھی جوابات کا معیار پسند نہیں تھا اور میں اسے عوام کے لیے جاری کرنے میں آرام سے نہیں تھا۔

حتمی تطہیر: ماڈل 4o کا استعمال کرتے ہوئے GPT معاون

Fabrice AI تیار کرنے میں پہیلی کا آخری حصہ ماڈل 4o کا استعمال کرتے ہوئے GPT معاونوں کے تعارف کے ساتھ آیا۔ یہ نقطہ نظر ہر اس چیز کے خاتمے کی نمائندگی کرتا ہے جو میں نے پورے پروجیکٹ میں سیکھا تھا۔ ایک ویکٹر ڈیٹا بیس کا استعمال کرتے ہوئے اور اشارے کو بہتر بنا کر، میں نے AI کے جوابات میں درستگی اور سیاق و سباق کی سمجھ کی اعلی ترین سطح حاصل کرنا ہے۔

اس طریقہ کار میں وہ تمام علم اپ لوڈ کرنا شامل تھا جو میں نے ایک ویکٹر ڈیٹا بیس میں جمع کیا تھا، جو اس وقت AI کے تعاملات کی بنیاد کے طور پر استعمال ہوتا تھا۔ ویکٹر ڈیٹا بیس نے AI کو مزید نفیس تلاشیں کرنے کی اجازت دی، صرف مطلوبہ الفاظ کے ملاپ پر انحصار کرنے کے بجائے سوالات کے معنوی معنی پر مبنی معلومات کی بازیافت کی۔ اس نے پچھلے طریقوں کے مقابلے میں ایک اہم پیشرفت کی نشاندہی کی، جس سے AI کو پیچیدہ، اہم سوالات کو بہتر طور پر سمجھنے اور ان کا جواب دینے کے قابل بنایا گیا۔

اس نقطہ نظر کی اہم اختراعات میں سے ایک اشارے کی محتاط اصلاح تھی۔ مختلف اشارے تیار کرنے اور جانچنے سے، میں مزید درست اور متعلقہ جوابات فراہم کرنے کے لیے AI کی رہنمائی کرنے میں کامیاب رہا۔ اس میں نہ صرف اشارے کے الفاظ کو تبدیل کرنا شامل ہے بلکہ بہترین ممکنہ جوابات حاصل کرنے کے لیے سوالات کی تشکیل کے مختلف طریقوں کے ساتھ تجربہ کرنا بھی شامل ہے۔

نتائج متاثر کن تھے۔ AI اب سوالات کی ایک وسیع رینج کو اعلی درستگی کے ساتھ ہینڈل کرنے کے قابل تھا، یہاں تک کہ جب سوالات کھلے ہوئے تھے یا سیاق و سباق کی گہری سمجھ کی ضرورت تھی۔ مثال کے طور پر، جب پوچھا گیا، "اپنی زندگی کے اہم ترین فیصلے کیسے کریں؟” AI نے ایک جامع اور بصیرت انگیز جواب فراہم کیا، جس میں مختلف ذرائع اور نقطہ نظر کو مدنظر رکھتے ہوئے ایک اچھی طرح سے جواب دیا گیا۔

یہ کامیابی سینکڑوں گھنٹوں کی محنت اور ان گنت تجربات کا نتیجہ تھی۔ اس نے یہ ظاہر کیا کہ ٹیکنالوجی اور تطہیر کے صحیح امتزاج کے ساتھ، ایسا AI بنانا ممکن ہے جو نہ صرف معلومات کو مؤثر طریقے سے محفوظ اور بازیافت کر سکے بلکہ اس کے ساتھ بامعنی انداز میں مشغول بھی ہو سکے۔ ماڈل 4o کا استعمال کرتے ہوئے GPT اسسٹنٹ کی ترقی نے اس نقطہ کو نشان زد کیا جس پر Fabrice AI واقعتاً اپنے آپ میں آیا، جس نے نفاست اور درستگی کی سطح کو حاصل کیا جس کا میں نے شروع سے تصور کیا تھا۔ GPT اسسٹنٹ API کو پھر میرے بلاگ میں ضم کر دیا گیا تاکہ اختتامی صارفین کو Fabrice AI کے ساتھ اس طرح بات چیت کرنے کی اجازت دی جا سکے جس طرح آپ اسے ابھی بلاگ پر دیکھتے ہیں۔

سفر پر غور کرنا

Fabrice AI تیار کرنے کے عمل نے AI کے ساتھ کام کرنے کی پیچیدگیوں پر روشنی ڈالی، خاص طور پر جب بات معلومات کو سمجھنے اور سیاق و سباق کے مطابق کرنے کی ہو۔ اس نے مجھے سکھایا کہ AI کی ترقی میں کوئی شارٹ کٹ نہیں ہیں — ہر قدم، ہر تکرار، اور ہر تجربہ واقعی مؤثر چیز بنانے کے سفر کا ایک ضروری حصہ ہے۔

آگے دیکھتے ہوئے، میں Fabrice AI کو بہتر اور توسیع دینے کے لیے پرجوش ہوں۔ جیسا کہ پچھلی پوسٹ میں ذکر کیا گیا ہے، میں نالج بیس کو مکمل کرنے کے لیے پوچھے گئے سوالات کا جائزہ لوں گا جہاں خلا ہیں۔ میں آخر کار ایک ایسا انٹرایکٹو ورژن جاری کرنے کی بھی امید کر رہا ہوں جو میری طرح لگتا ہے اور اس سے آپ بات کر سکتے ہیں۔