Fabrice Grinda

  • Playing with
    Unicorns
  • Featured
  • Categories
  • Portfolio
  • About Me
  • Newsletter
  • AI
    • Pitch me your startup!
    • Fabrice AI
  • BN
    • EN
    • FR
    • AR
    • DA
    • DE
    • ES
    • FA
    • HI
    • ID
    • IT
    • JA
    • KO
    • NL
    • PL
    • PT-BR
    • PT-PT
    • RO
    • RU
    • TH
    • UK
    • UR
    • VI
    • ZH-HANS
    • ZH-HANT
× Image Description

Subscribe to Fabrice's Newsletter

Tech Entrepreneurship, Economics, Life Philosophy and much more!

Check your inbox or spam folder to confirm your subscription.

Menu

  • BN
    • EN
    • FR
    • AR
    • DA
    • DE
    • ES
    • FA
    • HI
    • ID
    • IT
    • JA
    • KO
    • NL
    • PL
    • PT-BR
    • PT-PT
    • RO
    • RU
    • TH
    • UK
    • UR
    • VI
    • ZH-HANS
    • ZH-HANT
  • Home
  • Playing with Unicorns
  • Featured
  • Categories
  • Portfolio
  • About Me
  • Newsletter
  • Privacy Policy
Skip to content
Fabrice Grinda

Internet entrepreneurs and investors

× Image Description

Subscribe to Fabrice's Newsletter

Tech Entrepreneurship, Economics, Life Philosophy and much more!

Check your inbox or spam folder to confirm your subscription.

Fabrice Grinda

Internet entrepreneurs and investors

Month: September 2024

Fabrice AI: বর্তমান প্রযুক্তিগত বাস্তবায়ন

Fabrice AI: বর্তমান প্রযুক্তিগত বাস্তবায়ন

শেষ পোস্টে, Fabrice AI: The Technical Journey আমি ব্যাখ্যা করেছি যে যাত্রার মধ্য দিয়ে আমরা Fabrice AI নির্মাণের মাধ্যমে একটি পূর্ণ বৃত্ত তৈরি করেছি। আমি চ্যাট জিপিটি 3 এবং 3.5 ব্যবহার করে শুরু করেছি। ফলাফলে হতাশ হয়ে, আমি ল্যাংচেইন ফ্রেমওয়ার্ক ব্যবহার করার চেষ্টা করেছি এর উপরে আমার নিজস্ব AI মডেল তৈরি করার জন্য, Chat GPT-এ ফিরে আসার আগে একবার তারা ভেক্টর ডেটাবেস ব্যবহার করা শুরু করে এবং 4o এর সাথে ব্যাপকভাবে ফলাফলগুলি উন্নত করে।

এখানে Fabrice AI প্রশিক্ষণের বর্তমান প্রক্রিয়া রয়েছে:

  • প্রশিক্ষণের ডেটা (ব্লগ পোস্ট, ইউটিউব ইউআরএল, পডকাস্ট ইউআরএল, পিডিএফ ইউআরএল এবং ইমেজ ইউআরএল) আমাদের ওয়ার্ডপ্রেস ডাটাবেসে সংরক্ষিত আছে।
  • আমরা ডেটা বের করি এবং এটি গঠন করি।
  • সহকারী API ব্যবহার করে প্রশিক্ষণের জন্য আমরা ওপেন AI-তে স্ট্রাকচার্ড ডেটা প্রদান করি।
  • ওপেন এআই তারপর একটি ভেক্টর স্টোর ডাটাবেস তৈরি করে এবং এটি সংরক্ষণ করে।

এখানে স্ট্রাকচার্ড ডেটার একটি অংশের উদাহরণ দেওয়া হল। কন্টেন্টের প্রতিটি অংশের নিজস্ব JSON ফাইল আছে। আমরা নিশ্চিত করি যে 32,000 টোকেন সীমা অতিক্রম না করে।

{

“id”: “1”,

“তারিখ”: “”,

“লিঙ্ক”:”https://fabricegrinda.com/”,

“শিরোনাম”: {

“rendered”: “Fabrice AI কি?”

  },

“বিভাগ”: “ফ্যাব্রিস সম্পর্কে”,

“featured_media”: “https://fabricegrinda.com/wp-content/uploads/2023/12/About-me.png”,

“other_media”: “”,

“knowledge_type”: “ব্লগ”,

“contentUpdated”: “Fabrice AI হল তার ব্লগ পোস্ট এবং ChatGPT ব্যবহার করে প্রতিলিপি করা পডকাস্ট এবং সাক্ষাত্কারের উপর ভিত্তি করে Fabrice এর চিন্তাধারার একটি ডিজিটাল উপস্থাপনা। প্রদত্ত যে অনেক ট্রান্সক্রিপশন অসম্পূর্ণভাবে প্রতিলিপি করা হয়েছে এবং ব্লগটি ফেব্রিসের ব্যক্তির একটি সীমিত উপস্থাপনা। , আমরা ভুলত্রুটি এবং অনুপস্থিত তথ্যের জন্য ক্ষমাপ্রার্থী অনেক বিষয়ে ফ্যাব্রিসের চিন্তাভাবনা পেতে একটি ভাল সূচনা পয়েন্ট।”

}

বর্তমান প্রযুক্তিগত বাস্তবায়ন হল:

  • ভোক্তার মুখোমুখি ওয়েবসাইটটি AWS Amplify- এ হোস্ট করা হয়েছে।
  • পাবলিক সাইট এবং ওপেন এআই-এর মধ্যে ইন্টিগ্রেশন একটি এপিআই লেয়ারের মাধ্যমে করা হয়, যা পাইথন এপিআই সার্ভার হিসেবে AWS-এ হোস্ট করা হয়।
  • জনসাধারণের জিজ্ঞাসা করা সমস্ত প্রশ্ন, চ্যাট জিপিটি দ্বারা প্রদত্ত উত্তর এবং উত্সগুলির URL সংরক্ষণ করতে আমরা লগ হিসাবে MongoDB ব্যবহার করি।
  • আমরা প্রশিক্ষণের জন্য ওপেন এআই-এ পাস করার জন্য ব্লগ, ইউটিউব, ইত্যাদি থেকে ডেটা গঠন করতে বিভিন্ন স্ক্রিপ্ট ব্যবহার করি।
  • ভয়েস জিজ্ঞাসাকে পাঠ্যে রূপান্তর করতে আমরা প্রতিক্রিয়া-বক্তৃতা স্বীকৃতি ব্যবহার করি।
  • আমরা ওয়েবসাইট ট্র্যাফিক ট্র্যাক করতে Google Analytics ব্যবহার করি।

এটা মনে রাখা গুরুত্বপূর্ণ যে আমরা দুটি সহকারী ব্যবহার করি:

  • প্রশ্নের উত্তর দেওয়ার জন্য একটি।
  • একটি মেটাডেটা ইউআরএল পাওয়ার জন্য, যে ব্লগের ইউআরএলে মূল বিষয়বস্তু আছে উত্তরের নিচের দিকে সোর্স দেখানোর জন্য।

এরপর কি?

  1. স্পিচ-টু-টেক্সট উন্নতি

স্পীচ টু টেক্সটের জন্য ওপেন এআই-এর হুইস্পার মডেল প্রতিক্রিয়ার চেয়ে বেশি সঠিক। এটি বাক্সের বাইরে একাধিক ভাষা সমর্থন করে এবং এটি মিশ্র ভাষার বক্তৃতা, উচ্চারণ এবং উপভাষাগুলি পরিচালনা করতে ভাল। ফলস্বরূপ, আমি সম্ভবত আগামী মাসে এটিতে চলে যাব। এটি বলেছিল যে এটি সেট আপ করা আরও জটিল তাই এটি কিছুটা সময় হতে পারে। আপনাকে মডেল পরিচালনা করতে হবে, নির্ভরতাগুলি পরিচালনা করতে হবে (যেমন, পাইথন, লাইব্রেরি), এবং দক্ষ কর্মক্ষমতার জন্য আপনার পর্যাপ্ত হার্ডওয়্যার রয়েছে তা নিশ্চিত করতে হবে। এছাড়াও, হুইস্পার ব্রাউজারে সরাসরি ব্যবহারের জন্য ডিজাইন করা হয়নি। একটি ওয়েব অ্যাপ তৈরি করার সময়, আপনাকে ট্রান্সক্রিপশন পরিচালনা করার জন্য একটি ব্যাকএন্ড পরিষেবা তৈরি করতে হবে যা জটিলতা যোগ করে।

  • ফেব্রিস এআই অবতার

আমি একটি Fabrice AI অবতার তৈরি করতে চাই যা দেখতে আমার মতো এবং শব্দ করে যার সাথে আপনি কথোপকথন করতে পারেন। আমি ডি-আইডি মূল্যায়ন করেছি কিন্তু আমার উদ্দেশ্যে এটি খুব ব্যয়বহুল বলে মনে হয়েছে। ইলেভেন ল্যাবস শুধুমাত্র ভয়েস। সিন্থেসিয়া দুর্দান্ত কিন্তু বর্তমানে রিয়েল টাইমে ভিডিও তৈরি করে না। শেষ পর্যন্ত আমি আরও উপযুক্ত মূল্য এবং কার্যকারিতা দেওয়া HeyGen ব্যবহার করার সিদ্ধান্ত নিয়েছি।

আমি সন্দেহ করি যে এক পর্যায়ে ওপেন এআই তার নিজস্ব সমাধান প্রকাশ করবে তাই এই কাজটি নিষ্ফল হবে। আমি এতে স্বাচ্ছন্দ্য বোধ করছি এবং ওপেন এআই সলিউশনে স্যুইচ করব যখন এটি আসে। এই পর্যায়ে এই পুরো অনুশীলনের মূল বিষয় হল AI দিয়ে কী সম্ভব এবং স্থানটি আরও ভালভাবে বুঝতে আমাকে সাহায্য করার জন্য কতটা পরিশ্রম করা প্রয়োজন তা শেখা।

  • কাস্টম ড্যাশবোর্ড

এই মুহূর্তে, দিনের প্রশ্ন ও উত্তরগুলির একটি নির্যাস পেতে আমাকে একটি MongoDB কোয়েরি চালাতে হবে। আমি একটি সাধারণ ড্যাশবোর্ড তৈরি করছি যেখানে আমি প্রতি ভাষার প্রশ্নের সংখ্যা, স্পিচ-টু-টেক্সট অনুরোধের সংখ্যা ইত্যাদির উপর এক্সট্রাকশন এবং সাধারণ পরিসংখ্যান পেতে পারি।

  • অতিরিক্ত তথ্য উত্স

আমরা এইমাত্র Fabrice AI-তে FJ ল্যাবস পোর্টফোলিও আপলোড করেছি। আপনি এখন জিজ্ঞাসা করতে পারেন একটি কোম্পানি পোর্টফোলিওর অংশ কিনা। Fabrice AI কোম্পানির একটি সংক্ষিপ্ত বিবরণ এবং তার ওয়েবসাইটের একটি লিঙ্ক সহ উত্তর দেয়।

Fabrice AI-এর কাছে যতগুলি ব্যক্তিগত প্রশ্ন ছিল তার উত্তর না থাকায়, আমি আমার 50 তম জন্মদিনের ভিডিওতে প্রতিটি স্পিকারের প্রয়োজনীয় বিষয়বস্তু দেওয়ার জন্য ম্যানুয়ালি ট্যাগ করার জন্য সময় নিয়েছিলাম।

উপসংহার

AI সম্পর্কিত সমস্ত বিষয়ে আমি গত বারো মাসে যে সমস্ত কাজ করেছি, সেখানে একটি সুস্পষ্ট সর্বজনীন উপসংহার বলে মনে হচ্ছে: আপনি যত বেশি অপেক্ষা করবেন, তত সস্তা, সহজ এবং আরও ভাল হবে এবং Open AI অফার করার সম্ভাবনা তত বেশি এটা! এই সময়ের মধ্যে, আপনার কোন প্রশ্ন থাকলে আমাকে জানান।

Author Rose BrownPosted on September 30, 2024October 1, 2024Categories টেক গ্যাজেটস, ব্যক্তিগত গানLeave a comment on Fabrice AI: বর্তমান প্রযুক্তিগত বাস্তবায়ন

ফ্যাব্রিস এআই: টেকনিক্যাল জার্নি

ফ্যাব্রিস এআই: টেকনিক্যাল জার্নি

যেমনটি আমি আগের পোস্টে উল্লেখ করেছি, Fabrice AI এর বিকাশ প্রত্যাশিত থেকে অনেক বেশি জটিল প্রমাণিত হয়েছে, আমাকে বিভিন্ন পদ্ধতির অন্বেষণ করতে বাধ্য করেছে।

প্রাথমিক পদ্ধতি: লামা সূচক – ভেক্টর অনুসন্ধান

Fabrice AI এর পুনরুদ্ধার ক্ষমতা বাড়ানোর জন্য আমার প্রথম অভিযানটি ভেক্টর অনুসন্ধানের জন্য লামা সূচকের ব্যবহার জড়িত। ধারণাটি সহজ ছিল: আমার ব্লগ থেকে বিষয়বস্তু নিন, এটি ল্যাংচেইন নথিতে রূপান্তর করুন এবং তারপরে এগুলিকে লামা নথিতে রূপান্তর করুন৷ এই Llama নথিগুলি তখন একটি ভেক্টর সূচকে সংরক্ষণ করা হবে, যা আমাকে প্রাসঙ্গিক তথ্যের জন্য এই সূচকটি জিজ্ঞাসা করতে সক্ষম করে।

যাইহোক, আমি সিস্টেমটি পরীক্ষা করতে শুরু করার সাথে সাথে, এটি স্পষ্ট হয়ে উঠল যে এই পদ্ধতিটি আমি আশা করেছিলাম এমন ফলাফল দিচ্ছে না। বিশেষ করে, যখন আমি প্রসঙ্গ-ভারী প্রশ্নগুলির সাথে সিস্টেমটি জিজ্ঞাসা করি যেমন “মার্কেটপ্লেস প্রতিষ্ঠাতারা সবচেয়ে বড় ভুলগুলি কী করে?” এআই অর্থপূর্ণ উত্তর দিতে ব্যর্থ হয়েছে। আমি জানতাম যে সংক্ষিপ্ত বিষয়বস্তু ডেটাতে এম্বেড করা হয়েছে তা পুনরুদ্ধার করার পরিবর্তে, এটি অপ্রাসঙ্গিক বা অসম্পূর্ণ প্রতিক্রিয়া ফিরিয়ে দিয়েছে।

এই প্রাথমিক ব্যর্থতা আমাকে আমার পদ্ধতির পুনর্বিবেচনা করতে পরিচালিত করেছিল। আমি বুঝতে পেরেছিলাম যে কেবল ভেক্টর সূচকে সামগ্রী সংরক্ষণ করা যথেষ্ট নয়; জিজ্ঞাসা করা প্রশ্নগুলির প্রেক্ষাপট এবং সূক্ষ্মতা বোঝার জন্য পুনরুদ্ধার প্রক্রিয়া প্রয়োজন। এই উপলব্ধিটি অনেক পাঠের মধ্যে প্রথম যা Fabrice AI এর বিবর্তনকে রূপ দেবে।

সঞ্চয় জ্ঞান: MongoDB ডকুমেন্ট স্টোরেজ এবং পুনরুদ্ধার

লামা সূচক পদ্ধতির সীমাবদ্ধতা মাথায় রেখে, আমি পরবর্তীতে মঙ্গোডিবি-তে লামা নথি সংরক্ষণ করার বিষয়ে অনুসন্ধান করেছি। MongoDB-এর নমনীয় স্কিমা এবং ডকুমেন্ট-ভিত্তিক কাঠামো আমি বছরের পর বছর ধরে জমে থাকা বিভিন্ন ধরণের সামগ্রী পরিচালনা করার জন্য একটি প্রতিশ্রুতিশীল সমাধান বলে মনে হচ্ছে।

পরিকল্পনাটি ছিল আরও গতিশীল এবং প্রতিক্রিয়াশীল অনুসন্ধান অভিজ্ঞতা তৈরি করা। যাইহোক, এই পদ্ধতিটি দ্রুত সমস্যার মধ্যে পড়েছিল। অনুসন্ধান কার্যকারিতা, যা আমি আরো শক্তিশালী হতে প্রত্যাশিত ছিল, প্রত্যাশিত হিসাবে কাজ করতে ব্যর্থ হয়েছে. যে প্রশ্নগুলির পরিবর্তে প্রাসঙ্গিক নথিগুলি ফেরত দেওয়া উচিত ছিল সেগুলি কোনও ফলাফল বা অপ্রাসঙ্গিক সামগ্রী দেয়নি৷

এই বিপত্তিটি হতাশাজনক ছিল, কিন্তু এটি একটি সমালোচনামূলক পাঠকেও আন্ডারস্কোর করেছে: স্টোরেজ পদ্ধতিটি পুনরুদ্ধার কৌশলের মতোই গুরুত্বপূর্ণ। আমি অন্যান্য বিকল্পগুলি বিবেচনা করতে শুরু করেছি, যেমন ভেক্টর অনুসন্ধানের জন্য MongoDB Atlas ব্যবহার করা, যা সম্ভাব্যভাবে আমার প্রয়োজনীয় নির্ভুলতা এবং মাপযোগ্যতা প্রদান করতে পারে। যাইহোক, এই বিকল্পে প্রতিশ্রুতিবদ্ধ হওয়ার আগে, আমি আরও কার্যকর সমাধান হতে পারে কিনা তা নির্ধারণ করতে অন্যান্য পদ্ধতিগুলি অন্বেষণ করতে চেয়েছিলাম।

মেটাডেটা রিট্রিভার এবং ভেক্টর স্টোর: নির্দিষ্টতা খোঁজা

আমি অন্বেষণ করা পরবর্তী উপায়গুলির মধ্যে একটি হল একটি ভেক্টর স্টোরের সাথে মিলিত একটি মেটাডেটা পুনরুদ্ধারের ব্যবহার। এই পদ্ধতির পিছনে ধারণাটি ছিল Fabrice AI-এর মধ্যে তথ্যের বিশাল অ্যারেকে শ্রেণীবদ্ধ করা এবং তারপর এই বিভাগগুলির উপর ভিত্তি করে উত্তরগুলি পুনরুদ্ধার করা। মেটাডেটা দিয়ে ডেটা গঠন করার মাধ্যমে, আমি সুনির্দিষ্ট, লক্ষ্যযুক্ত উত্তর প্রদান করার জন্য AI এর ক্ষমতা উন্নত করার আশা করেছিলাম।

তবুও, এই পদ্ধতিরও তার সীমাবদ্ধতা ছিল। যদিও এটি পৃষ্ঠে প্রতিশ্রুতিশীল বলে মনে হয়েছিল, AI সমস্ত ধরণের প্রশ্নের সঠিক উত্তর দেওয়ার জন্য লড়াই করেছিল। উদাহরণস্বরূপ, যখন আমি জিজ্ঞাসা করি, “লেখক কি আশাবাদী?” সিস্টেমটি প্রাসঙ্গিক বিষয়বস্তুর প্রসঙ্গে প্রশ্নটি ব্যাখ্যা করতে ব্যর্থ হয়েছে। মেটাডেটার উপর ভিত্তি করে একটি অন্তর্দৃষ্টিপূর্ণ বিশ্লেষণ প্রদানের পরিবর্তে, এটি হয় অস্পষ্ট উত্তর ফিরিয়ে দেয় বা কোনটিই নয়।

এই পদ্ধতিটি আমাকে AI-তে প্রসঙ্গের গুরুত্ব সম্পর্কে একটি মূল্যবান পাঠ শিখিয়েছে। শুধু তথ্য শ্রেণীবদ্ধ করাই যথেষ্ট নয়; এআইকে অবশ্যই বুঝতে হবে যে কীভাবে এই বিভাগগুলি ইন্টারঅ্যাক্ট করে এবং বিষয়বস্তুর সমন্বিত বোঝার জন্য ওভারল্যাপ করে। বোঝার এই গভীরতা ব্যতীত, এমনকি সবচেয়ে পরিশীলিত পুনরুদ্ধারের পদ্ধতিগুলিও কম হতে পারে।

স্ট্রাকচারিং নলেজ: The SummaryTreeIndex

আমি যখন Fabrice AI পরিমার্জন করতে থাকি, আমি একটি SummaryTreeIndex তৈরি করে পরীক্ষা করেছিলাম। এই পদ্ধতির লক্ষ্য ছিল সমস্ত নথিকে একটি ট্রি ফরম্যাটে সংক্ষিপ্ত করা, এআই-কে এই সারাংশগুলির মাধ্যমে নেভিগেট করতে এবং বিষয়বস্তুর কাঠামোর উপর ভিত্তি করে প্রাসঙ্গিক তথ্য পুনরুদ্ধার করার অনুমতি দেয়।

ধারণাটি ছিল নথিগুলির সংক্ষিপ্তকরণের মাধ্যমে, এআই দ্রুত মূল পয়েন্টগুলি সনাক্ত করতে পারে এবং সংক্ষিপ্ত, সঠিক তথ্য সহ প্রশ্নের উত্তর দিতে পারে। যাইহোক, এই পদ্ধতিটিও উল্লেখযোগ্য চ্যালেঞ্জের সম্মুখীন হয়েছিল। AI জটিল প্রশ্নের অর্থপূর্ণ উত্তর দিতে সংগ্রাম করেছে, যেমন “জীবনের গুরুত্বপূর্ণ সিদ্ধান্তগুলি কীভাবে নেওয়া যায়?” সারাংশের মধ্যে সঞ্চিত সমৃদ্ধ, সূক্ষ্ম বিষয়বস্তু থেকে আঁকার পরিবর্তে, AI এর প্রতিক্রিয়াগুলি প্রায়শই অগভীর বা অসম্পূর্ণ ছিল।

এই অভিজ্ঞতাটি AI-তে প্রস্থ এবং গভীরতার ভারসাম্য বজায় রাখার অসুবিধার উপর জোর দিয়েছে। যদিও সারাংশগুলি একটি উচ্চ-স্তরের ওভারভিউ প্রদান করতে পারে, তারা প্রায়শই আরও জটিল প্রশ্নের উত্তর দেওয়ার জন্য প্রয়োজনীয় বিশদ প্রেক্ষাপটের অভাব করে। আমি বুঝতে পেরেছিলাম যে যেকোন কার্যকর সমাধানের জন্য বিশদ বিষয়বস্তু এবং উচ্চ-স্তরের সারসংক্ষেপ উভয়ই একীভূত করতে হবে, যা এআইকে প্রয়োজন অনুসারে উভয়ের উপর আঁকতে দেয়।

এই কারণেই Fabrice AI-এর সংস্করণে যা বর্তমানে লাইভ রয়েছে, আমি আরও বিশদে যাওয়ার আগে AI প্রথমে উত্তরের একটি সারসংক্ষেপ দিয়েছি।

প্রসারিত দিগন্ত: জ্ঞান গ্রাফ সূচক

পূর্ববর্তী পদ্ধতিগুলির সীমাবদ্ধতাগুলি স্বীকার করে, আমি আরও পরিশীলিত পদ্ধতির দিকে ফিরে এসেছি: জ্ঞান গ্রাফ সূচক৷ এই পদ্ধতির মধ্যে অসংগঠিত পাঠ্য থেকে একটি জ্ঞান গ্রাফ তৈরি করা জড়িত, যা এআইকে সত্তা-ভিত্তিক অনুসন্ধানে নিযুক্ত করতে সক্ষম করে। লক্ষ্য ছিল বিষয়বস্তুর আরও গতিশীল এবং আন্তঃসংযুক্ত বোঝাপড়া তৈরি করা, যাতে Fabrice AI জটিল, প্রসঙ্গ-ভারী প্রশ্নের উত্তর আরও কার্যকরভাবে উত্তর দিতে পারে।

তার প্রতিশ্রুতি সত্ত্বেও, জ্ঞান গ্রাফ সূচক উল্লেখযোগ্য বাধার সম্মুখীন হয়েছে। AI সঠিক ফলাফল তৈরি করতে সংগ্রাম করেছে, বিশেষ করে এমন প্রশ্নের জন্য যার প্রেক্ষাপটের গভীর বোঝার প্রয়োজন। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “ন্যায্য বীজ এবং সিরিজ A মূল্যায়ন কি?” AI আবার একটি প্রাসঙ্গিক উত্তর দিতে ব্যর্থ হয়েছে, একটি সুসংগত জ্ঞান গ্রাফে অসংগঠিত পাঠ্যকে একীভূত করার অসুবিধা হাইলাইট করে।

এই পদ্ধতিটি, শেষ পর্যন্ত ব্যর্থ হলেও, AI-তে জ্ঞান গ্রাফ ব্যবহার করার চ্যালেঞ্জগুলির মধ্যে গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করেছে। তথ্যের জটিলতা এবং সুনির্দিষ্ট প্রসঙ্গের প্রয়োজনীয়তার অর্থ হল যে এমনকি একটি সুগঠিত জ্ঞান গ্রাফও পছন্দসই ফলাফল প্রদানের জন্য সংগ্রাম করতে পারে। নলেজ গ্রাফ সূচকের সাথে আরও একটি ত্রুটি ছিল এর ধীর গতি। সম্পর্কিত নথি পাওয়ার প্রতিক্রিয়া সময় একটি ভেক্টর স্টোর সূচকের তুলনায় খুব বেশি ছিল।

ডেটা পুনঃমূল্যায়ন: মিথুন

বেশ কিছু বাধার পর, আমি Google-এর AI, Gemini-এর ব্যবহার করে একটি ভিন্ন পন্থা নেওয়ার সিদ্ধান্ত নিয়েছি। ধারণাটি ছিল JSON-CSV ফাইলগুলি থেকে ডেটাসেট তৈরি করা এবং তারপরে এই ডেটা ব্যবহার করে একটি কাস্টম মডেল এলএলএম প্রশিক্ষণ দেওয়া। আমি আশা করেছিলাম যে স্ট্রাকচার্ড ডেটা এবং একটি শক্তিশালী প্রশিক্ষণ মডেল ব্যবহার করে, আমি কিছু চ্যালেঞ্জ কাটিয়ে উঠতে পারব যা আগের প্রচেষ্টাগুলিকে জর্জরিত করেছিল।

যাইহোক, এই পদ্ধতিটিও অসুবিধার সম্মুখীন হয়েছিল। ভুল তথ্য বিন্যাসের কারণে প্রশিক্ষণ প্রক্রিয়াটি বন্ধ করা হয়েছিল, যা মডেলটিকে কার্যকরভাবে প্রশিক্ষিত হতে বাধা দেয়। এই ধাক্কা এআই প্রশিক্ষণে ডেটা অখণ্ডতার গুরুত্বের উপর জোর দিয়েছিল। সঠিকভাবে ফরম্যাট করা এবং স্ট্রাকচার্ড ডেটা ছাড়া, এমনকি সবচেয়ে উন্নত মডেলগুলি প্রত্যাশিতভাবে কাজ করতে ব্যর্থ হতে পারে।

এই অভিজ্ঞতা আমাকে JSON ডেটা সঞ্চয় করার জন্য BigQuery ব্যবহার করার সম্ভাবনা বিবেচনা করতে চালিত করে, Fabrice AI কে কার্যকরভাবে প্রশিক্ষণ দেওয়ার জন্য প্রয়োজনীয় বৃহৎ ডেটাসেটগুলি পরিচালনা করার জন্য আরও মাপযোগ্য এবং নির্ভরযোগ্য প্ল্যাটফর্ম প্রদান করে।

শক্তির সংমিশ্রণ: পাইনকোনের সাথে ল্যাংচেইন নথি

এখন পর্যন্ত চ্যালেঞ্জের সম্মুখীন হওয়া সত্ত্বেও, আমি এমন একটি সমাধান খুঁজে বের করতে দৃঢ়প্রতিজ্ঞ ছিলাম যা Fabrice AI কে কার্যকরভাবে জ্ঞান সঞ্চয় করতে এবং পুনরুদ্ধার করতে দেয়। এই সংকল্প আমাকে ল্যাংচেইন নথি এবং পাইনকোন নিয়ে পরীক্ষা করতে পরিচালিত করেছিল। ল্যাংচেইন ডকুমেন্টস এবং ওপেনএআই এম্বেডিং ব্যবহার করে একটি পাইনকোন ভেক্টর স্টোর তৈরি করা, তারপর প্রশ্নের উপর ভিত্তি করে শীর্ষ অনুরূপ নথিগুলি পুনরুদ্ধার করার পদ্ধতিটি জড়িত।

এই পদ্ধতিটি প্রতিশ্রুতি দেখিয়েছে, বিশেষ করে যখন প্রশ্নটি নথির শিরোনাম অন্তর্ভুক্ত করে। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “সুখের চাবিকাঠি কী?” AI সঠিকভাবে প্রাসঙ্গিক বিষয়বস্তু পুনরুদ্ধার এবং সংক্ষিপ্ত করতে সক্ষম হয়েছিল। যাইহোক, এখনও সীমাবদ্ধতা ছিল, বিশেষ করে যখন কোয়েরিতে নির্দিষ্ট কীওয়ার্ড বা শিরোনামের অভাব ছিল।

এই পদ্ধতিটি এআই কর্মক্ষমতা বাড়ানোর জন্য বিভিন্ন প্রযুক্তির সমন্বয়ের সম্ভাবনা প্রদর্শন করেছে। Pinecone এর ভেক্টর স্টোরের সাথে ল্যাংচেইন ডকুমেন্টগুলিকে একীভূত করার মাধ্যমে, আমি কিছু সীমাবদ্ধতা থাকা সত্ত্বেও AI এর প্রতিক্রিয়াগুলির প্রাসঙ্গিকতা এবং যথার্থতা উন্নত করতে সক্ষম হয়েছি।

ধারাবাহিকতা অর্জন: GPT নির্মাতা ওপেনএআই

বিভিন্ন পদ্ধতি এবং প্রযুক্তি অন্বেষণ করার পর, আমি Fabrice AI-এর মধ্যে সঞ্চিত জ্ঞানকে একত্রিত ও পরিমার্জিত করার জন্য Open AI-এর GPT Builder- এ ফিরে আসি। একটি GPT জ্ঞান বেসে সমস্ত সামগ্রী আপলোড করার মাধ্যমে, আমি আমার জ্ঞান পুনরুদ্ধার এবং ইন্টারঅ্যাক্ট করার জন্য আরও সামঞ্জস্যপূর্ণ এবং নির্ভরযোগ্য প্ল্যাটফর্ম তৈরি করার লক্ষ্য রেখেছি।

এই পদ্ধতিটি সবচেয়ে সফল হিসাবে প্রমাণিত হয়েছে, AI বিভিন্ন প্রশ্নের মধ্যে আরও ভাল ফলাফল দিতে সক্ষম। এই সাফল্যের চাবিকাঠি ছিল সমস্ত জ্ঞানকে একক, সমন্বিত সিস্টেমে একীভূত করা, যা AI-কে প্রশ্নের উত্তর দেওয়ার সময় বিষয়বস্তুর সম্পূর্ণ প্রস্থে আঁকতে দেয়।

আমার আগের পোস্টে উল্লিখিত হিসাবে, আমি এটি আমার ওয়েবসাইটে চালানোর জন্য পেতে পারিনি, এবং এটি শুধুমাত্র চ্যাট GPT-এর অর্থপ্রদানকারী গ্রাহকদের জন্য উপলব্ধ ছিল যা আমি অনুভব করেছি যে এটি খুব সীমাবদ্ধ ছিল। এছাড়াও, যদিও এটি আরও ভাল ছিল, আমি এখনও উত্তরগুলির গুণমান পছন্দ করিনি এবং জনসাধারণের কাছে এটি প্রকাশ করতে স্বাচ্ছন্দ্য বোধ করিনি।

চূড়ান্ত পরিমার্জন: মডেল 4o ব্যবহার করে GPT সহকারী

Fabrice AI বিকাশের ধাঁধার চূড়ান্ত অংশটি মডেল 4o ব্যবহার করে GPT সহকারীর প্রবর্তনের সাথে এসেছে। এই পদ্ধতিটি আমি পুরো প্রকল্প জুড়ে শিখেছি সবকিছুর চূড়ান্ত প্রতিনিধিত্ব করে। একটি ভেক্টর ডাটাবেস ব্যবহার করে এবং প্রম্পটগুলিকে পরিমার্জন করে, আমি AI এর প্রতিক্রিয়াগুলিতে সর্বোচ্চ সম্ভাব্য স্তরের নির্ভুলতা এবং প্রাসঙ্গিক বোঝাপড়া অর্জনের লক্ষ্য রেখেছিলাম।

এই পদ্ধতিটি একটি ভেক্টর ডাটাবেসে জমে থাকা সমস্ত জ্ঞান আপলোড করার সাথে জড়িত, যা তখন AI এর মিথস্ক্রিয়াগুলির ভিত্তি হিসাবে ব্যবহৃত হয়েছিল। ভেক্টর ডাটাবেস AI কে আরও পরিশীলিত অনুসন্ধান করার অনুমতি দেয়, শুধুমাত্র কীওয়ার্ড মিলের উপর নির্ভর না করে প্রশ্নের শব্দার্থিক অর্থের উপর ভিত্তি করে তথ্য পুনরুদ্ধার করে। এটি পূর্ববর্তী পদ্ধতির তুলনায় একটি উল্লেখযোগ্য অগ্রগতি চিহ্নিত করেছে, যা এআইকে আরও ভালভাবে বুঝতে এবং জটিল, সূক্ষ্ম প্রশ্নগুলির উত্তর দিতে সক্ষম করে।

এই পদ্ধতির মূল উদ্ভাবনগুলির মধ্যে একটি হল প্রম্পটগুলির যত্নশীল পরিমার্জন। সতর্কতার সাথে বিভিন্ন প্রম্পট তৈরি এবং পরীক্ষা করে, আমি আরও সঠিক এবং প্রাসঙ্গিক উত্তর দেওয়ার জন্য AI-কে গাইড করতে সক্ষম হয়েছি। এটি শুধুমাত্র প্রম্পটগুলির শব্দগুলিকে টুইক করাই নয় বরং সম্ভাব্য সর্বোত্তম প্রতিক্রিয়াগুলি বের করার জন্য প্রশ্নগুলির গঠনের বিভিন্ন উপায়ে পরীক্ষা করাও জড়িত৷

ফলাফল চিত্তাকর্ষক ছিল. AI এখন উচ্চ নির্ভুলতার সাথে বিস্তৃত প্রশ্নগুলি পরিচালনা করতে সক্ষম হয়েছিল, এমনকি যখন প্রশ্নগুলি খোলামেলা ছিল বা প্রসঙ্গ সম্পর্কে গভীর বোঝার প্রয়োজন ছিল। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “আপনার জীবনের সবচেয়ে গুরুত্বপূর্ণ সিদ্ধান্তগুলি কীভাবে নেবেন?” AI একটি বিস্তৃত এবং অন্তর্দৃষ্টিপূর্ণ উত্তর প্রদান করেছে, একটি সুসংহত প্রতিক্রিয়া প্রদানের জন্য বিভিন্ন উত্স এবং দৃষ্টিভঙ্গির উপর আঁকা।

এই সাফল্য ছিল শত শত ঘন্টা পরিশ্রম এবং অগণিত পরীক্ষা-নিরীক্ষার চূড়ান্ত পরিণতি। এটি প্রমাণ করেছে যে, প্রযুক্তি এবং পরিমার্জনার সঠিক সংমিশ্রণে, একটি AI তৈরি করা সম্ভব ছিল যা কেবল কার্যকরভাবে তথ্য সঞ্চয় এবং পুনরুদ্ধার করতে পারে না বরং এর সাথে একটি অর্থপূর্ণ উপায়ে জড়িত হতে পারে। মডেল 4o ব্যবহার করে GPT সহকারীর বিকাশ সেই বিন্দুকে চিহ্নিত করেছে যেখানে Fabrice AI সত্যিকার অর্থে তার নিজের মধ্যে এসেছে, যা আমি শুরু থেকেই কল্পনা করেছিলাম এমন পরিশীলিততা এবং নির্ভুলতার স্তর অর্জন করেছে। GPT অ্যাসিস্ট্যান্টস এপিআই তখন আমার ব্লগে একত্রিত করা হয়েছিল যাতে শেষ ব্যবহারকারীদের Fabrice AI এর সাথে আপনি যেভাবে ব্লগে দেখতে পাচ্ছেন সেভাবে ইন্টারঅ্যাক্ট করতে পারবেন।

যাত্রার প্রতিফলন

Fabrice AI বিকাশের প্রক্রিয়া AI এর সাথে কাজ করার জটিলতাগুলিকে হাইলাইট করেছে, বিশেষত যখন এটি তথ্য বোঝার এবং প্রাসঙ্গিককরণের ক্ষেত্রে আসে। এটি আমাকে শিখিয়েছে যে AI বিকাশে কোনও শর্টকাট নেই—প্রতিটি পদক্ষেপ, প্রতিটি পুনরাবৃত্তি এবং প্রতিটি পরীক্ষাই সত্যিকারের কার্যকর কিছু তৈরির দিকে যাত্রার একটি প্রয়োজনীয় অংশ।

সামনের দিকে তাকিয়ে, আমি Fabrice AI-এর পরিমার্জন এবং সম্প্রসারণ চালিয়ে যেতে উত্তেজিত। গত পোস্টে উল্লিখিত হিসাবে, আমি জ্ঞানের ভিত্তি সম্পূর্ণ করার জন্য জিজ্ঞাসা করা প্রশ্নগুলি পর্যালোচনা করব যেখানে ফাঁক আছে। আমি শেষ পর্যন্ত একটি ইন্টারেক্টিভ সংস্করণ প্রকাশ করার আশা করছি যেটি আমার মতো দেখতে এবং শোনাচ্ছে যার সাথে আপনি কথা বলতে পারেন৷

Author Rose BrownPosted on September 4, 2024September 5, 2024Categories ব্যক্তিগত গান, টেক গ্যাজেটসLeave a comment on ফ্যাব্রিস এআই: টেকনিক্যাল জার্নি

Search

Recent Posts

  • জীবনের অর্থ
  • FJ Labs Q2 2025 আপডেট
  • অরেন হফম্যানের সাথে DaaS-এর জগতের কথোপকথন: বৈচিত্র্যময় পোর্টফোলিও, সেকেন্ডারি সেলস এবং ডিনার পার্টি
  • পর্ব ৫০: ভেঞ্চার মার্কেট ট্রেন্ডস
  • ভবিষ্যৎ বোঝা: এআই, ভেঞ্চার মার্কেট এবং মার্কেটপ্লেস

Recent Comments

    Archives

    • July 2025
    • June 2025
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • March 2020
    • February 2020
    • January 2020
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • August 2018
    • June 2018
    • May 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    • December 2016
    • November 2016
    • October 2016
    • September 2016
    • August 2016
    • July 2016
    • June 2016
    • May 2016
    • April 2016
    • March 2016
    • February 2016
    • January 2016
    • December 2015
    • November 2015
    • September 2015
    • August 2015
    • July 2015
    • June 2015
    • May 2015
    • April 2015
    • March 2015
    • February 2015
    • January 2015
    • December 2014
    • November 2014
    • October 2014
    • September 2014
    • August 2014
    • July 2014
    • June 2014
    • May 2014
    • April 2014
    • February 2014
    • January 2014
    • December 2013
    • November 2013
    • October 2013
    • September 2013
    • August 2013
    • July 2013
    • June 2013
    • May 2013
    • April 2013
    • March 2013
    • February 2013
    • January 2013
    • December 2012
    • November 2012
    • October 2012
    • September 2012
    • August 2012
    • July 2012
    • June 2012
    • May 2012
    • April 2012
    • March 2012
    • February 2012
    • January 2012
    • December 2011
    • November 2011
    • October 2011
    • September 2011
    • August 2011
    • July 2011
    • June 2011
    • May 2011
    • April 2011
    • March 2011
    • February 2011
    • January 2011
    • December 2010
    • November 2010
    • October 2010
    • September 2010
    • August 2010
    • July 2010
    • June 2010
    • May 2010
    • April 2010
    • March 2010
    • February 2010
    • January 2010
    • December 2009
    • November 2009
    • October 2009
    • September 2009
    • August 2009
    • July 2009
    • June 2009
    • May 2009
    • April 2009
    • March 2009
    • February 2009
    • January 2009
    • December 2008
    • November 2008
    • October 2008
    • September 2008
    • August 2008
    • July 2008
    • June 2008
    • May 2008
    • April 2008
    • March 2008
    • February 2008
    • January 2008
    • December 2007
    • November 2007
    • October 2007
    • September 2007
    • August 2007
    • July 2007
    • June 2007
    • May 2007
    • April 2007
    • March 2007
    • February 2007
    • January 2007
    • December 2006
    • November 2006
    • October 2006
    • September 2006
    • August 2006
    • July 2006
    • June 2006
    • May 2006
    • April 2006
    • March 2006
    • February 2006
    • January 2006
    • December 2005
    • November 2005

    Categories

    • বক্তৃতা
    • ইন্টারভিউ এবং ফায়ারসাইড চ্যাট
    • সিনেমা ও টিভি শো
    • ইউনিকর্নের সাথে খেলা
    • ভিডিও গেমস
    • Crypto/Web3
    • ভ্রমণ
    • বই
    • সুখ
    • মার্কেটপ্লেস
    • অর্থনীতি
    • টেক গ্যাজেটস
    • এফজে ল্যাবস
    • বৈশিষ্ট্যযুক্ত পোস্ট
    • পর্যালোচনা বছর
    • নিউইয়র্ক
    • ব্যক্তিগত গান
    • নাটক করে
    • বিজনেস মিউজিংস
    • শিল্পোদ্যোগ
    • OLX
    • পর্যালোচনা বছর
    • জীবন অপ্টিমাইজেশান
    • এফজে ল্যাবস
    • সিদ্ধান্ত গ্রহণ
    • অর্থনীতি
    • অ্যাসেট লাইট লিভিং
    • মিউজিংস
    • আশাবাদ এবং সুখ
    • কুকুর

    Meta

    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Pitch me your startup!
    • Home
    • Playing with Unicorns
    • Featured
    • Categories
    • Portfolio
    • About Me
    • Newsletter
    • Privacy Policy
    × Image Description

    Subscribe to Fabrice's Newsletter

    Tech Entrepreneurship, Economics, Life Philosophy and much more!

    Check your inbox or spam folder to confirm your subscription.

    >
    This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.