笑顔パパの奮闘記

AI

: AI

Google Machine Learning Engineer 勉強メモ

2023/12/20 GCP

年末に受けてきますが、なかなか勉強の時間が取れません。はい、いいわけです。 Whizlabの問題集や模擬試験からGCPの出題点をピックアップして整理する記事にしてアウトプットをしてみる。Whizlabの問題はおそらく実際に出るような問題でもなさそうなので、どう扱うかが微妙なところ。Examtopicもやってみてはいるんだけど、Vertext AIじゃなくてAI Platformで止まっているのがな ...

: AI 自然言語

GPT Buildersで遊んでみた

2023/11/16 GPT Builder, LLM, OpenAI

色々衝撃的な機能が出来たっぽいので早速遊んでみました。 GPT Builderとは？ノーコードで自分用のGPTが作れてしまう、という機能。「自分用のGPT」というのが自分的にはしっくりこなかったんだけど、触ってみるとなんとなく分かる。基本的に素のGPTは一般的な対話形式でやり取りをすることが出来るものだが、GPT Builderを使うと「意図した対話」を実現することが出来る。プロンプトを一々考 ...

: AI クラウド技術自然言語

azure-openai-search-demoにロギング機能を追加した件

2023/10/30 AOAI, Azure, LLM, RAG

前回､こちらのリポジトリを参考に色々やっていましたが、ChatGPTとのログをどこかに吐こうということで、CosmosDBへロギングする機能を追加してみました。https://github.com/asashiho/azure-search-openai-demo 参考にしたリポジトリは以下。 https://github.com/Azure-Samples/jp-azureopenai-samp ...

: AI

AzureでRAGアーキテクチャを実現する-azure-search-openai-demoの理解-

2023/10/15 AOAI, Azure, RAG

お仕事でめちゃくちゃ忙しくなりまして、更新が出来ずにおりました。忙しくなった理由の1つとしてAzureなんですが、わたくしAzure触ったことありませんで、何をしようにも試行錯誤の日々になっております。。。これまでRAGなどを机上で見てきたわけですが、お鉢が回ってきたということですなぁ。。。というわけで、お勉強したことを何回かに分けて放出してみる。 azure-search-openai-de ...

: AI 自然言語

【langchain】BSHTMLoaderでWebページをソースに検索用データを作る

2023/9/30 langchain, LLM, RAG

クローリング＆スクレイピングでいい感じにRetrieve用のデータソースを作ることが出来ないかを考えてみる。モチベーションとしては、一々Webページをダウンロードして保存して、読み込んで、とかやるのが面倒だったので、URLだけ投げれば自動的によしなにしてくれる仕組みがあるといいなぁというところ。公式DocにはHTMLもローディング出来るよ～とあったので、BSHTMLoaderを使えば出来るんかな ...

: AI 自然言語

LangchainのMultiPrompt（Router）を分析する

2023/9/18 langchain, LLM

サンプルコードだけではいまいち挙動が分からなかったので、手元でがちゃがちゃして理解してみたお話。忙しい人向け chain = MultiPromptChain( router_chain=router_chain, destination_chains=destination_chains, default_chain=default_chain, verbose=True, ) チェイン実行時 ...

: AI 自然言語

LangChainを勉強しよう Part2

2023/9/9 LLM

前回に引き続き、公式ドキュメントの内容を触って理解するパート。 Partial prompt template　（with functions） langchainで作ったPrompt_templateに与える変数は、フォーマットするときにすべての変数に対して値を入れてあげないとエラーが出る仕様ではあるが、partial(部分的)に値を代入することも出来る。 prompt = PromptTemp ...

: AI 自然言語

LangChainを勉強しよう Part1

2023/9/1 langchain, llama, LLM

先週家族全員がコロナに感染しまして、ひいふう言ってました。40度近くの熱が出たけどロキソニン飲めばなんとかなったので、体調がつらいとはあんまり思わなかったけど、子供が辛くてキーキー言っているのが一番精神的に参りました。皆様お気を付けてください。さて、この記事はLangchainの勉強記事です。ある程度知っている人はとてもじゃないけど役には立たたないのでスルーしてね。 LangChainってなん ...

: AI 仮想化技術自然言語開発環境

GPUでfaissを使いたいなら大人しくCondaを使え

2023/8/20 faiss, faiss-gpu

Docker経由でfaiss-gpuを使えるようになった奮闘記。まずは環境構築の部分だけ。前提環境ホストマシン：　OS：windows 11 Home 22H2　CPU：Core i7-11700　メモリ:64 GB　VScode：1.81.1　DockerDesktop：4.14.0コンテナ：　OS：Ubuntu20.04 忙しい人向けソースからビルドした結果 https://zenn.d ...

: AI 自然言語

Llama2とQdrantとLangchainでRAGっぽいものを作る②

2023/8/12 langchain, llama, LLM, qdrant, RAG

①はこちらから。Qdrantの基本操作について書きおろし。 1ファイルをembeddingにして格納 langchainのLlamaCppEmbeddingsを使用して格納する。langchainにはQdrantが操作出来る関数もあるのでそちらを利用。 pip install langchain 9kbくらいの簡単なテキストファイルを作成してembeddingにしてみる。 from langcha ...

1 2 Next »