egaopapa

クローリング＆スクレイピングでいい感じにRetrieve用のデータソースを作ることが出来ないかを考えてみる。 モチベーションとしては、一々Webページをダウンロードして保存して、読み込んで、とかやるのが面倒だったので、URLだけ投げれば自動的によしなにしてくれる仕組みがあるといいなぁというところ。公式DocにはHTMLもローディング出来るよ～とあったので、BSHTMLoaderを使えば出来るんかな ...

サンプルコードだけではいまいち挙動が分からなかったので、手元でがちゃがちゃして理解してみたお話。 忙しい人向け chain = MultiPromptChain( router_chain=router_chain, destination_chains=destination_chains, default_chain=default_chain, verbose=True, ) チェイン実行時 ...

前回に引き続き、公式ドキュメントの内容を触って理解するパート。 Partial prompt template　（with functions） langchainで作ったPrompt_templateに与える変数は、フォーマットするときにすべての変数に対して値を入れてあげないとエラーが出る仕様ではあるが、partial(部分的)に値を代入することも出来る。 prompt = PromptTemp ...

先週家族全員がコロナに感染しまして、ひいふう言ってました。40度近くの熱が出たけどロキソニン飲めばなんとかなったので、体調がつらいとはあんまり思わなかったけど、子供が辛くてキーキー言っているのが一番精神的に参りました。 皆様お気を付けてください。 さて、この記事はLangchainの勉強記事です。ある程度知っている人はとてもじゃないけど役には立たたないのでスルーしてね。 LangChainってなん ...

Docker経由でfaiss-gpuを使えるようになった奮闘記。まずは環境構築の部分だけ。 前提環境 ホストマシン：　OS：windows 11 Home 22H2　CPU：Core i7-11700　メモリ:64 GB　VScode：1.81.1　DockerDesktop：4.14.0コンテナ：　OS：Ubuntu20.04 忙しい人向け ソースからビルドした結果 https://zenn.d ...

というわけでGCPの資格を2つ取得しました。そこまで大したことはやっていないので、２つ一気に記録を残そうと思います。合格体験記は山ほどあるので、一般的な内容は置いといて個人としての感覚などを中心にまとめます。 受験前のスキルセット ・IT業界歴約１５年・プロジェクトマネジメント系のお仕事が中心・クラウドを使ったシステムは未経験・Cloud Developer、Associate Engineerは ...

①はこちらから。Qdrantの基本操作について書きおろし。 1ファイルをembeddingにして格納 langchainのLlamaCppEmbeddingsを使用して格納する。langchainにはQdrantが操作出来る関数もあるのでそちらを利用。 pip install langchain 9kbくらいの簡単なテキストファイルを作成してembeddingにしてみる。 from langcha ...

こんなことをやりました ①Langchainの機能を使ってドキュメントに対するLlamaのembeddingを作成しqdrantへ登録②Langchainの機能を使って入力クエリに対するLlamaのemmbedingを作成しqdrantに登録されているembeddingを類似検索③結果を表示 この記事では、Qdrantを触ってみた結果までを投稿。 llamaとチャットしたい！とかであれば、こちらを ...

前回に続きちょっと遊んでみた。 使う画像は委員長。 Scale Factorの大小を比較してみる モデルはcetusMix_Whalefall2を使用。Scale Factorは1に近ければ近いほど元画像を無視して、0に近いほど元画像を強く反映させるパラメータ。 ＜プロンプト＞masterpiece, best quality, highly detailed beautiful face and ...

いろんなものをインストールすると管理が面倒なので、コンテナの中で完結したいというモチベーション。 https://yuuyuublog.org/stablediffusion_local/を少し参考にさせていただきました。 設定ファイル群 "name": "generative", "build": { // Sets the run c ...