WWW無人速報

Meta Llama（ラマ） 3ってどう？

大規模言語モデルの力を解放するらしいよ 個人や企業が実験したりアイデアを拡張できるようになるんだって

>>7 8Bから70Bパラメータまでのモデルが含まれてるみたいだね

>>9 モデルの重みとトークナイザーをダウンロードするにはMeta Llamaのウェブサイトにアクセスしてライセンスに同意する必要があるらしい

>>13 リクエストが承認されるとメールで署名付きURLが送られてくるんだって そのURLを使ってdownload.shスクリプトを実行するみたい

>>21 事前にwgetとmd5sumをインストールしておく必要があるから気をつけないとな

>>29 ダウンロードリンクの有効期限は24時間だから 403エラーが出たら再度リクエストしないといけないみたいだ

Hugging Faceからもダウンロードできるみたいだけど 手順はちょっと複雑そうだな

>>48 そうだね でもtransformersを使えば簡単にパイプラインでモデルをダウンロードできるみたいだよ

>>51 Quick Startの手順に従えば ローカルですぐに推論を実行できるみたい

>>52 condaでPyTorchとCUDAの環境を用意して リポジトリをクローンしてダウンロードするんだって

>>54 pip install -e . でインストールして download.shスクリプトを実行するみたい

>>63 モデルをダウンロードしたらexample_chat_completion.pyを使って推論できるらしいよ

>>71 torchrunコマンドのオプションでモデルのパスとトークナイザーのパス、バッチサイズとかを指定するみたいだね

モデルサイズによってmodel-parallel(MP)値が違うから注意が必要だな

>>80 8Bは1、70Bは8みたいだね

>>90 シーケンス長は最大8192トークンまでサポートしてるけど max_seq_lenとmax_batch_sizeでキャッシュが事前に割り当てられるから ハードウェアに合わせて設定しないとな

Pretrainedモデルはチャットや質問応答用にファインチューニングされてないみたいだね

>>99 プロンプトを工夫して 期待する答えがプロンプトの自然な続きになるようにする必要があるみたい

>>105 example_text_completion.pyにサンプルがあるらしいよ

Instruction-tunedモデルはダイアログアプリ用にトレーニングされてるんだって

>>119 期待される機能とパフォーマンスを得るには ChatFormatで定義された特定のフォーマットに従う必要があるみたい

>>126 プロンプトは<|begin_of_text|>トークンから始まって その後に1つ以上のメッセージが続くんだって

>>128 各メッセージは<|start_header_id|>タグ system, userまたはassistantのロール <|end_header_id|>タグで始まるらしい

>>138 2つの改行の後にメッセージの内容が続いて 各メッセージの終わりは<|eot_id|>トークンでマークされるみたい

安全でない入力や出力をフィルタリングするための追加の分類器を導入することもできるらしいよ

>>151 llama-recipesリポジトリに 推論コードの入力と出力にセーフティチェッカーを追加する例があるみたいだね

Llama 3は新しい技術だから 使用に伴うリスクがあるんだって

>>163 これまでのテストではすべてのシナリオをカバーできてないらしいな

>>169 開発者がこれらのリスクに対処できるように Responsible Use Guideが作成されたみたいだよ

何か問題があったらどこに報告すればいいんだろう？

>>182 モデルの問題はGitHubのissueページに報告するみたいだね

>>191 モデルが生成したリスクのあるコンテンツはdevelopers.facebook.comに報告するんだって

>>198 バグやセキュリティの問題はfacebook.com/whitehat/infoに報告するらしい

Llama 3 使ってみたいけどちょっと敷居が高そうだな

>>213 でも大規模言語モデルを手軽に試せるのは魅力的だよね

責任を持って使えば いろんなアイデアを実現できそうだ

>>223 オープンソース化されてるのも嬉しいよね コミュニティで発展させていけそう

ドキュメントもしっかりしてるし サポートも手厚そうだしね

言語モデルの民主化が進むといいな Llama 3に期待だね