社内で完結するAIとは、AIのモデルを自社のパソコンやサーバーに置いて動かし、音声や文書を外部のAIサービスに送らない使い方です。お客様の声や会議の録音など、社外に出したくないデータをAIで扱いたいときの選択肢になります。
社内で完結するAIとは
文章の作成や文字起こしなどのAIサービスの多くは、入力した文章や音声をサービス提供会社のサーバーに送って処理します。手軽で高性能ですが、データが社外のサーバーを通ることになります。
一方、公開されているAIのモデルを自社のパソコンやサーバーにダウンロードして動かせば、データは社内から出ません。モデルを最初に取得するときを除き、インターネットにつながっていなくても動かせます。
| 外部のAIサービス | 社内で完結するAI | |
|---|---|---|
| データの行き先 | サービス提供会社のサーバー | 自社のパソコン・サーバーの中だけ |
| 始めやすさ | 申し込めばすぐ使える | パソコンやサーバーの準備と設定が必要 |
| 費用 | 利用量や人数に応じた料金 | パソコン・サーバーと設定の費用。利用量による料金はかからない |
| 性能 | 最新の大きなモデルを使える | 手元の機器で動く大きさのモデルに限られる |
| 管理 | 提供会社が運用する | アクセス権や保存期間を自社で決めて管理する |
向いているケース・向いていないケース
向いているケース
- お客様との通話や面談の記録など、個人情報を含むデータを扱いたい
- 社内規程で、業務データを外部のサービスに送れない
- 工場や現場など、インターネットにつなぎにくい場所で使いたい
- 文字起こしのように、毎日たくさん使うので利用量に応じた料金が気になる
向いていないケース
- まずは試しにAIを使ってみたい(外部のサービスのほうが早く始められます)
- 扱うデータに社外秘の情報が含まれない
- 最新・最大のモデルの性能がどうしても必要
実例:日本語の音声を文字起こしする
YKプランニングでは、ブラウザで話した日本語を、自社のパソコンだけで文字起こしする仕組みを試作しました。外部のAIサービスは使っていません。
- 話している間は途中の結果を表示し、話し終えると確定した文に切り替わる
- 確定した文は画面で直して保存でき、直したデータで精度を上げる再学習にも使える
- 社名や製品名を「用語ヒント」として登録すると、その言葉を正しく書きやすくなる
開発チームの会話を想定した台本(412文字)を読み上げ、文字の誤りの割合(CER:文字誤り率)を測りました。GPUのない一般的なパソコン(CPUのみ)での結果です。
| 条件 | 文字誤り率 |
|---|---|
| 軽いモデル(Whisper small) | 11.9% |
| 精度の高いモデル(Whisper large-v3-turbo) | 7.3% |
| 精度の高いモデル+製品名3語を用語ヒントに登録 | 5.3% |
| 上の条件で、数字の書き方の違い(「三件」と「3件」など)を誤りに数えない場合 | 1.9% |
412文字中の誤りは8文字で、少し直せば議事録などに使える精度でした。一方で、精度の高いモデルはCPUだと話した時間より処理に長くかかるため、実際に使うときはGPUのあるパソコンを用意するか、軽いモデルで十分かを業務に合わせて判断します。
測り方や結果の詳細はnoteの記事に、作り方の手順はQiitaの記事に、コードはGitHubに公開しています。
導入前に決めておきたいこと
データが社内に残るということは、その管理も自社で行うということです。始める前に、次の点を決めておきましょう。
- だれが使えるか(ログインやネットワークの制限をどうするか)
- 録音や文書をどこに、いつまで保存するか
- AIの出力をだれが確認してから使うか
- 使うモデルのライセンス(商用利用の条件)を確認したか
- パソコン・サーバーの故障や更新にだれが対応するか
AIは、もっともらしい誤りを出すことがあります。文字起こしでも、聞き間違いがそのまま自然な文になることがあるので、重要な記録は人が確認する運用にしてください。
導入の進め方
- AIに任せたい作業を1つに絞る。
「通話の記録を残す」「会議の議事録の下書きを作る」など、効果を確かめやすい作業から始めます。 - 実際のデータで試す。
社外に出してよい範囲の音声や文書で、手元のパソコンで動かしてみます。 - 精度と処理時間を測る。
正解の文と比べた誤りの割合や、処理にかかる時間を数字で確認し、必要な機器を決めます。 - 運用のルールを決める。
上の「決めておきたいこと」を、使う人と一緒に決めます。 - 小さく始めて広げる。
一部の担当者で使い始め、よく出る用語の登録や設定の調整をしながら広げます。
よくある疑問
高性能なパソコンが必要ですか?
作業とモデルによります。上の文字起こしの実例では、軽いモデルなら一般的なパソコン(CPUのみ)でも話した時間より速く処理できました。精度の高いモデルを使う場合は、GPUのあるパソコンやサーバーがあると快適です。
インターネットにつながっていなくても使えますか?
モデルを最初にダウンロードしたあとは、つながっていなくても動かせます。ダウンロードは、つながる環境で済ませてから持ち込むこともできます。
文字起こし以外にも使えますか?
文章の要約や分類、問い合わせへの回答案の作成なども、社内で動くモデルで行えます。ただし、外部の大きなモデルに比べると性能に差が出やすいので、作業ごとに試して判断します。
社内のデータをAIで扱いたい、自社の音声で精度を試したい、といったご相談を承ります。
無料で相談する