音声 AI 入門 ─ Whisper・TTS・音楽生成の現在地

音声 AI は LLM の次のフロンティア。Whisper(音声認識)・ChatGPT Voice(音声会話)・Suno(楽曲生成)など、急速に実用化が進んでいます。

音声 AI の 3 領域

• ASR(Automatic Speech Recognition): 音声 → 文字
• TTS(Text-to-Speech): 文字 → 音声
• 音楽生成(Music Generation): プロンプト → 楽曲

ASR ─ Whisper の革命

OpenAI Whisper(2022)は 68 万時間の多言語データで学習。日本語も精度が極めて高く、現在の業界標準。

from openai import OpenAI
client = OpenAI()

with open('meeting.mp3', 'rb') as f:
    result = client.audio.transcriptions.create(model='whisper-1', file=f)
    print(result.text)

• whisper-1(OpenAI API): 商用最強、月数 USD
• whisper-large-v3(OSS): ローカル動作、無料
• faster-whisper: GPU 最適化版、4 倍速

TTS ─ 自然な音声合成

• OpenAI TTS: 6 種類のボイス、自然で実用
• ElevenLabs: 声のクローニング(数秒の音声から)
• XTTS-v2(OSS): 多言語 ・ ゼロショット声変換
• Bark(OSS): 効果音や非言語表現も生成

from openai import OpenAI
client = OpenAI()

resp = client.audio.speech.create(
    model='tts-1', voice='alloy',
    input='こんにちは、統計ロードマップへようこそ。'
)
resp.stream_to_file('out.mp3')

音楽生成

• Suno: 歌詞 + ジャンル指定で完全な楽曲生成
• MusicGen(Meta): プロンプトから楽曲、OSS
• Udio: 高品質楽曲生成、商用利用可
• Stable Audio: SDXL 系列の音声版

技術的背景 ─ 音声を扱う 3 表現

• 波形(waveform): 時間 × 振幅、生データ
• スペクトログラム: 時間 × 周波数、画像として扱える
• 離散トークン(EnCodec ・ SoundStream): 音声を離散符号化、LLM 風に扱える

実務での応用シーン

• 会議の議事録自動化: Whisper + GPT で要約
• カスタマーサポート: 音声入力 → LLM 応答 → TTS
• 動画字幕生成: 多言語字幕の自動化
• アクセシビリティ: スクリーンリーダー高度化
• コンテンツ制作: 音楽 ・ ナレーションの内製化

学習リソース

• [LLM 入門](/blog/llm-introduction)
• [Transformer の数学](/blog/transformer-math)
• [Python 環境構築](/blog/python-setup-for-stats)
• [E 資格 ロードマップ](/certs/e-shikaku/roadmap)

まとめ

音声 AI は API レベルでは既にアプリ実装可能なレベル。OSS モデルもどんどん高品質に。今のうちに使い方を体得しておくと差がつきます。