ひまわりスタジオblog

2011年8月31日水曜日

夏も終わりに、音場に関してつらつらと書いてみる

最近、何故かシンセプログラミングしています（注：音作りのことではなく、実装のことです）。midif0nとは直接関係ないのだけれど、抜けられなくなっています。実装のいくつかは、間接的にフィードバックする予定ですけど。

題名の通りの話題ですが、何故この話題が出てくるのかと言えば、3DSのサラウンドに関して調べていたところ、興味深い話を見かけたからです。曰く、"現在の視野角が狭い裸眼３D表示はバーチャルサラウンドと相性が良いと言う話"です。

バーチャルサラウンドの原理を調べた所、仮想的にスピーカーとリスニングポジションを決めて、現実世界の音の伝搬と同じように音を加工するというのが基本的な仕組みです。ところがヘッドフォン以外の方法で仮想的にリスニングポジションを固定化するというのは、通常難しい訳です。3DSでは左右に視野角が狭いのを逆手に取って、それと意識させずユーザーの頭の位置、つまり耳の位置（リスニングポジション）が固定化されるので、適切な音場を提供しやすいという訳です。こういった制約を逆手に取るようなやり方は、なかなか巧いと感心させられます。それと相まって、良いスピーカーが内蔵されているので、サウンドデザイナーとしてはリスニング環境を想定しやすくて便利だろうなと思います。

しかし、僕としてはインタラクティブメディアについては、リスニング環境より、コンテンツ内での音場の形成の方により興味があります。こちらもちょうど3DSで"謎惑館〜音の間に間に〜"（※注：公式サイト　音あり）という音響的におもしろそうなソフトが発売されています。このソフトは立体音響Otophonics(オトフォニクス)を採用していて、ヘッドフォン推奨となっています。さらに、こちらのblogの記事によると、"モノラル、3DS内蔵のリアルタイムバイノーラルなども併用"されているそうで、なかなか興味深いものになっています（理由は、パフォーマンスとリアリティのバランスによるものだと推測）。立体音響がどのようなものかは試聴できますので、興味がある方は聞いてみると良いでしょう。

ところでオトフォニクスという言葉を聞いた時、即座に Holophonics(ホロフォニックス)が頭に浮かぶ方もいるのではないでしょうか？そして、ホロフォニックスと言えば、個人的にはPink FloydのThe Final Cutをまず最初に思い出します。このアルバムには、戦慄するようなミサイルのSEを聞ける箇所がありますが、これは今まで数多く聞いたSEの中でもかなり印象に残っています。
※こちらもリスニング環境は、ヘッドフォン推奨になるでしょう。

※Amazonで一番売れているもの。残念ながらUS版。2004年リマスター。2011/9/28に新しいリマスターが出ることに注意。音楽自体は人を選ぶと思います。
このリマスター自体は未聴のため、４曲めに挿入されている"When The Tigers Broke Free"が馴染んでいるかわかりません。蛇足ってことはないと思いますけど。

もうずいぶん前のことになりますが、Roger WatersのLiveに行った際にも、このSEを聞く機会がありました。ここで興味深いことは、アルバムはホロフォニックスですが、Liveでは会場を含めて音場を構築している訳で、音響設計は全然別物です。そして前述のSEは、会場内の前方のスピーカーから発せられ、後方に落ちるのですが、そのSEが与える"印象"は良い意味で変わらず、より鮮烈でした。余談ながら、演奏はかなりの爆音でLiveの後はしばらく耳の感覚が元に戻りませんでした。

さて仮想的な音場と言えば、単なるリバーブそれ自体でも仮想的な音場を提供でき得る訳ですが、個人的には、より関心が高いのがLeslie speaker（ロータリースピーカー）です。レスリーのシミュレーションは回転スピーカーとその音を拾うマイクの位置を含めてシミュレーションができるものもあります。つまり音場を仮想的に構築するのに、相応しい題材だと言えます。しかしながら、その実装はドップラー効果、真空管アンプシミュレーション、リバーブなど複数のエフェクターの組み合わせになり、最も複雑と言えるかもしれません。

そんな訳で、3Dサウンドライブラリを見つけると、"レスリースピーカーが簡単に実装できないか？"と期待してしまいます。ただ、モジュール的なAPIで構成されていないと、構築が難しいので、まだ試す機会には恵まれていません。単純なストリーム再生であれば、ドップラー効果やリバーブは、OpenALで簡単に実現できるのですが。個人的にレスリー好きなこともあり、時間がかかってもレスリーは実装したいなと思っています。どういった形で提供するかはまだわかりませんが。

ついでにドップラー効果と言えば、The Beach BoysのPet Soundsの最後の列車のSEを思い出します。これも昔の話ですが、Brian WilsonのLiveに行った時、このSEが流れ、浸らせてくれました。

※Amazonで一番売れているもの。US版 2001年。名盤。正直、Pet Soundsに関しては、CDのバージョンが多すぎて何だかよくわかりません。Bonus Trackがついているものは蛇足になる恐れあります（取り込んでしまえば関係ありませんが）。

さて、ここで取り上げた２つのアルバムは内容は全く異なるものですが、それぞれ別の意味で８月初旬&中旬, 下旬を思わせます。前者は"戦後と核"を扱っている故に、後者は文字通り"夏の終わり"故に。

2011年8月8日月曜日

Octave導入, emo-frameworkに興味を持つ

最近、波形分析に使用するため、FFTアナライザとかOctaveを導入しています。Octave簡潔で良いのですが、インデックスが1から始まるのがどうも馴れません(同様の理由で、LuaよりSquirrelの方を好む)。普段、波形分析なんかしないので、なかなか新鮮です。

最近iOSとandroidのマルチプラットフォームライブラリを捜していて、emo-frameworkというものを見つけました。ライセンスはNew BSD License、OSごとのサウンドとグラフィックスの構成は以下のようになっていました。

Android 2.3以上下位レイヤー( OpenSL ES + OpenGL ES)
iOS 下位レイヤー( OpenAL(iOS版) + OpenGL ES)

マルチプラットフォームライブラリでは、ライセンス/使用言語/プラットフォームを重視するのは当然ですが、emo-frameworkは僕にとって方向性がちょうど良い具合になっています。そんな訳でチュートリアルが導入されたら、ちょっと触ってみるつもりです。ざっと見た所プログラム、ドキュメント共にまとまっていて、関心されられます。そんな訳でライブラリのversionは0.1.2と低いけど、あまり不安に感じていません)。

2011年8月7日日曜日

縦か横かそれが問題

前回iPhoneのヘッドフォン端子の位置に問題があると書いたので、その続きを書きます。まず以下にiPhoneから音を聞く方法を列挙します。

内蔵スピーカー
無線
Dockコネクタから出力
ヘッドフォン端子から出力

たいていの音楽アプリはヘッドフォンを推奨ということになっています。その理由は、1-3に関しては明確な欠点が存在するためです。

内蔵スピーカーの音質はあまり良くなく、モノラルである。
現状の無線の仕様では、音質の劣化があり、加えて遅延の問題が存在する。詳細)
据え置きのオーディオ機器接続が基本で、操作性に問題がある。

さてiPhone, iPod touch両方のケースにおいて、デバイスは縦持ちメインで設計されています。横持ちはデバイス設計上は、サブの使い方と言えます。ヘッドフォンミニジャックの位置に注目すると、iPhoneが上側にあり、iPod touchが下側にあります（ハード設計の問題という話を見かけましたが、公式の理由は知りません）。この不統一もデザイン上の問題になり得るのですが、それ以上に横持ち自体が問題になります。何故なら横持ちの場合、ヘッドフォン/イヤフォンのプラグが右手か左手にあたり少なからず邪魔になるからです。多くの音楽アプリでは、ギターやキーボード等のインターフェースを持つ故か、横持ち設計が多くなっているため、この問題は避けられません。

midif0nは横持ちでも、ホームボタンが右側になる方向しかサポートしていません。つまりプラグの位置はiPhoneは左、iPod touchが右になります。そして左側にメニューボタンを置いています（メニューを右に置かない理由はホームボタンの押し間違えを避けるためです）。このことから、残念ながらiPhoneの方がiPod touchに比べ、メインメニューが押しにくくなる故に操作性が悪くなっていると思います。このプラグの位置問題は、iPod touchに限定した場合、midif0nのUIのデザインの上下を入れ替えた理由でもあります。

ところで、Nintendo 3DSのヘッドフォンミニジャックは画面中央の真下です。デザイン上の観点を無視すれば、機能的にプラグやコードが一番邪魔にならない設計になっていると思います。ここまで書いてしまうと、電話機能のないiPod touchはデバイスの設計そのものを横型メインにした方が良さそうな気がしてきます。実際メディアプレーヤーの中には横型のものもあります。しかし、最近の製品でヘッドフォンミニジャックが真下についているものは見つかりませんでした。たぶんデバイスのサイズを考慮すると、ハードウェアの設計上、難しい問題なのだと思います。

ところでこの問題について、僕は長らく意識していませんでした。開発中はMac上のシミュレーターメインでテストしているということもあります。しかし、実機で動かす場合もヘッドフォンはほとんど使っていません。手間の問題もあります。またヘッドフォンをつけてテストをすること自体、サウンドプログラミング初心者には少々危険な行為ということもあります。

Tips

3DSには、3DSサウンドというAAC/MP3プレーヤーのソフトがありますが、Apple純正のイヤフォンでコントロールできるそうです。
※公式にサポートされている訳ではありません

※3DSのアンバサダープログラム(無償でVCソフトが貰える)に興味がある人は、新価格版を待たないので、リンク先をよくチェックすることをお勧めします。

2011年7月29日金曜日

3DSに関する雑感とDSi Wareの音楽ソフトのまとめ

midif0nバージョン2.0に向けて実装中。フレーズをRegionとして扱うつもりですけど、需要に関してはよくわかりません。

Nintendo 3DSが8/11より25000円から15000円に値下げされると発表(pdf)がありましたが、これは予想外です（まず5000円の値下げを予想していましたから）。実は3DSはすでに所持しています。ソフトウェア開発を生業としている以上、新しいプラットフォームは研究する価値があります。また購入した理由の一つに娯楽の節電化があります。値下げに対する補償プログラムがありますが、販売予定がないソフトも貰えるなら特に不満はありません（肝心の遊ぶ時間がないと思うけど）。

初代DSが15,000円でしたから、ハードウェアのコストが明らかに高い3DSの新価格15,000円はかなり安く感じます。そんな訳で3DSを購入する方も多いかもしれませんし、ちょうど最近DSi Wareの音楽ソフトをチェックする機会がありましたので、これをまとめて紹介しておきます。何故、DSi Wareかと言うと、App Storeと比較するにはこちらが相応しいし、任天堂のバンブラDXやKORGのDS-10はどこでも取り上げていますから、広告が入りにくいこれらのソフトウェアを紹介する方が需要があるのではないかという判断です。
※ただ、バンブラDXは著作権の処理の仕方に特徴があるので、別の機会に取り上げるかもしれません。

それでは、次の表を見てみましょう。

DSi Ware名称	開発 ※1	販売	ポイント	ジャンル
ニンテンドーDSiメトロノーム	任天堂/IS	任天堂	200	メトロノーム
ニンテンドーDSi楽器チューナー	任天堂/IS	任天堂	200	楽器チューナー
あなたの楽々エレクトロニックキーボード	Abylight	河本産業	200	楽器シミュレーター
あなたの楽々エレクトリックギター	Abylight	河本産業	200	楽器シミュレーター
あなたの楽々ドラムマシン	Abylight	河本産業	200	楽器シミュレーター
ARC STYLE:リズミックス	Cinemax	アークシステムワークス	800	リズムシンセサイザー
つくってうたう　さるバンド	ムームー	任天堂	800	おまかせソングメーカー

※IS : インテリジェントシステムズを略
※エレクトリックプランクトンはDSソフトを分割したものなので、意図的に外してあります。

ついでにAbylightとCinemaxの日本未発売ソフト一覧です。

DSi Ware名称	開発	販売	ポイント	ジャンル
Music on:Retro Keyboard	Abylight	日本未発売	200	(楽器シミュレーター)
Music on:Acoustic Guitar	Abylight	日本未発売	200	(楽器シミュレーター)
Music on:Learning Piano	Abylight	日本未発売	200	(楽器演奏ソフトクラシック)
Music on:Playing Piano	Abylight	日本未発売	200	(楽器演奏ソフトクラシック)
Music on:Learning Piano Vol.2	Abylight	日本未発売	200	(楽器演奏ソフトクラシック)
Rytmik Rock Edition	Cinemax	日本未発売	800	Pocket Music Station
Rytmik Hip Hop King	Cinemax	日本未発売	800	Pocket Music Station

※括弧内は、公式ではなく独自に判断

※rytmikは、日本ではrytmix(リズミックス)になっている点に注意。ジャンルもPocket Music Stationがリズムシンセサイザーになっています（ずいぶん印象が違いますが、個人的にはPocket Music Stationの方が名は体を表しているように思えます）。

抜けが合ったら教えて欲しいですが、ソフトの量はだいたいこんなものです。ただ、必要十分に揃っていると思います。

まず今回チェックして初めて分かった事は、驚くことに任天堂によるメトロノームやチューナーが単体ソフトとして存在していることです。App StoreではSteinwayのメトロノームが無料で手に入ります。しかし、メトロノームをこの価格帯で、優劣の比較をしても意味がないでしょう。好きなデザインで好きな音のものを使えば良いのではないでしょうか？ただ個人的に3DSのソフトウェアが気になる大きな理由があります。それは、"3DSの内蔵ステレオスピーカーの音質が非常に良い"ということです。携帯機は内蔵スピーカーの音質を良くするのは難しいのだろうという先入観がありましたので、初めて音を聞いた時は、ちょっと信じられませんでした。音質の評価は個人的な嗜好がありますし、分析データをチェックした訳でもないのですが、今のところ音質が良い以外の評価を見た事がないので、たぶん間違いないと思います。

つまり音楽ソフトの使用状況によっては、3DS/DSのソフトであるということ自体が有利になり得ます。（またiPhoneのプラットフォームの欠点として、ヘッドフォン端子の位置が挙がられるのだが、これは長くなるのでまたの機会に）

リズミックスに関しては、DSならではの詰まったUIで触ってみたいのですが、困った事に音源は日本未発売のRock Editionの方が好みです。日本未発売のソフトに着目してみると、似たソフトは悉く省かれているのがわかります。もし日本未発売の理由にラインナップの単純化があるのだとしたら、これは残念なことです。

音楽ソフト含めて、今後の3DSに期待しておきます。

以下、余談。

ところでiPod touchをしばらく触ってから、3DSを触ると印象が全然違います。ホーム画面を適当に動かしている時ですら何だか楽しく感じるのですが、この原因を改めて考えてみると、触覚と聴覚から来るものが大きいと思います。つまり物理ボタンの指へのフィードバックと絶え間なく流れるBGMと軽快なSEに因る所が大きいと思います。原理的にはギターやキーボードを触っている時の状態に近いのかもしれません。

もちろん3D液晶は視覚的にも楽しい訳ですが、上記のことは3D表示をOFFにしていても同様に感じるので、必須事項ではないと考えています。最初3Dの見やすさに関しては懸念していましたが、視野角が狭いものの３Dは非常に見やすく疲れもありません。個人的にはグレアの方が気になるぐらいです。

2011年7月27日水曜日

KAWAIの楽譜カメラに関しての雑感

KAWAIが楽譜カメラを発表して、iPhoneに参入しました。これで国内の主要楽器メーカー４社(YAMAHA, Roland, KORG, KAWAI)はすべてiPhoneに参入したことになります。

この発表を受けてぼんやりと思ったのは、本棚にある大量の楽譜を簡単にMIDIファイルに変換できたらなと。ですが、楽譜カメラの説明を読むとひとつの五線のみ対応とあるので、素早くスキャンするのは難しそうです。また変換には、CoreMIDIかMIDIファイル保存に対応している必要がありますが、説明にはその旨が書かれていないので未対応と思われます。

KAWAIのスコアメーカーにも楽譜の認識機能がありますので、その販促アプリのような感じもします（事実、説明文でスコアメーカーを取り上げています）。ただ、アプリ名が独自であることやリアルタイム認識ができるのはそれを感じさせない面もあり、第一弾としては良いのではないでしょうか？
と言っても僕はカメラなしiPod touchを所持しているため、欲しくても買えませんが。

既存のメーカーから発売されるiPhoneアプリは値段が安い代わりに、販促や移植ものが多く、新規でおもしろいものはなかなか出てきません。現在のApp Storeの状態がかなり安売り傾向になっているのでそれに沿ったビジネスモデルになっているのかもしれません。個人的には、ブランド力がある会社は高い値段でもっと実用性があるアプリを売って欲しいです。もちろん販促アプリも１ユーザーとしては歓迎できるものも多いのですが、会社のリソースには限りがあることもわかっていますし。今回のアプリに関してもiPad版をメインにより優れた楽譜認識機能を載せて、高く売った方がインパクトがあったのではないかと思っています。

2011年7月24日日曜日

ドラム譜について学ぶ

midif0nのバージョン1.5から五線譜のドラムトラック表示方式を変更しました。今回は、その仕様に関して取り上げます。

変更前はドラムパッド単位でした。これを変更した理由は、主に２つです。

1-15トラックの五線譜表記に合わせる
ラベルを付加せずとも、直感的に理解できる可能性が高い

１に関して言えば、ドラムトラックにおいても五線譜にMIDIノート番号をそのまま割り当てる方法も考えられます。ただ、この表記はどの程度浸透しているのか疑問がありました。五線譜をサポートしているMIDIシーケンサーは限られますし、そういったソフトウェアに限って、きっちりとドラム表記可能な場合が多いためです。

２に関しては、現状のデザインで、ラベルを付加するのは見苦しくなる可能性が高いので避けたいということです。

ただタップ入力中はMIDIノート番号の並びになっています。これは率直に言ってしまえば単なる手抜きでして、あくまで入力結果の並びを重視しています。

さて今まで、ドラム譜を読んだことがないので、どのような形式にすべきか迷いました。
いくつかのドラム譜をチェックした結果、Wikipediaのものをベースにすることにしました。別の候補としては、Lilypondのドラム譜表記がありました。こちらの方が定義されているノートの種類が多いので、MIDIに関しては都合が良いように見えましたが、こちらの表記についてもどの程度普及しているものか判断ができないため、採用には至りませんでした。

ドラム

シンバル

Wikipediaのドラムセットの楽譜より引用

これ以外のGMドラムノートに関しては、上側の五線譜にMIDIノート順に種類ごとにまとめてあります。また割り当てのない他のノートは、C6の位置に表示しています。Bass Drum等、複数のMIDIノートが重なるものについては、赤、青のカラーで色分けしてあります。

Wikiの記述にもあるようにドラム譜に関しては問題が多々含まれているようですが、個人的にはドラム譜表記は気に入りました。その理由は、音符の形状がある程度、音色を想起させるようになっているので視覚的にわかりやすく感じるためです。

ところで、今回ドラム譜を学んで、特徴的な記号だと思ったのがリムショットです。

リムショットのドラム譜の表記上は一般的に"R"で、他と比べ個性的です。
しかしながらリムショットはGMの定義に含まれていないみたいで表示できません。
"R"と表示してみたかったので、これはちょっと残念でした。

以下、画像の著作権に関する余談。
上のドラムセットの楽譜の画像の著作権は、パブリックドメインになっています。つまり引用などと書かなくても良い訳ですが、著作権は第三者が見ると非常に曖昧なものが多いので、個人的にできるだけ明示する方針です。

加えてパブリックドメインという表記の信用性の問題もあります。これはなかなか難しい問題ですが、実際の著作物の内容をチェックすることや、掲載されている場所である程度判断しています。上の画像であれば、音符という割と単純な形状から構成されていること、かつwikipediaという場所柄、多くの人がチェックできるということです。