音響信号処理
本記事では、複数話者の音声認識における音声認識の難しさについて簡単に述べた後、そのようなユースケースでの必須技術であるSpeaker diarizationの概要をまとめます。 複数話者の音声認識の難しさ 以前の記事で、End-to-end音声認識モデルについてまとめま…
本記事では、End-to-End音声認識において、オフラインモデルの代表的な手法とそのオンライン化について述べます。 各手法の詳細には触れませんが、そもそもEnd-to-End音声認識とは何かよくわからない方のための記事です。 大体の概要を掴んでいただいた後、…
ESPnetというEnd-to-End音声認識のオープンソースについて、Referenceに示す資料を調べので、本記事にまとめます。 レシピのステージ構成 ●データセットの前処理Stage 1: trainセット、validセット、evalセットに対応するデータディレクトリを生成するlocal/…
本記事では、End-to-End音声認識手法の概要をサーベイします。 各手法の詳細には触れませんが、そもそもEnd-to-End音声認識とは何かよくわからない方のための記事です。 大体の概要を掴んでいただいた後、各手法の詳細を調べていただければと思います。 End-…
本記事では、ユーザ特有のコンテキストに応じたバイアシング手法を提案した論文を紹介する。 arxiv.org Abstract 自動音声認識（ASR）では、ユーザーが何を話すかは、ユーザーが置かれている特定のコンテキストに依存します。一般的に、このコンテキストは、…
本記事では、話者数を事前に決定することが難しい連続音声分離において、従来のuPITの制約を大きく緩和することのできるGraph-PITという手法を提案した論文を紹介する。 arxiv.org 概要 会議の自動採録には，オーバーラップした音声を処理する必要があり，連…
本記事では、音声信号を特徴空間の「点群」として扱うという新しい処理方法を提案した論文を紹介します。 arxiv.org 概要 ほとんどのオーディオ処理では、固定次元の入力音声表現に作用する変換が行われます。例えば、短時間フーリエ変換（STFT）を使用する…
本記事では、バイノーラル音源を用いた、音源距離と音源到来方向の同時推定をクラス分類アプローチで解いた論文を紹介します。 arxiv.org 論文概要 本論文では、DNN（Deep Neural Networks）に基づく粗い分類問題として定義される、バイノーラル録音からの近…
本記事では、音響イベントの定位と検出（SELD）というタスクにおいて、Self-attentionの検討を行った論文を紹介します。 arxiv.org SELDタスクについては、以下の記事で紹介していますので、よければ参考にしてください。 ys0510.hatenablog.com 論文概要 SE…
本記事では、音響イベントの定位と検出（SELD）というタスクにおいて、何がタスクを難しくしているのかを詳細に検討した、以下の論文を紹介します。 arxiv.org SELDタスクについては、以下の記事で紹介していますので、よければ参考にしてください。 ys0510.…
はじめに 皆さんは、自分の好きなアーティストの楽曲のカラオケ版がほしいと思ったことや、オリジナル音源でカラオケを歌いたいと思ったことはないでしょうか？ あるいは、楽器を練習するために、あるパートの音源だけを聞きたいと思ったことはないでしょう…
働きながら博士号の取得を目指すとなると、一番ネックになるのが時間です。 最小限の時間で効率よく、実験・評価・論文執筆を行わなければなりませんので、 ・従来手法がわからない ・実装方法がわからない ・何が新しいかがわからない という時間を減らすこ…
はじめに 本記事では、「環境音セグメンテーション」というタスク・手法を紹介します。 簡単にいうと画像のセマンティックセグメンテーションを音に適用したものと考えるとイメージしやすいかと思います。 もちろん、ただ単にセマンティックセグメンテーショ…
はじめに 近年、深層学習を用いた様々な音源分離手法が提案されており、性能が向上することが 多数報告されています。 音源分離手法は、マイクロフォンの数やベースとなっている手法に応じて、大きく4つに分類することができます。 以下の表は、マイクロフォ…
はじめに 近年、深層学習を用いた様々な音源分離手法が提案されており、性能が向上することが 多数報告されています。その一方で、深層学習ベースの手法は大量のデータで学習を行う必要があるため、従来の信号処理ベースの手法を使用するべき場面も多々ある…
4年ぐらい前に実装した、pythonを使った音響信号処理ツールのご紹介です。 ●対象の方 ・音響信号処理を試してみたい ・けど、フーリエ変換やその他信号処理のことはよくわからない ・1つずつ動作を見ながら実装していくのは億劫 ※とりあえず動かしてみたいと…
過去の記事で、聞きたい音だけを分離する技術について、電話品質向上の歴史と深層学習を用いた最新の手法について書きました。 深層学習を用いることで性能の向上は期待できるものの、大量のデータが必要になってしまうなど、デメリットも多数存在します。 …
音声に関連した研究は電話品質向上がルーツ 音に関連した研究は、電話の品質向上の歴史とともに進化してきました。そうした背景からか、音に関連した研究は、NTTの研究所がとても強い印象があります。 近年のAIブームのおかげで当たり前の技術となっている音…
以前、画像と音を使ったディープラーニングタスクには類似性があるということを書きました。 ys0510.hatenablog.com 今回は、学習データの集め方について、画像と音について比較してみようと思います。 結論から述べてしまうと、画像と音では、学習データの…
以前、アレクサにも使われている、音響イベント検出について解説しました。 音響イベント検出とは、「○○秒～○○秒にギターの音が鳴っている」といったことが、自動で分かるようになります。 今回は、その機能に加え、音源方向を特定する人工知能について、解…
今回は、アマゾンエコーに搭載されているAlexaの開発チームによる、Speech Emotion Recgnitionについて書きます。リンク先のニュースでも紹介されているようにアレクサは今後さらに感情表現や認識ができるようになっていくだろうと思います。 https://forbes…
以前の記事で、アレクサにも使われていると思われる、音響イベント検出というディープラーニング技術について解説しました。 ys0510.hatenablog.com 当時は、アレクサの中身を知っているわけではなかったので、具体的にどのようなアルゴリズムが使われている…
今回は、画像のセマンティックセグメンテーション手法の1つであるU-Netを用いた歌声分離を紹介します。参考文献は以下の2つの論文です。 Andreas Jansson, Eric J. Humphrey, Nicola Montecchio, Rachel Bittner, Aparna Kumar, Tillman Weyde, Singing Voic…
音響イベント検出とは 音響イベント検出とは、環境音認識のためのタスクで、以下の図のように、音データの中から特定の音響イベントの発生区間を検出するというものです。 図の下側のように、「○○秒～○○秒にギターの音が鳴っている」といったことが、自動で…
2019/11/4-8で開催されたIROSという学会に参加してきたので、自分のまとめも兼ねてまとめていこうと思います。 IROSとは、International Conference on Intelligent Robots and Systemsの略で、ロボットに関する国際会議です。 参加者の推移 年々参加者が増…
インターネットでディープラーニングについて調べてみても、ほとんど画像についてのページしか見ないので、今回は音に関連した研究テーマを紹介します。 音声に関連した研究とは？ 音に関連した研究は、電話の品質向上の歴史とともに進化してきました。余談…
教科書には厳密な定義や説明がなされていますが、直感的によくわからないという人は意外と多いのではないかと思います。実際に自分も大学でちゃんと単位も取りましたが、仕事で使おうとするといまいちイメージがわいていませんでした。 なので、ここでは、厳…
社会人博士初めてになりますが、DCASE（Workshop on Detection and Classification of Acoustic Scenes and Events）という国際学会に参加してきました。 この学会は、今はやりのAIやディープラーニングといった技術を使って、音のデータから周囲の環境を理…
今までイベント検出やセマンティックセグメンテーションについての記事を書いてきましたので、今さらですがシンプルにCNNでクラス分類をやってみようと思います。 とは言っても、さすがに犬猫や数字の認識をやってもしょうがないので、 今回は、CD音源を聴い…
先日の記事で、伝達関数測定の際、どのようにコヒーレンス関数を見ればよいのかを考えました。 伝達関数測定とコヒーレンス関数とは - メーカー社員が０から人工知能分野の博士号を目指す 某サイトによると、コヒーレンス関数が低くなっていまう理由としては…
