投稿

10月, 2019の投稿を表示しています

【論文紹介】Sampler Design for Bayesian Personalized Ranking by Leveraging View Data

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は Sampler Design for Bayesian Personalized Ranking by Leveraging View Data という論文を読んだので要点をまとめます。 ### 3行まとめ implicit feedbackでランキング学習を行うBayesian Personalized Ranking(BPR)のnegative samplingが非効率的であることを実験的に示し、itemがviewされたかどうかの情報を用いたsamplingやlossの設計を行うことで改善した。 ### 論文リンク 今回読んだ論文のリンクがこちら。 <a href="https://arxiv.org/abs/1809.08162">arXiv</a> IEEE Transactions on Knowledge and Data Engineeringの論文です。 Date of publication : 29 July 2019だそうです。 WWW2018にshortバージョンがありました。 WWW2018の方 <a href="https://dl.acm.org/citation.cfm?id=3186905">An Improved Sampler for Bayesian Personalized Ranking by Leveraging View Data</a> これに加筆したものがarXivに上がっているみたいですね。一応目を通しましたがarXivの方に全て書かれている内容でした。 ### Bayesian Personalized Ranking(BPR) implicit feedbackでは、広告がクリックされたり商品が購入されたりといった正例のみがログとして観測され、いわゆる負例が観測されないという問題設定を考えます。 観測されていないuserとitemの組み合わせは、 * userがitemを好んでいない(認知している上…

【論文紹介】CFM: Convolutional Factorization Machines for Context-Aware Recommendation (IJCAI2019)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、CFM: Convolutional Factorization Machines for Context-Aware Recommendation (IJCAI2019)を読んだのでまとめてみます。 ### 3行まとめ FMのembeddingの各次元同士の作用を考えつつ、高次の交互作用をexplicitに扱うモデルとして3D CNNとFMを組み合わせたConvolutional FMを提案。BPR lossを最適化してtop-k推薦を行なった。 ### 背景 CFMに至る研究のポイントとしては * Factorization Machines(FM)は交互作用をembeddingの内積で表すので、各次元同士の作用は考えていない * FMは二次の交互作用までしか考えていない * 高次の交互作用をexplicitに考えるモデルがない という現状がある。なので、embeddingの各次元同士の相互作用を扱い、また高次の交互作用をexplicitに扱うモデルを作ろう、という流れだった。 本論文のConvolutional Factorization Machines (CFM)では、 * embeddingの内積ではなくouter product operationを用いて次元間の作用を計算 * 3D CNNを用いてexplicitに高次の交互作用を扱う としている。 ### 疑問 #### 一点目 外積を使ってembeddingの各次元の相互作用を扱う、というのは他にもPNN(<a href="https://arxiv.org/abs/1611.00144">Product-based Neural Networks for User Response Prediction</a>) とかで扱っていたように思えるが、related workには載っていない。 related workには、Matrix Factorizationに外積をつけた研究として <a href="https:/…

【論文紹介】ViTOR: Learning to Rank Webpages Based on Visual Features (WWW2019)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、 WWW2019の ViTOR: Learning to Rank Webpages Based on Visual Featuresの紹介記事です。 ### 3行まとめ Web文書検索において、従来の特徴量に加えてページの画像情報を用いてランキングを学習するモデルとしてViTORモデルを提案。事前学習したCNNベースのモデルを利用し、入力にはsaliency heatmapや検索クエリをハイライトしたスクリーンショットを用いている。作成したデータセットを公開している。 ### 問題設定と貢献 検索エンジンに入力されたクエリを受け取って、関連するwebページを返すタスクに、webページの画像情報(スクリーンショットのようなもの)も使おう、という研究。 関連研究として一番近いのが <a href="https://arxiv.org/abs/1710.06997">Learning Visual Features from Snapshots for Web Search (CIKM2017)</a> だが、これはGOV2というデータセットを用いていて、画像情報の多様性が小さいこと、スクリーンショットに画像やスタイル(多分CSSみたいなこと?)が含まれていないことなどが問題点として指摘されている。 今回はこの画像情報を用いたLearning to rank、すなわちVisual learning to rank (ViTOR)と呼んで、これ用のいい感じのデータセットを作りました、という研究。 もちろん自分たちでモデルも作って、既存のもの(ViPと呼ばれている)よりもいい結果が出ている。 貢献をまとめると * 画像情報を用いたランキング学習ViTORデータセットをつくった * ViTORモデルを作って既存モデルViPに勝利 ### モデル #### 全体の構成 初めてだからか、そこまで工夫しているかんじでもなかった。 画像とcontent feature(TF-IDFとかPageRankとか…

【論文紹介】Visually-Aware Fashion Recommendation and Design with Generative Image Models (ICDM 2017)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今回は、アイテムの画像情報を取り入れたimplicit feedbackでのranking学習を、end-to-endで行う手法の論文を読んだので、まとめます。 論文リンクはこちら <a href="https://arxiv.org/abs/1711.02231">Visually-Aware Fashion Recommendation and Design with Generative Image Models</a> ### 3行まとめ 画像情報を取り入れたimplicit feedbackでのranking学習を、end-to-endで行うDVBPRを提案した。 またGANと組み合わせることによってuserの好みのitemの画像の生成を行う機構も提案した。 ### 先行研究からの差分 一番近いのが、AAAI2016のVBPR: Visual Bayesian Personalized Ranking from Implicit Feedbackである。 画像の情報を取り入れてimplicit feedbackからランキング学習を行うモデル。lossにはBPR(Bayesian Personalized Ranking)を用いる。 提案モデルであるDVBPRのVBPRからの差分は * 画像情報をpre-trainしたCNNで抽出していたVBPRとは違い、DVBPRはend-to-endに学習することで、画像の特徴ベクトルがfashion recomendationに適したものになる * GANを用いることで、userが好みそうなitemの画像(服とか)を生成する。これにより、デザインの手助けになったりする。 細かいモデルの差分として、itemに関するembeddingをVBPRでは画像に関連するものとそうでないものにexplicitに分けてモデリングしていたが、今回DVBPRではitemに関するembeddingをCNNベースのものにまとめた、という部分もある。(これは試したらこれが良かったからこうした、…

【論文紹介】Adversarial Personalized Ranking for Recommendation (SIGIR2018)

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 今日は、敵対的学習をBPRに加えたAdversarial Personalized ranking (APR)の論文を読んだのでまとめてみます。 最近はBPR関連の論文をよく読んでいます。 BPRについてはこちらの記事で書いています。 【論文紹介】BPR: Bayesian Personalized Ranking from Implicit Feedback (UAI 2009) ### 3行まとめ BPRに敵対的学習を加えてロバストなモデルにしたAdversarial Personalized ranking (APR)を提案し、汎化性能を向上させた。 recomendationだとuserやitemに摂動を加えると全く異なるデータになる(one hotだから)ので、摂動はモデルのパラメータに与えるようにしている。 BPR+MFと比較して、APR+MF(この場合embeddingにlossが大きくなるような摂動を加える。)がより汎化性能が高いことを実験で示した。 ### 背景と仮説 画像とかで敵対的学習を使うのは研究されているけど、IR(information retrieval)ではあまりされていないから、組み合わせてみよう. BPRはpairを受け取って分類を行っているようなモデルだから、敵対的学習を使ってロバストにすれば汎化性能が向上するかも? ### 前実験 学習したBPR+MFのembeddingにランダムな摂動と敵対的な摂動(lossを小さくするような)摂動を与える。 それぞれtestデータおけるモデルの性能がどれだけ悪化するか? 結果 <div class="separator" style="clear: both; text-align: center;"><a href="https://2.bp.blogspot.com/-naDwP1Hrt7Q/XZaZXIQoQBI/AAAAAAAACkU/wkMDBNNUir4wQMsbz7z_sUpT9lu2OgghgC…

【振り返り】2019年7月~9月

イメージ
こんにちは、ぐぐりら(<a href="https://twitter.com/guglilac">@guglilac</a>)です。 振り返り記事です。 今回はあまり内容がないので簡単に書いておく程度です。 やったこととしては * 初めて論文を投稿した * 一人旅した * twitterのbotを作った などです。 ### 初めて論文を投稿した 特に8月はこれでほとんど埋まりました。 教授に7月終わり頃に、「そろそろ成果も出てきたし国際会議に出してみない?」 と言われて、じゃあ書いてみようか、と思って書きました。 言われてなければ夏休みは普段やっている長期インターンのほかにインターンに行ってみようかな〜とか考えていましたが、働くのはまあ割とやってきたし、教授と論文書くのってなかなかできないと思うので、勉強になるかなと思ってこっちにしました。 あと修論の元になると思うので、落ちてしまっても無駄にはならないかなと。 ブラッシュアップして他のところに出すだけなので。 一,二週間に一度あってディスカッションして、書いて、サーベイして、実験して、を繰り返していく感じでした。 国際会議なのでもちろん英語で、そこが不安でしたが、最初に日本語書いてから英語に直すところを頑張ってしまえば割と埋まるな〜という印象でした。(もちろん細かいところが間違ってたり、言いたいことがわからないと言われることもしばしばありましたが...) 体感としては、全部一通り言いたいことを英語で書くまでにn日かかって、そこから細かい修正を加えて行って完成度をあげるのに同じくn日かかるイメージでした。 なのでとりあえず全部埋めるところまでを早く進めてしまうのがいいのかなと思いました。 ### 査読にすら乗らずreject こんな感じで書いて、英文校正の業者さんに出して返ってきたのを元に修正したのを提出。。したのですが、最初に出したところは要項の読み間違いで査読にすら乗らずrejectされてしまいました。 教授と自分でダブルチェックしたつもりでしたが、分量に関するところを読み間違えてアウト。 再度直して再提出お願いメールを送りましたがもちろんダメでした。 cfpちゃんと読みましょう。。。(反省) この投稿ミスでだ…