For Your ISHIO Blog

データ分析や機械学習やスクラムや組織とか、色々つぶやくブログです。

python

SparkでLasso回帰のハイパーパラメータλをグリッドサーチして特徴量選択する

はじめに Lasso回帰は、正則化された線形回帰手法の1つで、線形回帰にL1正則化項を追加したモデルです。正則化により過学習を防ぐとともに、不要と判断される説明変数の偏回帰係数がゼロになる性質があります。この性質を利用して、目的変数により影響が高い…

言語処理100本ノック - 第1章: 準備運動

思い立ったので言語処理100本ノックをやっていきます。 www.cl.ecei.tohoku.ac.jp 言語処理100本ノックhttps://t.co/hyuN21zzCJやっていき— いしお (@Ishitonton) 2019年6月25日 「第1章: 準備運動」をやりました。テキストや文字列を扱う題材に取り組みなが…

自然言語処理ライブラリspaCyを試してみた。

お恥ずかしながら、spaCyを最近知りましたので、試してみました。 spaCyは、pythonで動かす自然言語処理ライブラリです。 spacy.io 目次 spaCyとは 環境 対応言語・モデル モデルのインポート テキストのインポートとトークン化 品詞タグ付け 固有表現抽出 t…

Jリーグの移籍情報をスクレイピングしてチーム間の関係性を可視化する

湘南ベルマーレ、ルバン杯優勝おめでとうございます。 私は他チームのサポータですが、湘南を応援していました。理由は、梅崎選手が好きなのと、自分が応援するチームと湘南間での移籍が多いからです。 Jリーグの移籍情報で、チーム間のコネクションの強さが…