Frea Search 開発者のnexryaiです。今日は Frea Search の次世代の結果最適化システムのご紹介です。Innocence Force(イノセンスフォース)と名付けられたこのシステムは様々な最適化を行います。
ブロックリスト
これは今までもあった手法ですが次世代システムではより高速で扱いやすく進化しています。データベースを使用することでより高速な処理が可能になりブロック理由などの情報を追加できるようになりました。
ブロックワード
過激な言葉や性的なワード、その他不適切な単語や内容がないブログ特有の言い回しを検出し、一定数以上それらが見つかると結果から排除します。これによりブロックリストに依存しない最適化が実現しました。
機械学習
fasttextというライブラリを使用しスパムや内容のないブログ、有害な誤情報を広めるサイトの文章を学習させそれを元にブロックや警告を行います。これはまだ実験段階ですが将来的に実用化される予定です。
これらの最適化機能はバージョン2.00で実装予定です。お楽しみに!