Sasabo blog

統計データから水産物貿易の世界を解析
Analyzing the world of seafood trade through statistical data.

ブログをはじめました!
Sasabo started a blog!

Nov. 15, 2022

 こんにちは。Sasabo代表の笹原です。東京都江戸川区の葛西駅前に事務所を移転してから1年になるタイミングでホームページ&ブログを開設しました。魚種問わず、日々様々な情報を発信していきますので(基本はグラフと表がメイン、文章は少なめ)、たまに覗いてみて下さい。時々、脱線した話題も発信します。

 私自身、現在はPythonというプログラミング言語でコードを書いて、ウェブスクレイピングを日常的に行っています。ウェブスクレイピングとはWebサイトから必要な情報を抽出するための技術であって、具体的にはサイトのHTMLを解析してテキストや写真を収集したり、ブラウザを自動的に操作してオープンデータを取得することができます。(できないこともあります。)例を挙げれば、財務省が公表している貿易統計のサイトから特定の品目(03=魚類)毎、1年12か月分、9つの税関支署のデータ(計108のcsvファイル)を全て自動で取得し、さらにそれらを一つのデータ(excel or csv等)にまとめるあげる一連の作業までほんの5分あれば可能です。また、世界各国の水産関連のウェブサイトから、自分の興味のある最新の記事の見出しだけを収集して、その必要なサイトにアクセスすることも行っています。これも各々のサイトのHTMLを解析しコーディングしさえすれば、数百のサイトにある必要な情報を一度に収集をすることも可能です。

 このスクレイピングの他にPythonが得意な分野としてはAI(人工知能)、機械学習(ディープラーニング)の領域で、私自身は先日ある特定の魚種の写真を読み込ませて、AIの画像認識プログラムを実行してオスとメスを選別させるような試みをしていました。この時はサンプルデータが少なくて上手くいきませんでしたが、AIやディープラーニング技術を活用することで様々なことに挑戦することが出来ます。

 ブログに掲載しているグラフや表はBIツールの『Tableau』というソフトウェアを使って主に作成しており、『Tableau』は大量のデータを可視化、分析させることに特化したツールです。私はこれを使い始めて1年以上が経ちますが、操作性も良く個人的にはかなり気に入っています。(※動くグラフ= Bar Chart Race はPythonを使って作成しています。)

 では、緩い気持ちで投稿続けていきますので、宜しくお願いします!

Hello, I am Sasahara, CEO of Sasabo Co., Ltd.  We have launched our website and blog at the timing of one year since we moved our office in front of Kasai Station in Edogawa-ku, Tokyo. We will be sending out a variety of information on a daily basis, regardless of the species of fish (basically graphs and tables, less text), so please take a peek from time to time. Sometimes, I will also send out information on topics that have gone off the rails.

I myself am currently writing code in the Python programming language and performing web scraping on a daily basis. Web scraping is a technique for extracting necessary information from websites. Specifically, it can analyze a site’s HTML to collect text and photos, and automatically manipulate the browser to retrieve open data. (Sometimes this is not possible.)

In addition to this scraping, one area where Python excels is in the area of AI (Artificial Intelligence) and machine learning (Deep Learning). I myself was recently attempting to run an AI image recognition program that would load a photo of a particular fish species and have it sort out males and females. It didn’t work at that time due to lack of sample data, but AI and Deep Learning technology can be used to try many different things.

The graphs and tables on the blog are mainly created using a BI tool called “Tableau,” which is a tool specialized for visualizing and analyzing large amounts of data. I have been using it for more than a year now, and I personally like it a lot because it is easy to use. (Bar Chart Race is created using Python.)

I’ll continue to post, thank you!