Sasabo blog

Analyzing the world of seafood trade through statistical data.

Sasabo started a blog!

Nov. 15, 2022


 私自身、現在はPythonというプログラミング言語でコードを書いて、ウェブスクレイピングを日常的に行っています。ウェブスクレイピングとはWebサイトから必要な情報を抽出するための技術であって、具体的にはサイトのHTMLを解析してテキストや写真を収集したり、ブラウザを自動的に操作してオープンデータを取得することができます。(できないこともあります。)例を挙げれば、財務省が公表している貿易統計のサイトから特定の品目(03=魚類)毎、1年12か月分、9つの税関支署のデータ(計108のcsvファイル)を全て自動で取得し、さらにそれらを一つのデータ(excel or csv等)にまとめるあげる一連の作業までほんの5分あれば可能です。また、世界各国の水産関連のウェブサイトから、自分の興味のある最新の記事の見出しだけを収集して、その必要なサイトにアクセスすることも行っています。これも各々のサイトのHTMLを解析しコーディングしさえすれば、数百のサイトにある必要な情報を一度に収集をすることも可能です。


 ブログに掲載しているグラフや表はBIツールの『Tableau』というソフトウェアを使って主に作成しており、『Tableau』は大量のデータを可視化、分析させることに特化したツールです。私はこれを使い始めて1年以上が経ちますが、操作性も良く個人的にはかなり気に入っています。(※動くグラフ= Bar Chart Race はPythonを使って作成しています。)


Hello, I am Sasahara, CEO of Sasabo Co., Ltd.  We have launched our website and blog at the timing of one year since we moved our office in front of Kasai Station in Edogawa-ku, Tokyo. We will be sending out a variety of information on a daily basis, regardless of the species of fish (basically graphs and tables, less text), so please take a peek from time to time. Sometimes, I will also send out information on topics that have gone off the rails.

I myself am currently writing code in the Python programming language and performing web scraping on a daily basis. Web scraping is a technique for extracting necessary information from websites. Specifically, it can analyze a site’s HTML to collect text and photos, and automatically manipulate the browser to retrieve open data. (Sometimes this is not possible.)

In addition to this scraping, one area where Python excels is in the area of AI (Artificial Intelligence) and machine learning (Deep Learning). I myself was recently attempting to run an AI image recognition program that would load a photo of a particular fish species and have it sort out males and females. It didn’t work at that time due to lack of sample data, but AI and Deep Learning technology can be used to try many different things.

The graphs and tables on the blog are mainly created using a BI tool called “Tableau,” which is a tool specialized for visualizing and analyzing large amounts of data. I have been using it for more than a year now, and I personally like it a lot because it is easy to use. (Bar Chart Race is created using Python.)

I’ll continue to post, thank you!