0501_문서유사도와군집화.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 0. 데이터로딩"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "dict_keys(['cv', 'tfidf', 'tdm_cv', 'tdm_tfidf'])\n"
     ]
    }
   ],
   "source": [
    "import joblib\n",
    "def get_nouns(text):\n",
    "    return 1\n",
    "with open('tdm.pkl', 'rb') as f:\n",
    "    data = joblib.load(f)\n",
    "    print(data.keys())\n",
    "    locals().update(data)\n",
    "    del data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>지역</th>\n",
       "      <th>식당이름</th>\n",
       "      <th>리뷰일</th>\n",
       "      <th>리뷰어ID</th>\n",
       "      <th>평점</th>\n",
       "      <th>리뷰텍스트</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>서울</td>\n",
       "      <td>서울24시감자탕 서현점</td>\n",
       "      <td>2020년 9월 4일</td>\n",
       "      <td>Go807705</td>\n",
       "      <td>5.0</td>\n",
       "      <td>여러 감자탕 가게를 다녀봤는데 손에 꼽힐 정도로 괜찮은 식당임. 뼈에 붙은 살도 신...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>서울</td>\n",
       "      <td>서울24시감자탕 서현점</td>\n",
       "      <td>2020년 3월 26일</td>\n",
       "      <td>OERWJ2</td>\n",
       "      <td>4.0</td>\n",
       "      <td>고기가 질기지 않고 가격대도 괜찮아서 점심에 부담없이 찾아가기 좋다. 성남살면서 자...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>서울</td>\n",
       "      <td>서울24시감자탕 서현점</td>\n",
       "      <td>2020년 2월 25일</td>\n",
       "      <td>jgp982</td>\n",
       "      <td>5.0</td>\n",
       "      <td>어른들은 주로 뼈해장국 아이들은 안 매운 삼계탕. 언제나 든든하고 후회없는 선택입니...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>서울</td>\n",
       "      <td>서울24시감자탕 서현점</td>\n",
       "      <td>2020년 2월 15일</td>\n",
       "      <td>Getaway807239</td>\n",
       "      <td>4.0</td>\n",
       "      <td>분당내 다른체인점임낳은곳으로 감자탕 맛집이에요 가격도 비싸지 않고요 고기도 실합니다...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>서울</td>\n",
       "      <td>서울24시감자탕 서현점</td>\n",
       "      <td>2019년 11월 22일</td>\n",
       "      <td>kingkong_hi</td>\n",
       "      <td>5.0</td>\n",
       "      <td>맛있어서 자주 갑니다. 매장에서는 감자탕 먹고 포장은 뼈해장국~ 뼈해장국 밥 빼고 ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   지역          식당이름            리뷰일          리뷰어ID   평점  \\\n",
       "0  서울  서울24시감자탕 서현점    2020년 9월 4일       Go807705  5.0   \n",
       "1  서울  서울24시감자탕 서현점   2020년 3월 26일         OERWJ2  4.0   \n",
       "2  서울  서울24시감자탕 서현점   2020년 2월 25일         jgp982  5.0   \n",
       "3  서울  서울24시감자탕 서현점   2020년 2월 15일  Getaway807239  4.0   \n",
       "4  서울  서울24시감자탕 서현점  2019년 11월 22일    kingkong_hi  5.0   \n",
       "\n",
       "                                               리뷰텍스트  \n",
       "0  여러 감자탕 가게를 다녀봤는데 손에 꼽힐 정도로 괜찮은 식당임. 뼈에 붙은 살도 신...  \n",
       "1  고기가 질기지 않고 가격대도 괜찮아서 점심에 부담없이 찾아가기 좋다. 성남살면서 자...  \n",
       "2  어른들은 주로 뼈해장국 아이들은 안 매운 삼계탕. 언제나 든든하고 후회없는 선택입니...  \n",
       "3  분당내 다른체인점임낳은곳으로 감자탕 맛집이에요 가격도 비싸지 않고요 고기도 실합니다...  \n",
       "4  맛있어서 자주 갑니다. 매장에서는 감자탕 먹고 포장은 뼈해장국~ 뼈해장국 밥 빼고 ...  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "df = pd.read_csv('review_full.csv')\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1. 유사도 계산"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics.pairwise import euclidean_distances, cosine_similarity"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[3.74165739]])"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "euclidean_distances(tdm_cv[0], tdm_cv[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[7.87400787]])"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "euclidean_distances(tdm_cv[0], tdm_cv[110])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'여러 감자탕 가게를 다녀봤는데 손에 꼽힐 정도로 괜찮은 식당임. 뼈에 붙은 살도 신선하면서도 많으며 함께 나오는 시래기도 무척 싱싱함. 항아리에 담겨있는 김치는 겉절이 느낌이 날 정도로 자주 담는 것 같음.'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[0, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'고기가 질기지 않고 가격대도 괜찮아서 점심에 부담없이 찾아가기 좋다. 성남살면서 자주 들르는집. 뭐든지 항상 평균이상은 해주는 감자탕집'"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[1, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"서울의 Pierre Gagnaire는 최근 저의 서울 맛집 여행에서 가장 돋보였던 식사였어요. 식사 공간이 화려하고 도시 조망이 멋지고 서비스도 근사해요. 코스마다 작은 접시가 시리즈로 나오는데 예를 들면 주요리로는 다섯 가지 다른 음식이 나와요. 저희는 4가지 코스로 나오는 L'Espirit 메뉴를 골랐는데 양도 적당하고 맛을 정말 음미할 수 있었어요! 메인 요리는 제가 지금껏 맛본 최고의 요리 중 하나였어요! 바닷가재가 나왔는데 망고로 아름답게 장식돼 있었고 특히 바닷가재 비스크는 상상 이상으로 최고 맛있어요! 물론 Pierre Gagnaire에서 식사하는 게 무척 비싸긴 하지만 정말 가볼 만해요. 아주 오랫동안 기억에 남을 한 끼를 먹는 거니까요! Pierre Gagnaire에 대한 제 총평은 아래 링크를 참고하세요.: http://foodmab.blogspot.com.au/2013/03/pierre-gagnaire-seoul-6-november-2012.html\""
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[110, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "dist = euclidean_distances(tdm_cv[0], tdm_cv[1:])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "14347"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "np.argmin(dist) + 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'여러 감자탕 가게를 다녀봤는데 손에 꼽힐 정도로 괜찮은 식당임. 뼈에 붙은 살도 신선하면서도 많으며 함께 나오는 시래기도 무척 싱싱함. 항아리에 담겨있는 김치는 겉절이 느낌이 날 정도로 자주 담는 것 같음.'"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[0, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'40분의 기다림..그닥 특별함이라고 하면 순대볶음에 깻잎을 올려준다는 정도? 그냥 지나가다가 사먹을 정도라고 본다.'"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[np.argmin(dist) + 1, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.12598816]])"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cosine_similarity(tdm_cv[0], tdm_cv[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.]])"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cosine_similarity(tdm_cv[0], tdm_cv[110])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "9643"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sim = cosine_similarity(tdm_cv[0], tdm_cv[1:])\n",
    "np.argmax(sim) + 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'여러 감자탕 가게를 다녀봤는데 손에 꼽힐 정도로 괜찮은 식당임. 뼈에 붙은 살도 신선하면서도 많으며 함께 나오는 시래기도 무척 싱싱함. 항아리에 담겨있는 김치는 겉절이 느낌이 날 정도로 자주 담는 것 같음.'"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[0, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'맛있게 먹긴했지만 이렇게까지 유명해질 정도는 솔직히 아니다. 마케팅과 pr 홍보의 힘은 정말 대단하다 싶다'"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[np.argmax(sim) + 1, '리뷰텍스트']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2. 군집화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.cluster import SpectralClustering\n",
    "np.random.seed(123)\n",
    "cl = SpectralClustering(n_clusters = 4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([2, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "       0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "       0, 0, 3, 0, 0, 3, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "       1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "labels = cl.fit_predict(tdm_cv[:100])\n",
    "labels"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "from operator import itemgetter\n",
    "words = cv.get_feature_names()\n",
    "freq_words = []\n",
    "\n",
    "for i in range(4):\n",
    "    count = tdm_cv[labels==i, :].sum(axis=0)\n",
    "    ws = [w for w, n in sorted(zip(words, count.flat), \n",
    "                               key=itemgetter(1), reverse=True)][:10]\n",
    "    freq_words.append(ws)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "      <th>5</th>\n",
       "      <th>6</th>\n",
       "      <th>7</th>\n",
       "      <th>8</th>\n",
       "      <th>9</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>감자탕</td>\n",
       "      <td>고기</td>\n",
       "      <td>식사</td>\n",
       "      <td>음식</td>\n",
       "      <td>가격</td>\n",
       "      <td>국물</td>\n",
       "      <td>방문</td>\n",
       "      <td>생각</td>\n",
       "      <td>사람</td>\n",
       "      <td>서비스</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>음식</td>\n",
       "      <td>코스</td>\n",
       "      <td>느낌</td>\n",
       "      <td>메뉴</td>\n",
       "      <td>웨이터</td>\n",
       "      <td>레스토랑</td>\n",
       "      <td>생각</td>\n",
       "      <td>시간</td>\n",
       "      <td>요리</td>\n",
       "      <td>인상</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>정도</td>\n",
       "      <td>김치</td>\n",
       "      <td>감자탕</td>\n",
       "      <td>가게</td>\n",
       "      <td>깍두기</td>\n",
       "      <td>느낌</td>\n",
       "      <td>도착</td>\n",
       "      <td>동안</td>\n",
       "      <td>맛집</td>\n",
       "      <td>메뉴</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>포장</td>\n",
       "      <td>해장국</td>\n",
       "      <td>감자탕</td>\n",
       "      <td>제일</td>\n",
       "      <td>인분</td>\n",
       "      <td>건강</td>\n",
       "      <td>고려</td>\n",
       "      <td>국물</td>\n",
       "      <td>그중</td>\n",
       "      <td>근처</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     0    1    2   3    4     5   6   7   8    9\n",
       "0  감자탕   고기   식사  음식   가격    국물  방문  생각  사람  서비스\n",
       "1   음식   코스   느낌  메뉴  웨이터  레스토랑  생각  시간  요리   인상\n",
       "2   정도   김치  감자탕  가게  깍두기    느낌  도착  동안  맛집   메뉴\n",
       "3   포장  해장국  감자탕  제일   인분    건강  고려  국물  그중   근처"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.DataFrame(freq_words)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}